JP4225040B2 - Monitoring system and method, program, and recording medium - Google Patents

Monitoring system and method, program, and recording medium Download PDF

Info

Publication number
JP4225040B2
JP4225040B2 JP2002339148A JP2002339148A JP4225040B2 JP 4225040 B2 JP4225040 B2 JP 4225040B2 JP 2002339148 A JP2002339148 A JP 2002339148A JP 2002339148 A JP2002339148 A JP 2002339148A JP 4225040 B2 JP4225040 B2 JP 4225040B2
Authority
JP
Japan
Prior art keywords
image
focus
coordinate position
unit
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002339148A
Other languages
Japanese (ja)
Other versions
JP2004173152A (en
Inventor
裕之 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002339148A priority Critical patent/JP4225040B2/en
Publication of JP2004173152A publication Critical patent/JP2004173152A/en
Application granted granted Critical
Publication of JP4225040B2 publication Critical patent/JP4225040B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
この発明は、監視カメラ等に適用されるモニタリングシステムおよび方法並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
従来、広範囲の状況を監視するとき、例えば海上監視、河川監視、立ち入り監視区域のモニタリング、野生動物の行動観察等にモニタリングシステムが使用されている。広範囲の画像を高精細で撮影するため、画素数が非常に多い撮像センサが搭載されているビデオカメラを使用していた。そのために、システムの価格が高くなり、コストの面で問題があった。
【０００３】
【特許文献１】
特願２００２−１３１０２５号（第１９頁、第６図）
そこで出願人は、この特許文献１において、シフトレンズを用い、一般的な画素数の撮像素子を使用して空間を画角毎に取り込み、組み合わせることによって、高精細且つ広範囲な画像を取り込むことが可能となるカメラシステムを提案している。
【０００４】
【発明が解決しようとする課題】
しかしながら、この画像取り込み時には、フォーカスを固定しているので、広範囲の画像中にどうしてもフォーカスの合わない部分が発生する問題があった。
【０００５】
従って、この発明の目的は、複数のフォーカスで広範囲の画像を撮影することによって広範囲の全ての画像にフォーカスを合うようにすることができるモニタリングシステムおよび方法並びにプログラムおよび記録媒体を提供することにある。
【０００６】
【課題を解決するための手段】
上述した課題を達成するために請求項１に記載の発明は、少なくとも第１および第２のフォーカスで画像データを撮影する撮像部と、撮像部の撮像方向を可変する撮像方向可変部と、撮像部の緯度・経度、方位、高度を、撮像部で撮影された画像データの位置情報として検出する位置情報検出手段と、検出された位置情報を第１および第２のフォーカスで撮影された画像データ毎に付加し、蓄積する蓄積部と、撮像方向可変部の各撮像方向で撮像された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積し、撮像方向可変部の最大可動範囲内の一部の範囲の原画像または圧縮画像をさらに圧縮してパノラマ状の全体画像として生成し、全体画像内の位置を規定する座標を設定し、同じ座標位置となる第１および第２のフォーカスで撮影される画像データを比較し、高周波成分がより多い画像データを撮影したときのフォーカスを座標位置における最適なフォーカスとして選択し、設定するフォーカス設定手段と、座標位置毎に設定された最適なフォーカスで撮影された画像データを圧縮した圧縮画像、または座標位置毎に設定された最適なフォーカスで撮影され、蓄積部に蓄積された画像データを圧縮した圧縮画像にそれぞれの位置情報および座標位置を付加し、位置情報および座標位置が付加された圧縮画像を全体画像の対応する座標位置に表示する画像表示部とを有することを特徴とするモニタリングシステムである。
【０００７】
請求項２に記載の発明は、少なくとも第１および第２のフォーカスで画像データを撮像部で撮影するステップと、撮像部の撮像方向を可変するステップと、撮像部の緯度・経度、方位、高度を、撮像部で撮影された画像データの位置情報として検出するステップと、検出された位置情報を第１および第２のフォーカスで撮影された画像データ毎に付加し、蓄積部に蓄積するステップと、各撮像方向で撮像された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積し、最大可動範囲内の一部の範囲の原画像または圧縮画像をさらに圧縮してパノラマ状の全体画像として生成し、全体画像内の位置を規定する座標を設定し、同じ座標位置となる第１および第２のフォーカスで撮影される画像データを比較し、高周波成分がより多い画像データを撮影したときのフォーカスを座標位置における最適なフォーカスとして選択し、設定するステップと、座標位置毎に設定された最適なフォーカスで撮影された画像データを圧縮した圧縮画像、または座標位置毎に設定された最適なフォーカスで撮影され、蓄積部に蓄積された画像データを圧縮した圧縮画像にそれぞれの位置情報および座標位置を付加し、位置情報および座標位置が付加された圧縮画像を全体画像の対応する座標位置に表示するステップとを有することを特徴とするモニタリング方法である。
【０００８】
請求項３に記載の発明は、少なくとも第１および第２のフォーカスで画像データを撮像部で撮影するステップと、撮像部の撮像方向を可変するステップと、撮像部の緯度・経度、方位、高度を、撮像部で撮影された画像データの位置情報として検出するステップと、検出された位置情報を第１および第２のフォーカスで撮影された画像データ毎に付加し、蓄積部に蓄積するステップと、各撮像方向で撮像された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積し、最大可動範囲内の一部の範囲の原画像または圧縮画像をさらに圧縮してパノラマ状の全体画像として生成し、全体画像内の位置を規定する座標を設定し、同じ座標位置となる第１および第２のフォーカスで撮影される画像データを比較し、高周波成分がより多い画像データを撮影したときのフォーカスを座標位置における最適なフォーカスとして選択し、設定するステップと、座標位置毎に設定された最適なフォーカスで撮影された画像データを圧縮した圧縮画像、または座標位置毎に設定された最適なフォーカスで撮影され、蓄積部に蓄積された画像データを圧縮した圧縮画像にそれぞれの位置情報および座標位置を付加し、位置情報および座標位置が付加された圧縮画像を全体画像の対応する座標位置に表示するステップとを有することを特徴とするモニタリング方法をコンピュータに実行させるためのプログラムである。
【０００９】
請求項４に記載の発明は、少なくとも第１および第２のフォーカスで画像データを撮像部で撮影するステップと、撮像部の撮像方向を可変するステップと、撮像部の緯度・経度、方位、高度を、撮像部で撮影された画像データの位置情報として検出するステップと、検出された位置情報を第１および第２のフォーカスで撮影された画像データ毎に付加し、蓄積部に蓄積するステップと、各撮像方向で撮像された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積部に蓄積し、最大可動範囲内の一部の範囲の原画像または圧縮画像をさらに圧縮してパノラマ状の全体画像として生成し、全体画像内の位置を規定する座標を設定し、同じ座標位置となる第１および第２のフォーカスで撮影される画像データを比較し、高周波成分がより多い画像データを撮影したときのフォーカスを座標位置における最適なフォーカスとして選択し、設定するステップと、座標位置毎に設定された最適なフォーカスで撮影された画像データを圧縮した圧縮画像、または座標位置毎に設定された最適なフォーカスで撮影され、蓄積部に蓄積された画像データを圧縮した圧縮画像にそれぞれの位置情報および座標位置を付加し、位置情報および座標位置が付加された圧縮画像を全体画像の対応する座標位置に表示するステップとを有することを特徴とするモニタリング方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１０】
このように少なくとも第１および第２のフォーカスで異なる位置の画像データを撮影し、第１および第２のフォーカスで撮影された画像データ中から最適なフォーカスであると判断される画像データを集合画像の対応する位置に表示することによって、犠牲としていた情報の質を向上させることができる。
【００１１】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態の概略的な構成を示す。ディスプレイ２が接続されているコンピュータ１は、カメラユニット３を制御する。図１の例は、１台のコンピュータ１が２台のカメラユニット３を制御し、また、ディスプレイ２'を有する他のコンピュータ１'が他のカメラユニット３'を制御するシステムの例である。１台のコンピュータが複数台のカメラユニットを制御できる。
【００１２】
カメラユニット３は、パンチルタ部４とカメラ部５が一体的に構成されたものである。カメラユニット３は、遠方の対象領域を撮影可能なように設置される。一例として、カメラ部５は、倍率が１０倍、７０倍等の望遠レンズを有し、数十メートルから数キロメートル離れた場所を撮影可能とされている。
【００１３】
カメラ部５は、例えば外部からのトリガと同期してシャッタをオンできるディジタルスチルカメラであり、その撮影素子例えばＣＣＤ（Charge Coupled Device）は、ＶＧＡ（Video Graphics Array,640×480 画素）、ＸＧＡ（eXtended Graphics Array,1024×768 画素）、ＳＸＧＡ（Super eXtended Graphics Array,1280×1024画素）等の画素数を有する。ＶＧＡの撮像素子の場合では、３０ｆｐｓ（フレーム／秒）のレートで静止画像（フレーム）が出力され、ＸＧＡの撮像素子の場合では、１５ｆｐｓ（フレーム／秒）のレートで静止画像が出力され、ＳＸＧＡの撮像素子の場合では、７．５ｆｐｓ（フレーム／秒）のレートで静止画像が出力される。
【００１４】
映像データは、カメラユニット３からコンピュータ１に対してバス６を介して伝送される。バス６は、映像データの伝送路とカメラユニット３の制御信号とを伝送する。上述した構成は、コンピュータ１'とカメラユニット３'とに関しても同様である。
【００１５】
コンピュータ１、１'では、カメラユニット３、３'からの映像データをメモリに蓄積し、後述するように、操作用のＧＵＩ(Graphical User Interface)を構成し、ユーザが所望の対象領域の画像をカメラユニット３、３'で撮影できるように、カメラユニット３、３'を制御できる。圧縮符号化例えばＪＰＥＧ（Joint Photographic Experts Group) によって撮影画像が圧縮される。
【００１６】
コンピュータ１および１'は、ＬＡＮ（Local Area Network）７で互いに接続されている。ＬＡＮ７に対してさらに他のコンピュータ８が接続されている。参照符号９は、コンピュータ８のディスプレイである。コンピュータ８は、ＬＡＮ７を介してコンピュータ１、１'からのフレーム等を受取り、アーカイブ１０に対して映像データを蓄積し、さらに、フレームの処理を行う。例えば映像データを使用して顔認識、荷物認識、環境認識、車認識等の処理がなされる。アーカイブ１０は、テープストリーマのような大量のデータを蓄積できるものである。
【００１７】
図２は、上述したモニタリングシステムにおけるコンピュータ１とカメラユニット３の部分のより詳細な構成を示す。図２の例では、参照符号２１で示す共通のコントローラバス２１に対して、カメラユニットおよびコンピュータの構成要素が接続されている。
【００１８】
パンチルタ部４は、パン部４ａとチルト部４ｂからなる。パン部４ａおよびチルト部４ｂは、それぞれ駆動源として例えばステッピングモータを有し、コントローラバス２１を介してコントローラＣＰＵ３３から供給される制御信号に応じてカメラ部をパンまたはチルトさせる。パンチルタ部４上にカメラ部が載置されている。ここで、パンは、水平方向にカメラを回転させることを意味し、チルトは、垂直方向にカメラを回転させることを意味する。一例として、パン角の最大値が１８０°とされ、チルト角の最大値が９０°とされている。
【００１９】
後述するように、カメラ部の最大移動範囲内で、チルト角＝±４５°、パン角＝±９０°程度の範囲でカメラ部を移動させる。撮像中心を画角分移動させる毎に、シャッターがオンされ、例えば１／６０秒または１／３０秒の静止画像（以下、適宜「フレーム」と称する）が撮影される。すなわち、カメラ部では動画が撮影され、撮影された動画が１／６０秒または１／３０秒からなる１枚の静止画像として、後段に供給される。
【００２０】
縦方向でＭ枚（例えば８枚）、横方向でＮ枚（例えば１６枚）の合計（Ｍ×Ｎ＝８×１６＝１２８枚）のフレームが順番に撮影され、これらを圧縮すると共に連結させて１枚の全体画像を形成する。各フレームが例えばＸＧＡ（1024×768画素）画像である。したがって、１２８枚のフレームは、重複部分を無視すると、(横方向が1024×16＝16,384画素で、縦方向が768×8＝6,144画素）の約１億画素の画像を形成する。１２８枚のフレームを撮影するのに約５秒かかる。重複部分は、例えば縦横のそれぞれで１６画素とされる。
【００２１】
カメラ部は、ディジタルスチルカメラの構成とされ、レンズ部２２とフォーカス・ズーム・アイリス制御部２３と撮像部２４とからなる。フォーカス・ズーム・アイリス制御部２３は、コントローラバス２１を介してコントローラＣＰＵ３３から供給される制御信号によって制御される。撮像部２４は、固体撮像素子例えばＣＣＤとカメラ信号処理回路とを含む。撮像部２４からのディジタル映像信号がＩＥＥＥ(Institute of Electrical and Electronics Engineers) １３９４のインターフェース２５を介してバッファメモリ２６に書き込まれる。
【００２２】
バッファメモリ２６の出力データがＪＰＥＧエンコーダ／メタデータ付加部２７に供給され、フレームがＪＰＥＧデータに変換される。ＪＰＥＧは、圧縮方式の１つであって、他の圧縮方式を使用しても良いし、圧縮しないでも良い。
【００２３】
カメラユニット３には、その位置を検出するためのＧＰＳ(Global Positioning System) ２８が備えられている。ＧＰＳ２８を備えることによって、カメラの設置場所のデータを記録できると共に、カメラの向きを検出し、複数のカメラの向きを連動して制御することが可能となる。ＧＰＳ２８は、コントローラバス２１を介してコントローラＣＰＵ３３から供給される制御信号によって制御される。
【００２４】
ＧＰＳ２８の出力信号がメタデータ生成部２９に供給され、ＧＰＳ２８の測位結果に基づいた位置情報（緯度・経度、方位、高度等の情報）およびメタデータ（時刻、カメラ部のパラメータ（倍率、フォーカス値、アイリス値等）等の情報）が生成される。位置情報およびメタデータがＪＰＥＧエンコーダ／メタデータ付加部２７に供給され、ＪＰＥＧデータに対して位置情報およびメタデータが付加される。
【００２５】
メタデータおよび位置情報が付加されたＪＰＥＧデータがハードディスク等のメインメモリ３０に蓄積されると共に、グラフィックコントローラ３１および画像圧縮部３２に供給される。この明細書では、メインメモリ３０に対する蓄積を記録と呼び、メインメモリ３０からデータを読み出すことを再生と呼ぶことにする。また、メインメモリ３０を介さないで現に撮影中の画像を表示することをライブモードと称し、過去に記録されたデータをメインメモリ３０から再生して表示することをビューモードと称する。
【００２６】
メインメモリ３０は、サーバとしての機能を有する。例えばＸＧＡの画像をＪＰＥＧで圧縮した結果、１枚のフレームのデータ量は、１００ｋバイトとなり、１２８枚の画像で１２．５Ｍバイトのデータ量である。メインメモリ３０が８０Ｇバイト程度の容量を有していれば、１日分のＪＰＥＧデータを保存することが可能である。ビューモードにおいては、メインメモリ３０に限らず、アーカイブ等の蓄積装置に蓄積されているより旧いデータを再生することを可能とされている。
【００２７】
メインメモリ３０から再生されたＪＰＥＧデータがグラフィックコントローラ３１に供給される。画像圧縮部３２は、ＪＰＥＧエンコーダ／メタデータ付加部２７からのＪＰＥＧデータ、またはメインメモリ３０から再生されたＪＰＥＧデータから圧縮画像またはサムネイル（縮小画像）を生成する。例えば縦方向および横方向のそれぞれが間引かれることで、パノラマ状の全体画像が形成される。また、後述する可動範囲画像を形成するための圧縮処理も、画像圧縮部３２においてなされる。上述したように、ＸＧＡの場合では、約１億画素のデータがＪＰＥＧ圧縮と画像圧縮部３２の処理によって、（400×1000画素）のようなパノラマ状の全体画像が形成される。可動範囲画像もサムネイルであるが、全体画像よりもさらに粗い画像である。
【００２８】
グラフィックコントローラ３１は、ＪＰＥＧデータをビットマップデータへ変換し、ディスプレイ２の画面上に所望の画像表示がなされるようなグラフィックス処理を行う。すなわち、可動範囲画像表示、全体画像表示、選択画像表示、ボタン等のＧＵＩ表示がディスプレイ２の画面上でなされる。表示の詳細については、後述する。
【００２９】
また、グラフィックコントローラ３１は、画像処理を行い、画像変化を検出する。画像変化は、リファレンス画像に対して生じた変化である。例えばビューモードにおいて、以前に蓄積されたリファレンス画像との比較がなされ、画像変化が検出される。リファレンス画像として、前日の所定時刻の画像を設定し、それ以降に蓄積された画像とリファレンス画像との画素の差分を検出し、画素の差分の絶対値が所定値以上の場合を変化が生じたものと検出する。差分の検出としては、比較しようとする画像とリファレンス画像との空間的同一位置のフレーム毎に同一位置の画素の差分値を演算する方法が使用できる。全画素に関する差分を検出するのに代えて、代表画素または間引かれた画素に関して差分を演算しても良い。また、所定の色を限定することによって、所定の色の物体に着目した変化検出を行うことも可能である。
【００３０】
変化が検出されると、ディスプレイ２上の表示でアラーム例えば変化が検出されたフレームを他のフレームと区別できる表示がなされる。具体的には、輝度変化、色変化、ブリンク等の方法でアラームを表示できる。リファレンス画像は、蓄積されている画像の中で、所定のものを任意に選択することが可能とされている。
【００３１】
上述したように、コントローラバス２１に接続されたコントローラＣＰＵ３３は、カメラ部のレンズ制御（例えば、フォーカス等）、露出制御（例えば、絞り、ゲイン、電子シャッタースピード等）、白バランス制御、画質制御等を行うと共に、パン部４ａおよびチルト部４ｂを制御する。
【００３２】
参照符号３４は、Ｉ／Ｏポートである。Ｉ／Ｏポート３４に対しては、キーボード３５およびマウス３６が接続され、また、Ｉ／Ｏポート３４に対しては、メモリカード３７および時計３８が接続されている。メモリカード３７に対して、メインメモリ３０に記録されている位置情報およびメタデータが付加されたＪＰＥＧデータを書き込むことができる。また、時計３８から時刻データが得られる。
【００３３】
なお、図２では、コントローラバス２１に対して各構成要素が接続されているが、カメラユニットとコンピュータとを離れた場所に設置し、両者をＩＥＥＥ１３９４、ＵＳＢ等で接続するようにしても良い。この場合、物理的伝送路としては、光ファイバが使用される。光ファイバを使用すれば、カメラユニットと制御用のコンピュータとを数百メートルから数キロメートル程度離して配置できる。さらに、両者を無線ＬＡＮで接続しても良い。
【００３４】
図３に、この発明の一実施形態によるＧＵＩの画面例を示す。この図３に示す１画面には、可動範囲画像表示部１０１、全体画像表示部１０２および選択画像表示部１０３が配置されている。
【００３５】
可動範囲画像表示部１０１には、可動範囲画像が表示される。可動範囲画像とは、カメラユニットが撮影可能な最大範囲を示す画像であり、複数枚のフレームにより構成される。そのためこの一実施形態では、図に示すようにパノラマ状の画像となる。上述したように、パン角の最大値が１８０°とされ、チルト角の最大値が９０°とされており、この最大可動範囲で撮影された複数枚のフレームから可動範囲画像が生成される。なお、この可動範囲画像表示部１０１には、構成される複数のフレームに付加されている位置情報が組み込まれている。
【００３６】
そして、後述するＭＲＰ（Movable Range Picture）表示ボタン１３０がクリックされた時、またはカメラユニットを設置し、撮影開始時において、カメラ部を最大可動範囲にわたって動かし、その結果得られる複数枚のフレームで構成される画像に関して縦方向および横方向に画素を間引いたサムネイルが可動範囲画像として使用される。また、所定の時間間隔で可動範囲画像を構成する全フレームを撮影し、蓄積および／または表示するようにしても良い。
【００３７】
この可動範囲画像表示部１０１には、全体画像表示部１０２に表示されている範囲を認識するための全体画像表示枠１０１ａが示される。この全体画像表示枠１０１ａをマウス３６で動かすことによって、可動範囲画像内の所望の範囲を指示することができ、指示された範囲を撮像するようにカメラ部を制御することができる。すなわち、指示された範囲において、（Ｍ×Ｎ）枚のフレーム（静止画像）が撮影され、蓄積および／または表示される。
【００３８】
なお、この全体画像表示枠１０１ａは一例であり、様々な形状で全体画像表示部１０２に表示されている範囲を可動範囲画像表示部１０１に示すようにしても良い。
【００３９】
また、この全体画像表示枠１０１ａの大きさは、一例として可動範囲画像表示部１０１に表示されるフレームの（８×１６）枚の大きさであり、後述するＲＥＣ ＭＯＤＥ選択メニュー１１８で選択される記録モードの画像サイズに合わせた大きさである。従って、後述するように（４×８）枚のフレームの大きさであっても良いし、（２×４）枚のフレームの大きさであっても良い。また、１つのフレームの大きさは、レンズ部２２の倍率および撮像部２４の画素数による。
【００４０】
この全体画像表示枠１０１ａを移動させる場合、一例として全体画像表示枠１０１ａの中央となるフレームをマウス３６で選択した後、選択したフレームが中央となるように全体画像表示枠１０１ａを表示する。また、マウス３６の移動に連動して全体画像表示枠１０１ａを移動するようにしても良いし、全体画像表示枠１０１ａの例えば左上となるフレーム、または対角となる左上と右下の２つのフレームをマウス３６で選択するようにしても良い。このように、その位置を移動した全体画像表示枠１０１ａに対応した範囲を撮影するためにカメラユニットが制御され、カメラユニットの光軸が向けられる。
【００４１】
また、全体画像表示部１０２には、パノラマ状の全体画像が表示される。全体画像は、撮影された原画像に対応するＪＰＥＧデータを画像圧縮部３２によって圧縮した画像である。表示されている全体画像を見ることで、モニタリングを行うことができる。さらに、前述したように、画像変化が検出されると、全体画像表示部１０２に表示されている全体画像中で変化が検出されたフレームが他のフレームと異なる表示とされるアラームが発生する。
【００４２】
選択画像表示部１０３には、選択画像が表示される。選択画像は、全体画像の一部を拡大した画像である。全体画像中で指示された位置の例えばフレームが選択画像として表示される。圧縮されていない１フレームの原画像を表示することで拡大することができる。さらに、ディジタル信号処理によって画像を拡大することもできる。
【００４３】
ＥＸＩＴボタン１０４は、モニタリングシステムの電源をオフするためのボタンである。Camera system ＯＦＦボタン１０５は、カメラユニットの電源をオフするためのボタンである。
【００４４】
ＶＩＥＷ ＭＯＤＥボタン１０６は、モニタリングシステムのモードをビューモードに切り換えるためのボタンである。ビューモードとは、メインメモリ３０または他のサーバに蓄積されたフレームに基づき、全体画像および部分画像を表示するモードである。
【００４５】
ＬＩＶＥ ＭＯＤＥボタン１０７は、モニタリングシステムのモードをライブモードに切り換えるためのボタンである。ライブモードとは、カメラユニットが現在撮影しているフレームに基づき、全体画像および部分画像を表示するモードである。
【００４６】
Ｃｏｍｐａｓ表示領域１０８は、カメラユニットのレンズの光軸が向いている方位を示すコンパスを表示するための領域である。ＧＰＳ Ｄａｔａ表示領域１０９は、カメラユニットが設置されている場所の緯度、軽度および高度と、撮影の日時とを表示すための領域である。なお、この領域１０８および１０９に表示されるデータは、カメラユニットに備えられたＧＰＳ２８において測定されたデータである。
【００４７】
Ｖｉｅｗ ｏｆｆｓｅｔボタン１１０は、選択されたフレームの位置を調整するためのボタンである。Ｖｉｅｗ ｏｆｆｓｅｔボタン１１０は、それぞれ全体画像表示部１０２に表示されている全体画像中でポインタにより選択された１枚のフレームを、上方向、下方向、左方向、右方向に移動させるためのものである。全体画像を構成する複数枚のフレームは、隣り合うフレームと所定画素数、例えば上下、左右で１６画素重複して表示されている。この重複部分の範囲内でフレームを移動させることによって、隣り合うフレームとの整合性を取ることができ、表示状態をなめらかなものとできる。
【００４８】
モード表示領域１２９は、モード情報、アラーム情報およびエラー情報などを表示するための領域である。モード情報は、ユーザにモニタリングシステムのモードを知らせるための情報であり、具体的には、ライブモードおよびビューモードなどの情報である。アラーム情報は、ユーザに警告を促すための情報であり、例えば、上述したＶｉｅｗ ｏｆｆｓｅｔボタン１１０によりフレームを移動できる限界に達した時に表示される。エラー情報は、ユーザにモニタリングシステムにおいて発生しているエラーを知らせるための情報である。
【００４９】
Ｃａｍｅｒａ Ｃｏｎｔｏｒｏｌ部１１１は、ＺＯＯＭボタン１１２、ＦＯＣＵＳボタン１１３、ＩＲＩＳボタン１１４、Camera Configurationボタン１１５およびＷｈｉｔｅ Ｂａｌａｎｃｅボタン１１６を備える。ＺＯＯＭボタン１１２は、カメラユニットのズームを調整するためのボタンである。ＦＯＣＵＳボタン１１３は、カメラユニットのフォーカスを調整するためのボタンである。ＩＲＩＳボタン１１４は、カメラユニットのアイリス調整をするためのボタンである。Camera Configurationボタン１１５は、カメラユニットのγ特性、シャッタースピード、ゲイン特性などの調整をするためのボタンである。Ｗｈｉｔｅ Ｂａｌａｎｃｅボタン１１６は、カメラユニットの白バランスを調整するためのボタンである。なお、カメラシステムがビューモードにある場合には、ＣａｍｅｒａＣｏｎｔｏｒｏｌ部１１１の表示が省略されるようにしてもかまわない。
【００５０】
ＳＥＬＥＣＴボタン１１７は、ビューモードにおいて、セレクト画面を表示するためのボタンである。セレクト画面は、再生および記録を所望する領域を、全体画像を構成するフレームにより特定するための画像である。
【００５１】
ＲＥＣ ＭＯＤＥ選択メニュー１１８は、記録モードを選択するためのプルダウンメニューである。このプルダウンメニューには、記録する画像サイズと記録方法（ＲＵＮまたはＳＩＮＧＬＥ）とを組み合わせた記録モードが表示される。画像サイズは、（８×１６）枚のフレームから構成される全体画像と、全体画像の内の選択された（４×８）枚のフレームから構成される部分画像と、全体画像の内の選択された（２×４）枚のフレームから構成される部分画像との何れかが可能とされている。部分画像は、セレクト画面から選択された位置のものである。記録方法のＲＵＮは、所定周期（例えば５秒周期）で発生する撮影画像を記録する方法であり、そのＳＩＮＧＬＥは、１回のみ記録する方法である。記録モードとしては、これらを組み合わせたものが選択可能とされている。
【００５２】
Stage Config(Stage Configuration)ボタン１１９は、ステージを動かす精度などを微調整するためのボタンである。メッセージ領域１２０は、コントロール用のコンピュータとカメラユニットとの接続状況およびカメラユニットのステージのコントロール状況を表示するための領域である。コントロール用のコンピュータとカメラユニットとが接続されている場合には、この図３中に示すように、メッセージ領域に“ＩＭＡＧＥ ＳＥＲＶＥＲ ＣＯＮＮＥＣＴ”が表示される。また、カメラユニットのステージがコントロール可能な状況にある場合には、メッセージ領域に“ＳＴＡＧＥ ＣＯＮＴＲＯＬ ＡＣＴＩＶＥ”が表示される。
【００５３】
ＲＥＣボタン１２１は、画像の記録を開始するためのボタンであり、このボタンをクリックすると、ＲＥＣ ＭＯＤＥ選択メニュー１１８で選択されている記録モードに応じた記録が開始される。具体的には、ＲＵＮ（８×１６）、ＲＵＮ（４×８）、ＲＵＮ（２×４）、ＳＥＬＥＣＴ ＳＩＮＧＬＥ ＲＵＮ（８×１６）、ＳＥＬＥＣＴ ＳＩＮＧＬＥ ＲＵＮ（４×８）、ＳＥＬＥＣＴ ＳＩＮＧＬＥ ＲＵＮ（２×４）などのモードから選択されたモードに応じた記録が開始される。
【００５４】
ＰＬＡＹボタン１２２は、サーバ（メインメモリ３０）に記録されたフレームを再生するためボタンである。具体的には、このＰＬＡＹボタン１２２をクリックすると、蓄積データ表示画面が表示される。この蓄積データ表示画面には、蓄積されているフレームを識別するための情報が表示される。この情報は、後述するディレクションファイルに記述されている情報に基づいたものである。
【００５５】
ＳＴＯＰボタン１２３は、記録または再生動作を停止するためのボタンである。なお、ＳＴＯＰボタン１２３は、ＲＥＣボタン１２１あるいはＰＬＡＹボタン１２２のクリックにより表示されるようにしても良い。
【００５６】
Set Camera Center POS(Set Camera Center POSITION)ボタン１２５は、現在カメラ部が向いている方向を（８×１６）の画像のセンターとして指定するためのボタンである。
【００５７】
ＨＯＭＥボタン１２４は、カメラユニットを制御し、カメラユニットのレンズの光軸をホームポジションに向けるためのボタンである。ホームポジションは、カメラ部が一番左側の位置を向いている位置である。ＬＩＶＥ／ＶＩＥＷ ＰＯＳＩＴＩＯＮボタン１２６は、カメラ部をパンあるいはチルトするためのボタンである。
【００５８】
ＺＯＯＭボタン１２７ａおよび１２７ｂは、選択画像表示部１０３に表示された選択画像の拡大および縮小を行うためのボタンである。ＭＡＸ ＶＩＥＷボタン１２８は、選択画像を別画面例えば全体画像表示部１０２により拡大表示するためのボタンである。
【００５９】
ＭＲＰ表示ボタン１３０は、可動範囲画像表示部１０１に表示される複数枚のフレームを撮影し、蓄積および／または表示するときにクリックされるボタンである。すなわち、このＭＲＰ表示ボタン１３０がクリックされると、カメラユニットが撮影可能な全ての範囲をフレーム単位で撮影し、撮影された各フレームが持っているカメラ部の位置情報に基づいて全フレームを集合させて、可動範囲画像として可動範囲画像表示部１０１に表示させる。
【００６０】
次に、図４を用いて、カメラユニット３による撮影に関する動作の一例について説明する。この実施形態では、２種類のフォーカスで周辺画像を取り込む一例とする。レンズ部２２で設定された無限遠に焦点が設定されたフォーカスを「フォーカスＡ」と称し、フォーカスＡより近くに焦点が設定されたフォーカスを「フォーカスＢ」と称する。
【００６１】
カメラユニット３は、パンチルタ部４の雲台にカメラ部５が設置され、ホームポジションから撮像方向が可変される。図４において、撮影された（Ｍ×Ｎ）枚のフレームをカメラ側から見て、各行に対して上から順に１、２、・・・、Ｍの番号を付し、各列に対して左から順に１、２、・・・、Ｎの番号を付す。ホームポジションは例えば（１，１）の座標のフレームを撮影する位置とされる。
【００６２】
（１，１）の座標位置のフレームを撮影すると、カメラユニット３が下側にチルトされ、（２，１）の座標位置のフレームが撮影され、以下、順に（３，１）・・・・、（Ｍ，１）の座標位置のフレームが撮影され、次に第２列の一番上の座標位置（１，２）のフレームが撮影される。以下、各フレームを（Ｍ，Ｎ）の座標位置のフレームまで撮影する。このようにフォーカスＡおよびフォーカスＢでそれぞれ（Ｍ×Ｎ）枚撮影される。
【００６３】
フォーカスＡおよびフォーカスＢで撮影されたフレームは、メインメモリ３０に記録される。このメインメモリ３０では、フォーカスＡで撮影されたフレームと、フォーカスＢで撮影されたフレームとを区別するために、それぞれの領域を設定するようにしても良いし、それぞれのフレームにフラグを付するようにしても良い。
【００６４】
ここで、図５のフローチャートを参照して、座標位置毎に最適なフォーカスを設定する動作を説明する。ステップＳ１では、まずレンズ部２２がフォーカスＡに設定され、上述したように各座標位置のフレームが撮影される。撮影されたフレームは、メインメモリ３０に記録される。次に、ステップＳ２では、レンズ部２２がフォーカスＢに設定され、各フレームのフレームが撮影される。撮影されたフレームは、メインメモリ３０に記録される。
【００６５】
ステップＳ３では、フォーカスＡおよびフォーカスＢで撮影された同じ座標位置Ｎのフレームがメインメモリ３０から再生される。ステップＳ４では、再生された同じ座標位置のフォーカスＡのフレームおよびフォーカスＢのフレームの中から最適なフォーカスが選択される。例えば、フォーカスＡで撮影されたフレームの周波数成分と、フォーカスＢで撮影されたフレームの周波数成分とを比較して、高周波成分がより多いフレームを撮影したフォーカスが最適なフォーカスとして選択される。そして、フォーカスＡが最適なフォーカスであると判断されると、ステップＳ５へ制御が移り、フォーカスＢが最適なフォーカスであると判断されると、ステップＳ７へ制御が移る。
【００６６】
ステップＳ５では、座標位置Ｎの最適なフォーカスとして、フォーカスＡが設定される。ステップＳ７では、座標位置Ｎの最適なフォーカスとして、フォーカスＢが設定される。
【００６７】
ステップＳ６では、（Ｍ×Ｎ）枚の全ての座標位置のフォーカスの設定が終了したか否かが判断される。全ての座標位置のフォーカスの設定が終了したと判断されると、このフローチャートの制御を終了し、未だ全ての座標位置のフォーカスの設定は終了していないと判断されると、ステップＳ８へ制御が移る。ステップＳ８では、次の座標位置のフォーカスを設定するために、座標位置Ｎがインクリメントされ、ステップＳ３へ制御が戻る。
【００６８】
このように位置座標毎に設定された最適なフォーカスで撮影された画像データが全体画像表示部１０２および選択画像表示部１０３に表示される。
【００６９】
また、座標位置毎のフォーカスを選択するとき、フレーム中の対象物までの距離を正確に計算するようにしても良い。
【００７０】
さらに、座標位置毎のフォーカスを選択するとき、しきい値を用いて判断するようにしても良い。そのしきい値をユーザによって任意の値に設定可能なようにしても良い。
【００７１】
また、全体画像表示部１０２および選択画像表示部１０３の全てのフレームにフォーカスＡのフレームを表示させて、フォーカスを変えたい部分をユーザによって選択するようにしても良い。
【００７２】
具体的には、フォーカスを変えたい部分をクリックすると、ポップアップメニューによって、表示可能なフレームのフォーカスが表示され、表示されたフォーカスの中から所望のフォーカスを選択し、選択されたフォーカスがその座標位置のフォーカスとして設定されるようにしても良い。
【００７３】
そして、可動範囲画像表示部１０１、全体画像表示部１０２、および選択画像表示部１０３のいずれの表示部でもフォーカスを設定することができるようにしても良い。
【００７４】
また、可動範囲画像表示部１０１、全体画像表示部１０２、および選択画像表示部１０３のいずれの表示部でフォーカスを設定しても、他の表示部でフォーカスが設定された座標位置のフレームを表示するときには、設定されたフォーカスのフレームを表示するようにしても良い。
【００７５】
例えば、全体画像表示部１０２上の所望の部分を選択し、選択した所望の部分に該当する座標位置のフォーカスを設定すると、全体画像表示部１０２で設定された座標位置のフレームが可動範囲画像表示部１０１および選択画像表示部１０３に表示されるときに、全体画像表示部１０２で設定されたフォーカスのフレームを表示するようにしても良い。
【００７６】
また、可動範囲画像表示部１０１、全体画像表示部１０２、および選択画像表示部１０３のそれぞれ別々に所望の部分のフォーカスを設定するようにしても良い。
【００７７】
さらに、この一例では、２種類のフォーカスで周辺画像を取り込むようにしているが、３種類以上のフォーカスで周辺画像を取り込むようにしても良い。
【００７８】
なお、可動範囲画像表示部１０１は、フォーカスＡのフレームのみ、またはフォーカスＢのフレームのみで表示するようにしても良い。
【００７９】
ここで、ライブモードで動作するときの一例を説明する。まず、レンズ部２２がフォーカスＡと設定され、全体画像表示部１０２に表示されている座標位置のフレームが撮影される。撮影されたフレームは、メインメモリ３０に記録される。
【００８０】
そして、（８×１６）枚のフレームの撮影および記録が終了すると、レンズ部２２がフォーカスＢと設定され、全体画像表示部１０２に表示されている座標位置のフレームが撮影される。撮影されたフレームは、メインメモリ３０に記録される。
【００８１】
このフォーカスＡおよびフォーカスＢでの撮影および記録は、繰り返し行われる。例えば、（８×１６）枚のフレームの撮影および記録が終了すると、全体画像表示部１０２の中でフォーカスＡに設定されているフレームに該当する座標位置のフレームがメインメモリ３０から再生され、表示される。
【００８２】
次に、フォーカスがＡからＢに切り替えられ、フォーカスＢで全体画像表示部１０２に表示されている座標位置のフレームが撮影される。撮影されたフレームは、メインメモリ３０に記録される。（８×１６）枚のフレームの撮影および記録が終了すると、全体画像表示部１０２の中でフォーカスＢに設定されているフレームに該当する座標位置のフレームがメインメモリ３０から再生され、表示される。
【００８３】
このライブモードで動作するときの一例では、全体画像表示部１０２に表示されている（８×１６）枚の座標位置のフレームを全て撮影し、記録するようにしているが、フォーカスＡで撮影するときには、フォーカスＡに設定されている座標位置のフレームのみ撮影し、記録し、フォーカスＢで撮影するときには、フォーカスＢに設定されている座標位置のフレームのみ撮影し、記録するようにしても良い。このとき、レンズ部２２は、位置座標毎に設定されたフォーカスに対応して制御される。
【００８４】
このライブモードで動作するときの一例では、フォーカスＡを撮影し、記録した後、フォーカスＢを撮影し、記録するようにしているが、全体画像表示部１０２に表示されている（８×１６）枚のフレームを順次撮影するときに、その位置座標に設定されているフォーカスとなるようにレンズ部２２を制御して、フレームを撮影し、記録するようにしても良い。
【００８５】
図６に、７５倍の望遠レンズがカメラユニット３に備えられている場合に、１フレームで撮影できる範囲を示す。カメラユニット３から１００ｍ離れた距離にある被写体を撮影する場合には、１フレームで、縦８．７ｍ×横１．１７ｍの範囲を撮影することができる。例えば、カメラ部５の撮像素子として、ＸＧＡ用の撮像素子を用いた場合には、被写体の縦０．８７ｃｍ×横１．１７ｃｍの範囲を約１画素で表すことができる。
【００８６】
カメラユニット３から２００ｍ離れた距離にある被写体を撮影する場合には、１フレームで、縦１．７４ｍ×横２．３４ｍの範囲を撮影することができる。例えば、カメラ部５の撮像素子として、ＸＧＡ用の撮像素子を用いた場合には、被写体の縦１．７４ｃｍ×横２．３４ｃｍの範囲を１画素で表すことができる。
【００８７】
カメラユニット３から５００ｍ離れた距離にある被写体を撮影する場合には、１フレームで、縦４．３６ｍ×横５．８４ｍの範囲を撮影することができる。例えば、カメラ部５の撮像素子として、ＸＧＡ用の撮像素子を用いた場合には、被写体の縦４．３６ｃｍ×横５．８４ｃｍの範囲を１画素で表すことができる。
【００８８】
図７および図８を参照して取得したフレームをメインメモリ３０等に記録する場合のデータ管理方法を説明する。図７に示すように、所定時間間隔で、（Ｍ×Ｎ）枚のフレームの画像が撮影される。撮影された画像は、圧縮されてメインメモリ３０に記録される。このとき、Ｍ行Ｎ列によって各フレームの位置が規定される。例えば（１，１）の位置アドレスによって、右端の最も上のフレームが規定される。
【００８９】
各フレームは、図８Ａに示すように、この位置アドレスと記録時の時間情報とをファイル名としてメインメモリ３０に記録される。このとき時間情報は、一例として（１，１）の位置アドレスで示すフレームが撮影された年月日時分秒で構成される。したがって、各フレームのファイル名は、（年月日時分秒、位置アドレス）となる。
【００９０】
さらに、図８Ｂに示すように、（Ｍ×Ｎ）枚のフレームで全体的な１枚の画像が形成されることに対応して、ディレクションファイルが規定されている。ディレクションファイルは、（１，１）の位置アドレスを有するフレームのファイル名（すなわち、年月日時分秒、位置アドレス）と同一のデータを持つことで、当該（Ｍ×Ｎ）枚のフレームの集合を定義する。さらに、このフレームの集合に対する位置情報およびメタデータをディレクションファイルが有する。位置情報およびメタデータは、メタデータ生成部２９で生成されたものである。すなわち、緯度・経度、方位、高度等の位置情報と、カメラ部５のパラメータ（倍率、フォーカス値、アイリス値等）等のメタデータ情報とをディレクションファイルが有する。
【００９１】
図９を参照して、カメラユニット３の動作の実施形態を説明する。この図９は、カメラユニット３を真上から見たときの、カメラ部５の平面断面図とする。またここでは、説明を容易とするために、カメラ部５には、レンズ部２２および撮像部２４のみを図示し、このカメラ部５を単にパンさせる。
【００９２】
カメラ部５のパンの中心は、基準円２０２で示す中心位置とする。この一例では、説明を容易とするため撮像部２４において被写体の像を結像する面の中心と、基準円２０２の中心とがずれているが、それぞれが一致するように配置しても何ら問題はない。
【００９３】
カメラ部５の光線の中心を基準線２２０で示し、撮影しようとする被写体の撮像中心を撮像中心線２１０で示す。レンズ部２２は、レンズ２０３、２０４、２０６、２０７、およびシフトレンズ（光路可変素子）２０５から構成される。一例として、レンズ２０３、２０４、および２０６は、その屈折率が１より大きい凸レンズであり、シフトレンズ２０５およびレンズ２０７は、その屈折率が１より小さい凸レンズである。
【００９４】
なお、このシフトレンズ２０５は、一例としてレンズと、そのレンズを水平方向に移動させるリニアモータと、レンズを垂直方向に移動させるリニアモータとから構成される。そして、この実施形態では、レンズ自身のことをシフトレンズと称する。
【００９５】
この図９では、一例として図９Ａ、図９Ｂ、そして図９Ｃの順番にパンする。まず、図９Ａに示すように、基準線２２０と撮像中心線２１０とが角度θａとなるときに、被写体の像は光路２１１ａを経由してレンズ２０３に入射される。
【００９６】
レンズ２０３に入射された被写体の像は、レンズ２０３の屈折率で屈折され、光路２１２ａを経由してレンズ２０４に入射される。レンズ２０４に入射された被写体の像は、レンズ２０４の屈折率で屈折され、光路２１３ａを経由して被写体の像を撮像部２４に供給するために位置２０５ａへ移動しているシフトレンズ２０５に入射される。
【００９７】
シフトレンズ２０５に入射された被写体の像は、シフトレンズ２０５の屈折率で屈折され、光路２１４ａを経由してレンズ２０６に入射される。このとき、パン部４ａのサーボモータに供給するパルス数を計数した計数値に対応してシフトレンズ２０５のリニアモータに所定の電圧が印加され、位置２０５ａにシフトレンズ２０５を移動させる。
【００９８】
レンズ２０６に入射された被写体の像は、レンズ２０６の屈折率で屈折され、光路２１５を経由してレンズ２０７に入射される。レンズ２０７に入射された被写体の像は、レンズ２０７の屈折率で屈折され、光路２１６を経由して撮像部２４に入射される。
【００９９】
このように、パン部４ａのサーボモータに供給するパルス数を計数した計数値に対応した位置２０５ａにシフトレンズ２０５を移動させることによって、シフトレンズ２０５で形成される光路２１４ａを経由して、撮像部２４に被写体の像を入射させるように、レンズ２０６に被写体の像が入射される。
【０１００】
そして、図９Ｂに示すように、基準線２２０と撮像中心線２１０とが一致するときに、被写体からの像は光路２１１ｂを経由してレンズ２０３に入射される。
【０１０１】
レンズ２０３に入射された被写体の像は、レンズ２０３の屈折率で屈折され、光路２１２ｂを経由してレンズ２０４に入射される。レンズ２０４に入射された被写体の像は、レンズ２０４の屈折率で屈折され、光路２１３ｂを経由して被写体の像を撮像部２４に供給するために位置２０５ｂへ移動しているシフトレンズ２０５に入射される。
【０１０２】
シフトレンズ２０５に入射された被写体の像は、シフトレンズ２０５の屈折率で屈折され、光路２１４ｂを経由してレンズ２０６に入射される。このとき、シフトレンズ２０５のレンズの中心と、基準線２２０と、撮像中心線２１０とが一致するようにシフトレンズ２０５のリニアモータに所定の電圧が印加され、位置２０５ｂにシフトレンズ２０５を移動させる。
【０１０３】
レンズ２０６に入射された被写体の像は、レンズ２０６の屈折率で屈折され、光路２１５を経由してレンズ２０７に入射される。レンズ２０７に入射された被写体の像は、レンズ２０７の屈折率で屈折され、光路２１６を経由して撮像部２４に入射される。
【０１０４】
このように、シフトレンズ２０５の中心と、基準線２２０と、撮像中心線２１０とが一致する位置２０５ｂにシフトレンズ２０５を移動させることによって、シフトレンズ２０５で形成される光路２１４ｂを経由して、撮像部２４に被写体の像を入射させるように、レンズ２０６に被写体の像が入射される。
【０１０５】
そして、図９Ｃに示すように、基準線２２０と撮像中心線２１０とが角度−θｃとなるときに、被写体からの像は光路２１１ｃを経由してレンズ２０３に入射される。
【０１０６】
レンズ２０３に入射された被写体の像は、レンズ２０３の屈折率で屈折され、光路２１２ｃを経由してレンズ２０４に入射される。レンズ２０４に入射された被写体の像は、レンズ２０４の屈折率で屈折され、光路２１３ｃを経由して被写体の像を撮像部２４に供給するために位置２０５ｃへ移動しているシフトレンズ２０５に入射される。
【０１０７】
シフトレンズ２０５に入射された被写体の像は、シフトレンズ２０５の屈折率で屈折され、光路２１４ｃを経由してレンズ２０６に入射される。このとき、パン部４ａのサーボモータに供給するパルス数を計数した計数値に対応しててシフトレンズ２０５のリニアモータに所定の電圧が印加され、位置２０５ｃにシフトレンズ２０５を移動させる。
【０１０８】
レンズ２０６に入射された被写体の像は、レンズ２０６の屈折率で屈折され、光路２１５を経由してレンズ２０７に入射される。レンズ２０７に入射された被写体の像は、レンズ２０７の屈折率で屈折され、光路２１６を経由して撮像部２４に入射される。
【０１０９】
このように、パン部４ａのサーボモータに供給するパルス数を計数した計数値に対応した位置２０５ｃにシフトレンズ２０５を移動させることによって、シフトレンズ２０５で形成される光路２１４ｃを経由して、撮像部２４に被写体の像を入射させるように、レンズ２０６に被写体の像が入射される。
【０１１０】
この図９に示すようにカメラ部５の移動する方向と逆方向になるようにシフトレンズ２０５を移動させることによって、撮像部２４で露光される被写体の像を同一にすることができる。
【０１１１】
この実施形態では、カメラ部５で撮影される１画面分を移動するときのパルス数を１サイクルのパルスと称する。そして、カメラ部５が移動する方向によって、ＦＷＤサイクルおよびＲＥＶサイクルの２種類のサイクルがある。この実施形態では、ＦＷＤサイクルのときにシフトレンズ２０５が待機している位置を図９Ａに示す位置２０５ａとする。
【０１１２】
また、ＦＷＤサイクルの時にシフトレンズ２０５が、シフトレンズの位置２０５ａからシフトレンズの位置２０５ｃ（図９Ｃ参照）へ移動する。このとき、一例としてカメラ部５を移動させるサーボモータは時間によって制御される。また、カメラ部５を移動させるモータにステッピングモータが使用されている場合、出力されるパルス数が計数され、制御される。
【０１１３】
なお、ＲＥＶサイクルの時には、ＦＷＤサイクルの時の逆の制御となるようにシフトレンズ２０５が制御される。例えば、カメラ部５が図９Ｃに示すように、基準線２２０と撮像中心線２１０とが角度−θｃに到達後、１サイクルが終了した時点で、シフトレンズ２０５は位置２０５ａになるように、シフトレンズ２０５を移動させるリニアモータに供給する電圧を瞬時に切り替える。
【０１１４】
シフトレンズ２０５が位置２０５ａから位置２０５ｃへ動き出した後、シフトレンズ２０５が位置２０５ｂ（図９Ｂ参照）となるときに、撮像部２４に対してシャッタパルスが出力される。このとき、一例としてシフトレンズ２０５を水平方向に移動させるリニアモータの駆動電圧によって、シャッタパルスを出力するタイミングが生成される。
【０１１５】
このように、撮像部２４が恰も静止状態となるようにシフトレンズ２０５を制御するためには、カメラ部５を動かす３つのパラメータを制御する必要がある。第１のパラメータは、カメラ部５の１サイクルが始まってからシフトレンズ２０５が位置２０５ａから位置２０５ｃへ動き始める時間である。第２のパラメータは、カメラ部５が位置２０５ａから位置２０５ｃへ移動するためにかかる時間である。第３のパラメータは、シフトレンズ２０５が位置２０５ｂとなるときのリニアモータに供給する電圧値である。一般的には、カメラ部５を移動させる速度と、シフトレンズ２０５を移動させる速度とが等しくなるように制御される。
【０１１６】
また、カメラ部５のパンの速度と、画像の取り込みに必要な光量とによって、シフトレンズ２０５を移動させる速度が変化する。
【０１１７】
また、この図９Ａ、図９Ｂ、および図９Ｃから、光路２１４ａ、２１４ｂ、および２１４ｃは、基準線２２０と撮像中心線２１０との角度に対応して位置２０５ａ、２０５ｂ、および２０５ｃへ移動されたシフトレンズ２０５によって、レンズ２０６に常に一定の被写体の像を入射させることができる。例えば、基準線２２０と撮像中心線２１０との角度が求められると、その角度に応じた電圧がシフトレンズ２０５の位置を移動させる水平方向のリニアモータに印加される。リニアモータに電圧が印加され、所定の位置へ移動したシフトレンズ２０５によって、レンズ２０６に一定の被写体の像を入射させる光路２１４が形成される。
【０１１８】
また、カメラ部５が一定速度でパンしているので、そのパンの速度に合わせて、シフトレンズ２０５の位置を移動するようにしても良い。例えば、図１０に示すシフトレンズ２０５の水平方向のリニアモータに印加される電圧を、カメラ部５の速度対応させて、繰り返すようにしても良い。
【０１１９】
この図１０に示す電圧Ｖａがシフトレンズ２０５を移動させる水平方向のリニアモータに印加されると、シフトレンズ２０５が位置２０５ａに移動する。電圧Ｖｂがシフトレンズ２０５を移動させる水平方向のリニアモータに印加されると、シフトレンズ２０５が位置２０５ｂに移動する。電圧Ｖｃがシフトレンズ２０５の水平方向のリニアモータに印加されると、シフトレンズ２０５が位置２０５ｃに移動する。従って、この図１０に示す電圧の方向は、シフトレンズ２０５の水平方向の位置を示す。なお、この図１０では、電圧Ｖｂを０Ｖとしているが、電圧Ｖｃを０Ｖとするようにして、シフトレンズ２０５を制御しても良いし、電圧Ｖａを０Ｖとするようにして、シフトレンズ２０５を制御しても良い。
【０１２０】
図１１にカメラ部５を移動させながら、３つの撮像範囲を撮影するときの概略図を示す。この図１１では、一例としてそれぞれ隣り合う座標位置のフレーム（１，１）、（１，２）、（１，３）が順次取り込まれる。
【０１２１】
この図１１に示すように、図９Ａに示すカメラ部５の位置のときの光路２１１ａから図９Ｃに示すカメラ部５の位置のときの光路２１１ｃまでの期間であれば、同一の被写体の像を撮像部２４に入射させることができる。従って、撮像部２４に同一の被写体の像を入射させることができる期間であれば、どのようなタイミングでもフレームを取り込むことができる。このとき、基準円２０２を中心としてカメラ部５は回転し、撮像する方向を変える。
【０１２２】
カメラ部５を一定速度でパンさせながら、例えば（１，１）の座標位置のフレームに続いて、（１，２）の座標位置のフレーム、そして（１，３）の隣り合う座標位置のフレームと連続して取り込む。そのために、カメラ部５の回転方向に対応してシフトレンズ２０５を、例えば位置２０５ａから位置２０５ｃまで移動させる。従って、撮像部２４に同一の被写体の像を入射することができるので、この図１１の一例では、シフトレンズ２０５を移動させている期間に、３つのフレームを取り込むことができる。
【０１２３】
また、参照符号２３１で示す隣り合うフレームとの重複部分は、上述したように、例えば縦横のそれぞれで１６画素とされる。従って、フレームの一辺の重複部分は、それぞれ８画素とされる。
【０１２４】
なお、シフトレンズ２０５を移動させるリニアモータの動作が電圧Ｖａおよび／またはＶｃ付近では、完璧な線形にはならない。しかしながら、撮像部２４に同一の被写体の像が入射され、露光されている期間は、シフトレンズ２０５を移動させるリニアモータが完璧な線形で動作する必要がある。そこで、リニアモータの動作の開始時では、その動作が安定していないため、動作が開始してから動作が安定するまでの一定期間、露光期間を待つ必要がある。従って、完璧な線形となる中心付近、すなわち電圧Ｖｂ、（位置２０５ｂ）を中心とした所定の範囲でフレームを取り込むことによって、より安定した画像を得ることができる。
【０１２５】
図１２Ａは、パンチルタ部４にカメラ部５を設けた平面断面図であり、図１２Ｂは、カメラ部５を横から見た側面断面図である。この図１２Ｂに示すように、カメラ部５をチルトさせても、そのチルトされたカメラ部５の方向に対応して、シフトレンズ２０５を所定の方向に移動することによって、同一の被写体の像を撮像部２４に入射させることができる。
【０１２６】
図１３を参照して、パンチルタ部４とは異なる移動体にカメラ部５を搭載したときの他の実施形態を説明する。ここでは、説明を容易とするために、水平方向にのみカメラ部５を移動させる移動体とする。この移動体は、例えばサーボモータの回転運動を直線運動に変えることによって実現することができる。この図１３では、一例として（１，１）の座標位置のフレームに続いて、（１，２）の座標位置のフレームを連続して取り込む。
【０１２７】
参照番号２４１で示す矢印の方向にカメラ部５を一定速度で移動させる。図１３Ａに示すカメラ部５の移動範囲内であれば、移動するカメラ部５に対応してシフトレンズ２０５を移動させることによって、撮像部２４に同一の被写体の像を入射させることができる。従って、（１，１）の座標位置のフレームを取り込むことができる。
【０１２８】
そして、カメラ部５が移動体によって隣り合う（１，２）の座標位置のフレームを取り込むことが可能な範囲に移動したとき（図１３Ｂ参照）に、移動するカメラ部５に対応してシフトレンズ２０５を移動させることによって、撮像部２４に同一の被写体の像を入射させることができる。従って、（１，２）の座標位置のフレームが取り込まれる。
【０１２９】
このように、カメラ部５を一定速度で移動させることができる移動体であれば、どのような移動体であっても、隣り合うフレームを取り込むことができる。
【０１３０】
この発明は、上述したこの発明の一実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１３１】
この実施形態では、カメラユニット３を下側にチルトし、フレームを順次撮影しているが、カメラユニット３を上側にチルトし、フレームを順次撮影するようにしても良いし、カメラユニット３を右側にパンし、フレームを順次撮影するようにしても良いし、カメラユニット３を左側にパンし、フレームを順次撮影するようにしても良い。
【０１３２】
この実施形態では、レンズ２０３、２０４、２０６、２０７、およびシフトレンズ２０５は、全て凸レンズから構成されているが、全て凹レンズから構成されるようにしても良いし、凸レンズと凹レンズとを適宜組み合わせた構成としても良い。
【０１３３】
この実施形態では、撮像された（Ｍ×Ｎ）枚のフレームをそれぞれメインメモリ３０に記録するようにしているが、（Ｍ×Ｎ）枚のフレームを連結させて１枚の画像としてメインメモリ３０に記録するようにしても良い。
【０１３４】
この実施形態では、撮像部２４に同一の被写体の像を入射させるために、カメラ部５の方向に対応してシフトレンズ２０５が所定の方向に移動するようになされているが、レンズ部２２を構成するそれぞれのレンズが凸レンズか凹レンズか、そのレンズの屈折率が１より大きいか、小さいかなど、その構成によってシフトレンズ２０５の移動する方向は反対方向になることもある。
【０１３５】
この実施形態では、座標位置に基づいてフレームを撮影するようにしているが、位置アドレスに基づいてフレームを撮影するようにしても良い。
【０１３６】
この発明は、上述したこの発明の一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１３７】
【発明の効果】
この発明に依れば、複数のフォーカスで周辺画像を撮影することによって、手前の対象物には、フォーカスを近くに合わせて撮影した画像を用い、遠い場所の対象物にはフォーカスを遠くに合わせて撮影した画像を用いることができるので、フォーカスが一致していないために犠牲としていた情報の質を、向上させることができる。さらに、複数のフォーカスで撮影された画像を組み合わせて１つの画像とするので、任意の場所の拡大表示を行う場合でもピントがあった画像を表示することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態のモニタリングシステムを概略的に示すブロック図である。
【図２】この発明の一実施形態のブロック図である。
【図３】この発明の一実施形態における画面表示の一例を説明するための略線図である。
【図４】この発明に適用されるカメラ部の動作の実施形態を説明するための概略図である。
【図５】この発明に適用されるカメラ部の動作の実施形態を説明するためのフローチャートである。
【図６】この発明の一実施形態における被写体までの距離と撮影範囲および解像度を説明するための略線図である。
【図７】この発明に適用される撮影された画像の管理方法を説明するための略線図である。
【図８】この発明に適用される撮影された画像の管理方法を説明するための略線図である。
【図９】この発明に適用されるカメラ部の動作の実施形態を説明するための概略図である。
【図１０】この発明に適用されるシフトレンズに印加する時間と電圧の関係を説明するための特性図である。
【図１１】この発明に適用されるカメラ部の動作の実施形態を説明するための概略図である。
【図１２】この発明に適用されるカメラ部の動作の実施形態を説明するための概略図である。
【図１３】この発明の他の実施形態となるカメラ部の動作を説明するための概略図である。
【符号の説明】
１・・・コンピュータ、２・・・ディスプレイ、３・・・カメラユニット、４・・・パンチルタ部、５・・・カメラ部、２１・・・コントローラバス、２４・・・撮影部、２７・・・ＪＰＥＧエンコーダ／メタデータ付加部、３０・・・メインメモリ、３１・・・グラフィックコントローラ、３２・・・画像圧縮部、３３・・・コントローラＣＰＵ、１０１・・・可動範囲画像表示部、１０２・・・全体画像表示部、１０３・・・選択画像表示部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a monitoring system and method, a program, and a recording medium applied to a surveillance camera or the like.
[0002]
[Prior art]
Conventionally, when monitoring a wide range of situations, for example, monitoring systems have been used for maritime monitoring, river monitoring, on-site monitoring area monitoring, wild animal behavior observation, and the like. In order to capture a wide range of images with high definition, a video camera equipped with an image sensor having a very large number of pixels was used. For this reason, the price of the system is increased, and there is a problem in terms of cost.
[0003]
[Patent Document 1]
Japanese Patent Application No. 2002-131025 (page 19, FIG. 6)
Therefore, in this patent document 1, the applicant can capture a high-definition and wide-range image by using a shift lens and capturing and combining a space for each angle of view using an image sensor having a general number of pixels. We are proposing a camera system that can be used.
[0004]
[Problems to be solved by the invention]
However, since the focus is fixed at the time of capturing the image, there is a problem that a part that is not in focus is inevitably generated in a wide range of images.
[0005]
Accordingly, an object of the present invention is to provide a monitoring system and method, a program, and a recording medium that can focus on all images in a wide range by capturing a wide range of images with a plurality of focus points. .
[0006]
[Means for Solving the Problems]
In order to achieve the above-described problem, the invention described in claim 1 includes an imaging unit that captures image data with at least the first and second focus, an imaging direction variable unit that varies an imaging direction of the imaging unit, The latitude / longitude, orientation, and altitude of the imaging unit , Position information of image data taken by the imaging unit As Position information detecting means for detecting, a storage section for adding and storing the detected position information for each image data photographed with the first and second focus, and an imaging direction variable section of Accumulating an original image composed of a plurality of still images captured in each imaging direction or a compressed image obtained by compressing the original image in the storage unit, Of some range within the maximum movable range of the imaging direction variable part A panoramic overall image by further compressing the original or compressed image As Generate and whole image Set the coordinates that define the position in Compare the image data shot with the first and second focus at the same coordinate position, select the focus when shooting image data with more high frequency components as the optimum focus at the coordinate position, and set the focus A compressed image obtained by compressing image data shot with the optimum focus set for each coordinate position and the image data collected with the optimum focus set for each coordinate position and stored in the storage unit. Each position information and coordinate position is displayed on the compressed image. Append Position information and coordinate position Added An image display unit that displays a compressed image at a corresponding coordinate position of the entire image.
[0007]
According to a second aspect of the present invention, the step of photographing image data with at least the first and second focus by the imaging unit, the step of varying the imaging direction of the imaging unit, The latitude / longitude, orientation, and altitude of the imaging unit , Position information of image data taken by the imaging unit As Detecting, adding the detected position information for each image data photographed with the first and second focus, and accumulating in the accumulation unit; each Accumulating an original image composed of a plurality of still images captured in the imaging direction or a compressed image obtained by compressing the original image in the storage unit, Of some range within the maximum movable range A panoramic overall image by further compressing the original or compressed image As Generate and whole image Set the coordinates that define the position in Comparing the image data photographed with the first and second focus at the same coordinate position, and selecting and setting the focus when photographing image data with more high frequency components as the optimum focus at the coordinate position Compressed image data obtained by compressing image data shot with the optimum focus set for each coordinate position, or compressed image data shot with the optimum focus set for each coordinate position and stored in the storage unit Respective position information and coordinate position on the compressed image Append Position information and coordinate position Added And a step of displaying the compressed image at a corresponding coordinate position of the entire image.
[0008]
According to a third aspect of the present invention, the step of photographing image data with at least the first and second focus by the imaging unit, the step of varying the imaging direction of the imaging unit, The latitude / longitude, orientation, and altitude of the imaging unit , Position information of image data taken by the imaging unit As Detecting, adding the detected position information for each image data photographed with the first and second focus, and accumulating in the accumulation unit; each Accumulating an original image composed of a plurality of still images captured in the imaging direction or a compressed image obtained by compressing the original image in the storage unit, Of some range within the maximum movable range A panoramic overall image by further compressing the original or compressed image As Generate and whole image Set the coordinates that define the position in Comparing the image data photographed with the first and second focus at the same coordinate position, and selecting and setting the focus when photographing image data with more high frequency components as the optimum focus at the coordinate position Compressed image data compressed with the optimal focus set for each coordinate position, or compressed image data captured with the optimal focus set for each coordinate position and stored in the storage unit Respective position information and coordinate position on the compressed image Append Position information and coordinate position Added A program for causing a computer to execute a monitoring method, comprising: displaying a compressed image at a corresponding coordinate position of the entire image.
[0009]
According to a fourth aspect of the present invention, the step of photographing image data with at least the first and second focus by the imaging unit, the step of varying the imaging direction of the imaging unit, The latitude / longitude, orientation, and altitude of the imaging unit , Position information of image data taken by the imaging unit As Detecting, adding the detected position information for each image data photographed with the first and second focus, and accumulating in the accumulation unit; each Accumulating an original image composed of a plurality of still images captured in the imaging direction or a compressed image obtained by compressing the original image in the storage unit, Of some range within the maximum movable range A panoramic overall image by further compressing the original or compressed image As Generate and whole image Set the coordinates that define the position in Comparing the image data photographed with the first and second focus at the same coordinate position, and selecting and setting the focus when photographing image data with more high frequency components as the optimum focus at the coordinate position Compressed image data compressed with the optimal focus set for each coordinate position, or compressed image data captured with the optimal focus set for each coordinate position and stored in the storage unit Respective position information and coordinate position on the compressed image Append Position information and coordinate position Added A computer-readable recording medium having recorded thereon a program for causing a computer to execute a monitoring method, comprising: displaying a compressed image at a corresponding coordinate position of the entire image.
[0010]
In this way, image data at different positions is captured at least with the first and second focus, and image data determined to be the optimum focus from the image data captured with the first and second focus is a collective image. By displaying at the corresponding position, the quality of the sacrificed information can be improved.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows a schematic configuration of an embodiment of the present invention. The computer 1 to which the display 2 is connected controls the camera unit 3. The example of FIG. 1 is an example of a system in which one computer 1 controls two camera units 3 and another computer 1 ′ having a display 2 ′ controls other camera units 3 ′. One computer can control a plurality of camera units.
[0012]
The camera unit 3 has a pantilter unit 4 and a camera unit 5 integrally formed. The camera unit 3 is installed so that a far target area can be photographed. As an example, the camera unit 5 includes a telephoto lens having a magnification of 10 times, 70 times, or the like, and can photograph a place away from several tens of meters to several kilometers.
[0013]
The camera unit 5 is, for example, a digital still camera that can turn on a shutter in synchronization with an external trigger, and its imaging element, for example, a CCD (Charge Coupled Device) has VGA (Video Graphics Array, 640 × 480 pixels), XGA (XGA). eXtended Graphics Array, 1024 × 768 pixels) and SXGA (Super eXtended Graphics Array, 1280 × 1024 pixels). In the case of a VGA image sensor, a still image (frame) is output at a rate of 30 fps (frame / second). In the case of an XGA image sensor, a still image is output at a rate of 15 fps (frame / second). In the case of this image sensor, a still image is output at a rate of 7.5 fps (frame / second).
[0014]
Video data is transmitted from the camera unit 3 to the computer 1 via the bus 6. The bus 6 transmits a video data transmission path and a control signal of the camera unit 3. The configuration described above is the same for the computer 1 ′ and the camera unit 3 ′.
[0015]
In the computers 1 and 1 ′, video data from the camera units 3 and 3 ′ are stored in a memory, and as will be described later, an operation GUI (Graphical User Interface) is configured, and an image of a desired target area is displayed by the user. The camera units 3 and 3 ′ can be controlled so that the camera units 3 and 3 ′ can shoot. The captured image is compressed by compression encoding, for example, JPEG (Joint Photographic Experts Group).
[0016]
The computers 1 and 1 ′ are connected to each other by a LAN (Local Area Network) 7. Another computer 8 is connected to the LAN 7. Reference numeral 9 is a display of the computer 8. The computer 8 receives frames and the like from the computers 1, 1 ′ via the LAN 7, accumulates video data in the archive 10, and further processes the frames. For example, processing such as face recognition, baggage recognition, environment recognition, car recognition, etc. is performed using video data. The archive 10 can store a large amount of data such as a tape streamer.
[0017]
FIG. 2 shows a more detailed configuration of the computer 1 and the camera unit 3 in the monitoring system described above. In the example of FIG. 2, camera unit and computer components are connected to a common controller bus 21 indicated by reference numeral 21.
[0018]
The pantilter unit 4 includes a pan unit 4a and a tilt unit 4b. Each of the pan unit 4 a and the tilt unit 4 b has, for example, a stepping motor as a drive source, and pans or tilts the camera unit according to a control signal supplied from the controller CPU 33 via the controller bus 21. A camera unit is placed on the pantilter unit 4. Here, pan means to rotate the camera in the horizontal direction, and tilt means to rotate the camera in the vertical direction. As an example, the maximum value of the pan angle is 180 °, and the maximum value of the tilt angle is 90 °.
[0019]
As will be described later, the camera unit is moved within a range of tilt angle = ± 45 ° and pan angle = ± 90 ° within the maximum movement range of the camera unit. Each time the imaging center is moved by the angle of view, the shutter is turned on, and for example, a 1/60 second or 1/30 second still image (hereinafter referred to as “frame” as appropriate) is taken. That is, a moving image is shot by the camera unit, and the shot moving image is supplied to the subsequent stage as one still image of 1/60 second or 1/30 second.
[0020]
A total of (M × N = 8 × 16 = 128) frames of M (for example, 8) in the vertical direction and N (for example, 16) in the horizontal direction are sequentially photographed, and these frames are compressed and connected. To form one whole image. Each frame is, for example, an XGA (1024 × 768 pixels) image. Accordingly, if the overlapping portion is ignored, the 128 frames form an image of about 100 million pixels (the horizontal direction is 1024 × 16 = 16,384 pixels and the vertical direction is 768 × 8 = 6,144 pixels). It takes about 5 seconds to shoot 128 frames. The overlapping portion is, for example, 16 pixels vertically and horizontally.
[0021]
The camera unit is configured as a digital still camera and includes a lens unit 22, a focus / zoom / iris control unit 23, and an imaging unit 24. The focus / zoom / iris control unit 23 is controlled by a control signal supplied from the controller CPU 33 via the controller bus 21. The imaging unit 24 includes a solid-state imaging device such as a CCD and a camera signal processing circuit. A digital video signal from the imaging unit 24 is written into the buffer memory 26 via an interface 25 of IEEE (Institute of Electrical and Electronics Engineers) 1394.
[0022]
The output data of the buffer memory 26 is supplied to the JPEG encoder / metadata adding unit 27, and the frame is converted into JPEG data. JPEG is one of the compression methods, and other compression methods may be used or not compressed.
[0023]
The camera unit 3 is provided with a GPS (Global Positioning System) 28 for detecting its position. By providing the GPS 28, it is possible to record the data of the installation location of the camera, detect the direction of the camera, and control the directions of the plurality of cameras in conjunction with each other. The GPS 28 is controlled by a control signal supplied from the controller CPU 33 via the controller bus 21.
[0024]
An output signal of the GPS 28 is supplied to the metadata generation unit 29, and positional information (information such as latitude / longitude, azimuth, altitude, etc.) and metadata (time, camera unit parameters (magnification, focus value) based on the positioning result of the GPS 28 are supplied. , Information such as iris value). The position information and metadata are supplied to the JPEG encoder / metadata adding unit 27, and the position information and metadata are added to the JPEG data.
[0025]
JPEG data to which metadata and position information are added is stored in a main memory 30 such as a hard disk, and is supplied to the graphic controller 31 and the image compression unit 32. In this specification, accumulation in the main memory 30 is called recording, and reading data from the main memory 30 is called reproduction. In addition, displaying an image that is currently being captured without going through the main memory 30 is referred to as a live mode, and displaying data recorded in the past from the main memory 30 and displaying it is referred to as a view mode.
[0026]
The main memory 30 has a function as a server. For example, as a result of compressing an XGA image by JPEG, the data amount of one frame is 100 kbytes, and the data amount of 12.5 Mbytes is 128 images. If the main memory 30 has a capacity of about 80 Gbytes, JPEG data for one day can be stored. In the view mode, it is possible to reproduce older data stored not only in the main memory 30 but also in a storage device such as an archive.
[0027]
The JPEG data reproduced from the main memory 30 is supplied to the graphic controller 31. The image compression unit 32 generates a compressed image or a thumbnail (reduced image) from the JPEG data from the JPEG encoder / metadata adding unit 27 or the JPEG data reproduced from the main memory 30. For example, a panoramic overall image is formed by thinning out the vertical direction and the horizontal direction. The image compression unit 32 also performs compression processing for forming a movable range image, which will be described later. As described above, in the case of XGA, a panoramic overall image such as (400 × 1000 pixels) is formed by processing the data of about 100 million pixels by JPEG compression and the image compression unit 32. The movable range image is also a thumbnail, but is a coarser image than the entire image.
[0028]
The graphic controller 31 converts JPEG data into bitmap data, and performs graphics processing so that a desired image is displayed on the screen of the display 2. In other words, movable range image display, whole image display, selected image display, GUI display such as buttons, etc. are made on the screen of the display 2. Details of the display will be described later.
[0029]
The graphic controller 31 performs image processing and detects image changes. An image change is a change that occurs with respect to a reference image. For example, in the view mode, a comparison with a previously stored reference image is made and an image change is detected. An image at a predetermined time on the previous day is set as a reference image, a pixel difference between an image accumulated thereafter and the reference image is detected, and a change occurs when the absolute value of the pixel difference is equal to or greater than a predetermined value. Detect with things. As the detection of the difference, a method of calculating a difference value between pixels at the same position for each frame at the same spatial position between the image to be compared and the reference image can be used. Instead of detecting the difference for all the pixels, the difference may be calculated for the representative pixel or the thinned pixel. Further, by limiting the predetermined color, it is also possible to perform change detection focusing on an object of a predetermined color.
[0030]
When a change is detected, an alarm, for example, a frame in which a change is detected is displayed on the display 2 so that it can be distinguished from other frames. Specifically, the alarm can be displayed by a method such as luminance change, color change, blinking or the like. As the reference image, a predetermined image can be arbitrarily selected from the stored images.
[0031]
As described above, the controller CPU 33 connected to the controller bus 21 performs lens control (for example, focus) of the camera unit, exposure control (for example, aperture, gain, electronic shutter speed, etc.), white balance control, image quality control, and the like. And the pan part 4a and the tilt part 4b are controlled.
[0032]
Reference numeral 34 is an I / O port. A keyboard 35 and a mouse 36 are connected to the I / O port 34, and a memory card 37 and a clock 38 are connected to the I / O port 34. JPEG data to which position information and metadata recorded in the main memory 30 are added can be written to the memory card 37. Time data is obtained from the clock 38.
[0033]
In FIG. 2, each component is connected to the controller bus 21. However, the camera unit and the computer may be installed at a remote location, and both may be connected by IEEE 1394, USB, or the like. In this case, an optical fiber is used as the physical transmission line. If an optical fiber is used, the camera unit and the control computer can be separated from several hundred meters to several kilometers. Furthermore, you may connect both by wireless LAN.
[0034]
FIG. 3 shows an example of a GUI screen according to an embodiment of the present invention. A movable range image display unit 101, an entire image display unit 102, and a selected image display unit 103 are arranged on one screen shown in FIG.
[0035]
A movable range image is displayed on the movable range image display unit 101. The movable range image is an image indicating the maximum range that can be captured by the camera unit, and is composed of a plurality of frames. Therefore, in this embodiment, a panoramic image is obtained as shown in the figure. As described above, the maximum value of the pan angle is 180 ° and the maximum value of the tilt angle is 90 °, and a movable range image is generated from a plurality of frames shot in this maximum movable range. The movable range image display unit 101 incorporates position information added to a plurality of configured frames.
[0036]
Then, when an MRP (Movable Range Picture) display button 130, which will be described later, is clicked, or when a camera unit is installed and shooting starts, the camera unit is moved over the maximum movable range, and is composed of a plurality of frames obtained as a result. A thumbnail obtained by thinning pixels in the vertical direction and the horizontal direction with respect to the image to be displayed is used as the movable range image. Further, all the frames constituting the movable range image may be taken at a predetermined time interval, and stored and / or displayed.
[0037]
In the movable range image display unit 101, an entire image display frame 101a for recognizing the range displayed on the entire image display unit 102 is shown. By moving the whole image display frame 101a with the mouse 36, a desired range in the movable range image can be instructed, and the camera unit can be controlled to image the instructed range. That is, (M × N) frames (still images) are captured, stored, and / or displayed within the designated range.
[0038]
The entire image display frame 101a is an example, and the range displayed on the entire image display unit 102 in various shapes may be displayed on the movable range image display unit 101.
[0039]
The size of the entire image display frame 101a is, for example, the size of (8 × 16) frames displayed on the movable range image display unit 101, and is selected by a REC MODE selection menu 118 described later. The size is in accordance with the image size of the recording mode. Accordingly, the size may be (4 × 8) frames as described later, or may be the size of (2 × 4) frames. The size of one frame depends on the magnification of the lens unit 22 and the number of pixels of the imaging unit 24.
[0040]
When the entire image display frame 101a is moved, as an example, after selecting the frame that becomes the center of the entire image display frame 101a with the mouse 36, the entire image display frame 101a is displayed so that the selected frame becomes the center. In addition, the entire image display frame 101a may be moved in conjunction with the movement of the mouse 36, the upper left frame of the entire image display frame 101a, for example, or the two upper left and lower right frames. May be selected with the mouse 36. In this way, the camera unit is controlled to capture the range corresponding to the entire image display frame 101a whose position has been moved, and the optical axis of the camera unit is directed.
[0041]
The whole image display unit 102 displays a panoramic whole image. The whole image is an image obtained by compressing the JPEG data corresponding to the photographed original image by the image compression unit 32. Monitoring can be performed by viewing the displayed whole image. Furthermore, as described above, when an image change is detected, an alarm is generated in which the frame in which the change is detected in the entire image displayed on the entire image display unit 102 is displayed differently from the other frames.
[0042]
A selected image is displayed on the selected image display unit 103. The selected image is an image obtained by enlarging a part of the entire image. For example, a frame at a position indicated in the entire image is displayed as a selected image. It can be enlarged by displaying one frame of original image which is not compressed. Furthermore, the image can be enlarged by digital signal processing.
[0043]
The EXIT button 104 is a button for turning off the power of the monitoring system. The camera system OFF button 105 is a button for turning off the power of the camera unit.
[0044]
The VIEW MODE button 106 is a button for switching the mode of the monitoring system to the view mode. The view mode is a mode for displaying the entire image and the partial image based on the frames stored in the main memory 30 or another server.
[0045]
The LIVE MODE button 107 is a button for switching the mode of the monitoring system to the live mode. The live mode is a mode in which an entire image and a partial image are displayed based on a frame that is currently captured by the camera unit.
[0046]
The Compas display area 108 is an area for displaying a compass indicating the direction in which the optical axis of the lens of the camera unit is directed. The GPS Data display area 109 is an area for displaying the latitude, lightness and altitude of the place where the camera unit is installed, and the shooting date and time. The data displayed in the areas 108 and 109 is data measured by the GPS 28 provided in the camera unit.
[0047]
The view offset button 110 is a button for adjusting the position of the selected frame. The view offset button 110 is used to move one frame selected by the pointer in the entire image displayed on the entire image display unit 102 in the upward, downward, leftward, and rightward directions. is there. A plurality of frames constituting the entire image are displayed overlapping with adjacent frames by a predetermined number of pixels, for example, 16 pixels vertically and horizontally. By moving the frame within the range of this overlapping portion, it is possible to achieve consistency with adjacent frames and to make the display state smooth.
[0048]
The mode display area 129 is an area for displaying mode information, alarm information, error information, and the like. The mode information is information for notifying the user of the mode of the monitoring system, and specifically, information such as a live mode and a view mode. The alarm information is information for prompting the user to give a warning, and is displayed, for example, when the above-described view offset button 110 reaches a limit at which a frame can be moved. The error information is information for notifying the user of an error occurring in the monitoring system.
[0049]
The Camera Control unit 111 includes a ZOOM button 112, a FOCUS button 113, an IRIS button 114, a Camera Configuration button 115, and a White Balance button 116. The ZOOM button 112 is a button for adjusting the zoom of the camera unit. The FOCUS button 113 is a button for adjusting the focus of the camera unit. The IRIS button 114 is a button for adjusting the iris of the camera unit. The Camera Configuration button 115 is a button for adjusting the γ characteristic, shutter speed, gain characteristic, and the like of the camera unit. The White Balance button 116 is a button for adjusting the white balance of the camera unit. Note that when the camera system is in the view mode, the display of the Camera Control unit 111 may be omitted.
[0050]
The SELECT button 117 is a button for displaying a select screen in the view mode. The select screen is an image for specifying a region desired to be reproduced and recorded by a frame constituting the entire image.
[0051]
The REC MODE selection menu 118 is a pull-down menu for selecting a recording mode. In this pull-down menu, a recording mode in which an image size to be recorded and a recording method (RUN or SINGLE) are combined is displayed. The image size is selected from among the whole image composed of (8 × 16) frames, the partial image composed of selected (4 × 8) frames of the whole image, and the whole image. Any of the partial images made up of (2 × 4) frames that have been made is possible. The partial image is the position selected from the select screen. RUN of the recording method is a method of recording a captured image generated at a predetermined cycle (for example, a cycle of 5 seconds), and SINGLE is a method of recording only once. A combination of these can be selected as the recording mode.
[0052]
The Stage Config (Stage Configuration) button 119 is a button for finely adjusting the accuracy of moving the stage. The message area 120 is an area for displaying the connection status between the control computer and the camera unit and the control status of the stage of the camera unit. When the control computer and the camera unit are connected, "IMAGE SERVER CONNECT" is displayed in the message area as shown in FIG. In addition, when the stage of the camera unit is in a controllable state, “STAGE CONTROL ACTIVE” is displayed in the message area.
[0053]
The REC button 121 is a button for starting image recording. When this button is clicked, recording corresponding to the recording mode selected in the REC MODE selection menu 118 is started. Specifically, RUN (8 × 16), RUN (4 × 8), RUN (2 × 4), SELECT SINGLE RUN (8 × 16), SELECT SINGLE RUN (4 × 8), SELECT SINGLE RUN (2 × Recording according to the mode selected from the modes such as 4) is started.
[0054]
The PLAY button 122 is a button for reproducing a frame recorded in the server (main memory 30). Specifically, when this PLAY button 122 is clicked, an accumulated data display screen is displayed. Information for identifying the accumulated frames is displayed on the accumulated data display screen. This information is based on information described in a direction file described later.
[0055]
The STOP button 123 is a button for stopping the recording or reproducing operation. The STOP button 123 may be displayed when the REC button 121 or the PLAY button 122 is clicked.
[0056]
The Set Camera Center POS (Set Camera Center POSITION) button 125 is a button for designating the direction in which the camera unit is currently facing as the center of an (8 × 16) image.
[0057]
The HOME button 124 is a button for controlling the camera unit and directing the optical axis of the lens of the camera unit to the home position. The home position is a position where the camera unit faces the leftmost position. The LIVE / VIEW POSITION button 126 is a button for panning or tilting the camera unit.
[0058]
The ZOOM buttons 127 a and 127 b are buttons for enlarging and reducing the selected image displayed on the selected image display unit 103. The MAX VIEW button 128 is a button for enlarging and displaying the selected image on another screen, for example, the entire image display unit 102.
[0059]
The MRP display button 130 is a button that is clicked when a plurality of frames displayed on the movable range image display unit 101 are captured, stored, and / or displayed. That is, when the MRP display button 130 is clicked, the entire range that can be captured by the camera unit is captured in units of frames, and all frames are assembled based on the position information of the camera unit that each captured frame has. And displayed on the movable range image display unit 101 as a movable range image.
[0060]
Next, an example of an operation related to shooting by the camera unit 3 will be described with reference to FIG. In this embodiment, it is an example of capturing a peripheral image with two types of focus. A focus set at the infinity set by the lens unit 22 is referred to as “focus A”, and a focus set near the focus A is referred to as “focus B”.
[0061]
In the camera unit 3, the camera unit 5 is installed on the pan head of the pantilter unit 4, and the imaging direction can be changed from the home position. In FIG. 4, when (M × N) frames taken are viewed from the camera side, numbers 1, 2,..., M are assigned to the respective rows in order from the top, and left for each column. Numbers 1, 2,... The home position is, for example, a position where a frame with coordinates (1, 1) is photographed.
[0062]
When the frame at the coordinate position (1, 1) is photographed, the camera unit 3 is tilted downward, and the frame at the coordinate position (2, 1) is photographed. , The frame at the coordinate position (M, 1) is photographed, and then the frame at the top coordinate position (1, 2) in the second column is photographed. Hereinafter, each frame is photographed up to the frame at the coordinate position (M, N). In this way, (M × N) images are respectively taken with the focus A and the focus B.
[0063]
Frames taken with the focus A and the focus B are recorded in the main memory 30. In the main memory 30, in order to distinguish between a frame shot with the focus A and a frame shot with the focus B, each area may be set, and a flag is attached to each frame. You may do it.
[0064]
Here, with reference to the flowchart of FIG. 5, the operation | movement which sets the optimal focus for every coordinate position is demonstrated. In step S1, the lens unit 22 is first set to the focus A, and the frames at the respective coordinate positions are photographed as described above. The captured frame is recorded in the main memory 30. Next, in step S2, the lens unit 22 is set to the focus B, and a frame of each frame is photographed. The captured frame is recorded in the main memory 30.
[0065]
In step S <b> 3, the frame at the same coordinate position N photographed with focus A and focus B is reproduced from the main memory 30. In step S4, the optimum focus is selected from the frame of focus A and the frame of focus B reproduced at the same coordinate position. For example, the frequency component of the frame shot with the focus A and the frequency component of the frame shot with the focus B are compared, and the focus that shot the frame with more high frequency components is selected as the optimum focus. When it is determined that the focus A is the optimum focus, the control shifts to step S5, and when it is determined that the focus B is the optimal focus, the control shifts to step S7.
[0066]
In step S5, the focus A is set as the optimum focus of the coordinate position N. In step S7, the focus B is set as the optimum focus of the coordinate position N.
[0067]
In step S6, it is determined whether or not the focus setting for all (M × N) coordinate positions has been completed. If it is determined that the focus settings for all coordinate positions have been completed, the control of this flowchart is terminated. If it is determined that the focus settings for all coordinate positions have not yet been completed, control proceeds to step S8. Move. In step S8, in order to set the focus of the next coordinate position, the coordinate position N is incremented, and control returns to step S3.
[0068]
Thus, the image data photographed with the optimum focus set for each position coordinate is displayed on the entire image display unit 102 and the selected image display unit 103.
[0069]
Further, when selecting the focus for each coordinate position, the distance to the object in the frame may be accurately calculated.
[0070]
Furthermore, when selecting a focus for each coordinate position, a determination may be made using a threshold value. The threshold value may be set to an arbitrary value by the user.
[0071]
Further, the focus A frame may be displayed on all the frames of the entire image display unit 102 and the selected image display unit 103, and the user may select a portion to change focus.
[0072]
Specifically, when you click the part you want to change the focus, the pop-up menu displays the focus of the frame that can be displayed. Select the desired focus from the displayed focus, and the selected focus is at its coordinate position. It may be set as the focus.
[0073]
And Movable The focus may be set on any display unit of the range image display unit 101, the entire image display unit 102, and the selected image display unit 103.
[0074]
Also, Movable Regardless of whether the focus is set on any one of the range image display unit 101, the entire image display unit 102, and the selected image display unit 103, when displaying the frame at the coordinate position where the focus is set on the other display unit, You may make it display the frame of the set focus.
[0075]
For example, when a desired portion on the entire image display unit 102 is selected and the focus of the coordinate position corresponding to the selected desired portion is set, the frame at the coordinate position set in the entire image display unit 102 is displayed. Movable When displayed on the range image display unit 101 and the selected image display unit 103, the focus frame set in the entire image display unit 102 may be displayed.
[0076]
Also, Movable You may make it set the focus of a desired part separately for the range image display part 101, the whole image display part 102, and the selection image display part 103, respectively.
[0077]
Further, in this example, the peripheral image is captured with two types of focus, but the peripheral image may be captured with three or more types of focus.
[0078]
In addition, Movable The range image display unit 101 may display only the focus A frame or the focus B frame.
[0079]
Here, an example when operating in the live mode will be described. First, the lens unit 22 is set to focus A, and the frame at the coordinate position displayed on the entire image display unit 102 is photographed. The captured frame is recorded in the main memory 30.
[0080]
When shooting and recording of (8 × 16) frames is completed, the lens unit 22 is set to focus B, and the frame at the coordinate position displayed on the entire image display unit 102 is shot. The captured frame is recorded in the main memory 30.
[0081]
The photographing and recording with the focus A and the focus B are repeatedly performed. For example, when shooting and recording of (8 × 16) frames is completed, a frame at a coordinate position corresponding to the frame set to focus A in the entire image display unit 102 is reproduced from the main memory 30 and displayed. Is done.
[0082]
Next, the focus is switched from A to B, and the frame at the coordinate position displayed on the entire image display unit 102 is photographed with the focus B. The captured frame is recorded in the main memory 30. When shooting and recording of (8 × 16) frames is completed, a frame at a coordinate position corresponding to the frame set to focus B in the entire image display unit 102 is reproduced from the main memory 30 and displayed. .
[0083]
In an example when operating in this live mode, all (8 × 16) coordinate position frames displayed on the entire image display unit 102 are shot and recorded, but shot with focus A. In some cases, only the frame at the coordinate position set to focus A may be shot and recorded, and when shooting at focus B, only the frame at the coordinate position set to focus B may be shot and recorded. At this time, the lens unit 22 is controlled corresponding to the focus set for each position coordinate.
[0084]
In an example when operating in the live mode, the focus A is photographed and recorded, and then the focus B is photographed and recorded, but is displayed on the entire image display unit 102 (8 × 16). When sequentially capturing frames, the lens unit 22 may be controlled so that the focus set at the position coordinates is obtained, and the frames may be captured and recorded.
[0085]
FIG. 6 shows a range in which one frame can be shot when the camera unit 3 is provided with a 75 × telephoto lens. When shooting a subject at a distance of 100 m from the camera unit 3, a range of 8.7 m in length and 1.17 m in width can be shot in one frame. For example, when an image sensor for XGA is used as the image sensor of the camera unit 5, a range of 0.87 cm in length × 1.17 cm in width of the subject can be represented by about one pixel.
[0086]
When shooting a subject at a distance of 200 m from the camera unit 3, a range of 1.74 m × 2.34 m can be shot in one frame. For example, when an XGA image sensor is used as the image sensor of the camera unit 5, a range of 1.74 cm × 2.34 cm of the subject can be represented by one pixel.
[0087]
When photographing a subject at a distance of 500 m from the camera unit 3, it is possible to photograph a range of 4.36 m in length and 5.84 m in width in one frame. For example, when an XGA image sensor is used as the image sensor of the camera unit 5, a range of 4.36 cm long by 5.84 cm wide of the subject can be represented by one pixel.
[0088]
A data management method for recording a frame acquired in the main memory 30 or the like with reference to FIGS. 7 and 8 will be described. As shown in FIG. 7, (M × N) frames of images are taken at predetermined time intervals. The captured image is compressed and recorded in the main memory 30. At this time, the position of each frame is defined by M rows and N columns. For example, the uppermost frame at the right end is defined by the position address of (1, 1).
[0089]
As shown in FIG. 8A, each frame is recorded in the main memory 30 with the position address and time information at the time of recording as a file name. At this time, the time information includes, for example, year / month / day / hour / minute / second when the frame indicated by the position address of (1, 1) was captured. Therefore, the file name of each frame is (year / month / day / hour / minute / second, position address).
[0090]
Further, as shown in FIG. 8B, a direction file is defined corresponding to the formation of one overall image with (M × N) frames. The direction file has the same data as the file name of the frame having the position address of (1, 1) (that is, year / month / day / hour / minute / second, position address), so that a set of the (M × N) frames. Define Further, the direction file has position information and metadata for the set of frames. The position information and metadata are generated by the metadata generation unit 29. That is, the direction file has position information such as latitude / longitude, azimuth, altitude, and metadata information such as parameters (magnification, focus value, iris value, etc.) of the camera unit 5.
[0091]
An embodiment of the operation of the camera unit 3 will be described with reference to FIG. FIG. 9 is a cross-sectional plan view of the camera unit 5 when the camera unit 3 is viewed from directly above. Here, for ease of explanation, only the lens unit 22 and the imaging unit 24 are shown in the camera unit 5, and the camera unit 5 is simply panned.
[0092]
The center of the pan of the camera unit 5 is the center position indicated by the reference circle 202. In this example, the center of the surface on which the image of the subject is formed in the imaging unit 24 and the center of the reference circle 202 are deviated from each other for ease of explanation, but there is no problem even if they are arranged so as to match each other. There is no.
[0093]
The center of the light beam of the camera unit 5 is indicated by a reference line 220, and the imaging center of the subject to be photographed is indicated by an imaging center line 210. The lens unit 22 includes lenses 203, 204, 206, 207 and a shift lens (optical path variable element) 205. As an example, the lenses 203, 204, and 206 are convex lenses having a refractive index larger than 1, and the shift lens 205 and the lens 207 are convex lenses having a refractive index smaller than 1.
[0094]
The shift lens 205 includes, as an example, a lens, a linear motor that moves the lens in the horizontal direction, and a linear motor that moves the lens in the vertical direction. In this embodiment, the lens itself is referred to as a shift lens.
[0095]
In FIG. 9, as an example, panning is performed in the order of FIGS. 9A, 9B, and 9C. First, as shown in FIG. 9A, when the reference line 220 and the imaging center line 210 are at an angle θa, the subject image is incident on the lens 203 via the optical path 211a.
[0096]
The subject image incident on the lens 203 is refracted by the refractive index of the lens 203 and is incident on the lens 204 via the optical path 212a. The subject image incident on the lens 204 is refracted by the refractive index of the lens 204 and incident on the shift lens 205 moving to the position 205a to supply the subject image to the imaging unit 24 via the optical path 213a. Is done.
[0097]
The image of the subject incident on the shift lens 205 is refracted by the refractive index of the shift lens 205 and is incident on the lens 206 via the optical path 214a. At this time, a predetermined voltage is applied to the linear motor of the shift lens 205 corresponding to the count value obtained by counting the number of pulses supplied to the servo motor of the pan section 4a, and the shift lens 205 is moved to the position 205a.
[0098]
The image of the subject incident on the lens 206 is refracted by the refractive index of the lens 206 and is incident on the lens 207 via the optical path 215. The subject image incident on the lens 207 is refracted by the refractive index of the lens 207 and is incident on the imaging unit 24 via the optical path 216.
[0099]
In this way, by moving the shift lens 205 to the position 205a corresponding to the count value obtained by counting the number of pulses supplied to the servo motor of the pan unit 4a, imaging is performed via the optical path 214a formed by the shift lens 205. The subject image is incident on the lens 206 so that the subject image is incident on the unit 24.
[0100]
Then, as shown in FIG. 9B, when the reference line 220 and the imaging center line 210 coincide with each other, the image from the subject enters the lens 203 via the optical path 211b.
[0101]
The subject image incident on the lens 203 is refracted by the refractive index of the lens 203 and is incident on the lens 204 via the optical path 212b. The subject image incident on the lens 204 is refracted by the refractive index of the lens 204 and incident on the shift lens 205 moving to the position 205b to supply the subject image to the imaging unit 24 via the optical path 213b. Is done.
[0102]
The image of the subject incident on the shift lens 205 is refracted by the refractive index of the shift lens 205 and is incident on the lens 206 via the optical path 214b. At this time, a predetermined voltage is applied to the linear motor of the shift lens 205 so that the center of the shift lens 205, the reference line 220, and the imaging center line 210 coincide with each other, and the shift lens 205 is moved to the position 205b. .
[0103]
The image of the subject incident on the lens 206 is refracted by the refractive index of the lens 206 and is incident on the lens 207 via the optical path 215. The subject image incident on the lens 207 is refracted by the refractive index of the lens 207 and is incident on the imaging unit 24 via the optical path 216.
[0104]
In this way, by moving the shift lens 205 to the position 205b where the center of the shift lens 205, the reference line 220, and the imaging center line 210 coincide, via the optical path 214b formed by the shift lens 205, The subject image is incident on the lens 206 so that the subject image is incident on the imaging unit 24.
[0105]
Then, as shown in FIG. 9C, when the reference line 220 and the imaging center line 210 are at an angle −θc, the image from the subject enters the lens 203 via the optical path 211c.
[0106]
The image of the subject incident on the lens 203 is refracted by the refractive index of the lens 203 and is incident on the lens 204 via the optical path 212c. The subject image incident on the lens 204 is refracted by the refractive index of the lens 204 and incident on the shift lens 205 moving to the position 205c to supply the subject image to the imaging unit 24 via the optical path 213c. Is done.
[0107]
The image of the subject incident on the shift lens 205 is refracted by the refractive index of the shift lens 205 and is incident on the lens 206 via the optical path 214c. At this time, a predetermined voltage is applied to the linear motor of the shift lens 205 corresponding to the count value obtained by counting the number of pulses supplied to the servo motor of the pan section 4a, and the shift lens 205 is moved to the position 205c.
[0108]
The image of the subject incident on the lens 206 is refracted by the refractive index of the lens 206 and is incident on the lens 207 via the optical path 215. The subject image incident on the lens 207 is refracted by the refractive index of the lens 207 and is incident on the imaging unit 24 via the optical path 216.
[0109]
In this way, by moving the shift lens 205 to the position 205c corresponding to the count value obtained by counting the number of pulses supplied to the servo motor of the pan unit 4a, imaging is performed via the optical path 214c formed by the shift lens 205. The subject image is incident on the lens 206 so that the subject image is incident on the unit 24.
[0110]
As shown in FIG. 9, by moving the shift lens 205 so as to be in the direction opposite to the direction in which the camera unit 5 moves, the image of the subject exposed by the imaging unit 24 can be made the same.
[0111]
In this embodiment, the number of pulses when moving for one screen imaged by the camera unit 5 is referred to as one cycle pulse. There are two types of cycles, the FWD cycle and the REV cycle, depending on the direction in which the camera unit 5 moves. In this embodiment, the position where the shift lens 205 is waiting during the FWD cycle is a position 205a shown in FIG. 9A.
[0112]
Also, during the FWD cycle, the shift lens 205 moves from the shift lens position 205a to the shift lens position 205c (see FIG. 9C). At this time, as an example, the servo motor that moves the camera unit 5 is controlled by time. Further, when a stepping motor is used as a motor for moving the camera unit 5, the number of output pulses is counted and controlled.
[0113]
In the REV cycle, the shift lens 205 is controlled so as to perform the reverse control in the FWD cycle. For example, as shown in FIG. 9C, when the camera unit 5 reaches the angle −θc between the reference line 220 and the imaging center line 210, the shift lens 205 is shifted to the position 205a when one cycle is completed. The voltage supplied to the linear motor that moves the lens 205 is instantaneously switched.
[0114]
After the shift lens 205 starts to move from the position 205a to the position 205c, a shutter pulse is output to the imaging unit 24 when the shift lens 205 reaches the position 205b (see FIG. 9B). At this time, as an example, the timing for outputting the shutter pulse is generated by the driving voltage of the linear motor that moves the shift lens 205 in the horizontal direction.
[0115]
As described above, in order to control the shift lens 205 so that the imaging unit 24 is in a still state, it is necessary to control three parameters for moving the camera unit 5. The first parameter is the time when the shift lens 205 starts to move from the position 205a to the position 205c after one cycle of the camera unit 5 starts. The second parameter is a time required for the camera unit 5 to move from the position 205a to the position 205c. The third parameter is a voltage value supplied to the linear motor when the shift lens 205 is at the position 205b. In general, the speed at which the camera unit 5 is moved is controlled to be equal to the speed at which the shift lens 205 is moved.
[0116]
Further, the speed at which the shift lens 205 is moved varies depending on the panning speed of the camera unit 5 and the amount of light necessary to capture an image.
[0117]
Also, from FIGS. 9A, 9B, and 9C, the optical paths 214a, 214b, and 214c are shifted to positions 205a, 205b, and 205c corresponding to the angle between the reference line 220 and the imaging center line 210. The lens 205 allows a constant subject image to be always incident on the lens 206. For example, when the angle between the reference line 220 and the imaging center line 210 is obtained, a voltage corresponding to the angle is applied to a horizontal linear motor that moves the position of the shift lens 205. A voltage is applied to the linear motor, and the shift lens 205 moved to a predetermined position forms an optical path 214 for allowing a certain subject image to enter the lens 206.
[0118]
Further, since the camera unit 5 is panning at a constant speed, the position of the shift lens 205 may be moved in accordance with the panning speed. For example, the voltage applied to the horizontal linear motor of the shift lens 205 shown in FIG. 10 may be repeated according to the speed of the camera unit 5.
[0119]
When the voltage Va shown in FIG. 10 is applied to a horizontal linear motor that moves the shift lens 205, the shift lens 205 moves to a position 205a. When voltage Vb is applied to a horizontal linear motor that moves shift lens 205, shift lens 205 moves to position 205b. When the voltage Vc is applied to the horizontal linear motor of the shift lens 205, the shift lens 205 moves to the position 205c. Therefore, the voltage direction shown in FIG. 10 indicates the position of the shift lens 205 in the horizontal direction. In FIG. 10, the voltage Vb is set to 0V, but the shift lens 205 may be controlled by setting the voltage Vc to 0V, or the voltage Va is set to 0V so that the shift lens 205 is set to 0V. You may control.
[0120]
FIG. 11 shows a schematic diagram when shooting three imaging ranges while moving the camera unit 5. In FIG. 11, as an example, frames (1, 1), (1, 2), and (1, 3) at adjacent coordinate positions are sequentially captured.
[0121]
As shown in FIG. 11, an image of the same subject can be obtained during the period from the optical path 211a at the position of the camera unit 5 shown in FIG. 9A to the optical path 211c at the position of the camera unit 5 shown in FIG. 9C. The light can enter the imaging unit 24. Therefore, the frame can be captured at any timing as long as the same subject image can be incident on the imaging unit 24. At this time, the camera unit 5 rotates around the reference circle 202 to change the imaging direction.
[0122]
While panning the camera unit 5 at a constant speed, for example, a frame at a coordinate position (1, 1), a frame at a coordinate position (1, 2), and a frame at an adjacent coordinate position (1, 3) And capture continuously. For this purpose, the shift lens 205 is moved from, for example, the position 205a to the position 205c in accordance with the rotation direction of the camera unit 5. Therefore, since the same subject image can be incident on the imaging unit 24, in the example of FIG. 11, three frames can be captured during the period in which the shift lens 205 is moved.
[0123]
Further, as described above, the overlapping portion with the adjacent frame indicated by reference numeral 231 is, for example, 16 pixels in each of the vertical and horizontal directions. Therefore, the overlapping part on one side of the frame is 8 pixels each.
[0124]
It should be noted that the operation of the linear motor that moves the shift lens 205 is not perfectly linear in the vicinity of the voltages Va and / or Vc. However, the linear motor that moves the shift lens 205 needs to operate with perfect linearity during the period when the image of the same subject is incident on the imaging unit 24 and is exposed. Therefore, since the operation of the linear motor is not stable, it is necessary to wait for an exposure period for a certain period from the start of the operation to the stabilization of the operation. Therefore, a more stable image can be obtained by capturing the frame in a predetermined range around the center that is perfectly linear, that is, the voltage Vb (position 205b).
[0125]
12A is a plan cross-sectional view in which the camera unit 5 is provided in the pantilter unit 4, and FIG. 12B is a side cross-sectional view of the camera unit 5 viewed from the side. As shown in FIG. 12B, even if the camera unit 5 is tilted, an image of the same subject can be obtained by moving the shift lens 205 in a predetermined direction corresponding to the direction of the tilted camera unit 5. The light can enter the imaging unit 24.
[0126]
With reference to FIG. 13, another embodiment when the camera unit 5 is mounted on a moving body different from the pantilter unit 4 will be described. Here, for ease of explanation, a moving body that moves the camera unit 5 only in the horizontal direction is used. This moving body can be realized, for example, by changing the rotary motion of the servo motor to a linear motion. In FIG. 13, as an example, the frame at the coordinate position (1, 2) is successively captured following the frame at the coordinate position (1, 1).
[0127]
The camera unit 5 is moved at a constant speed in the direction of the arrow indicated by reference numeral 241. Within the movement range of the camera unit 5 shown in FIG. 13A, the image of the same subject can be incident on the imaging unit 24 by moving the shift lens 205 corresponding to the moving camera unit 5. Therefore, the frame at the coordinate position (1, 1) can be captured.
[0128]
Then, when the camera unit 5 is moved to a range where the frame at the adjacent (1, 2) coordinate position can be captured by the moving body (see FIG. 13B), a shift lens corresponding to the moving camera unit 5 is used. By moving 205, the image of the same subject can be made incident on the imaging unit 24. Therefore, the frame at the coordinate position (1, 2) is captured.
[0129]
As described above, any moving body that can move the camera unit 5 at a constant speed can capture adjacent frames.
[0130]
The present invention is not limited to the above-described embodiment of the present invention, and various modifications and applications can be made without departing from the gist of the present invention.
[0131]
In this embodiment, the camera unit 3 is tilted downward and the frames are photographed sequentially. However, the camera unit 3 may be tilted upward and the frames may be photographed sequentially, or the camera unit 3 may be photographed on the right side. The camera unit 3 may be panned and the frames may be sequentially photographed, or the camera unit 3 may be panned to the left and the frames may be photographed sequentially.
[0132]
In this embodiment, the lenses 203, 204, 206, 207 and the shift lens 205 are all composed of convex lenses, but they may all be composed of concave lenses, or a combination of convex and concave lenses as appropriate. It is good also as a structure.
[0133]
In this embodiment, the captured (M × N) frames are recorded in the main memory 30, but the (M × N) frames are connected to form the main memory 30 as one image. You may make it record on.
[0134]
In this embodiment, the shift lens 205 is moved in a predetermined direction corresponding to the direction of the camera unit 5 in order to make the image of the same subject incident on the imaging unit 24. Depending on the configuration, the moving direction of the shift lens 205 may be opposite, such as whether each lens constituting the lens is a convex lens or a concave lens, and whether the refractive index of the lens is larger or smaller than 1.
[0135]
In this embodiment, the frame is shot based on the coordinate position, but the frame may be shot based on the position address.
[0136]
The present invention is not limited to the above-described embodiment of the present invention, and various modifications and applications are possible without departing from the spirit of the present invention.
[0137]
【The invention's effect】
According to the present invention, by photographing a peripheral image with a plurality of focuses, an image taken with the focus close to the near object is used, and the focus is set to the distant object with the focus far away. Therefore, it is possible to improve the quality of information sacrificed because the focus is not matched. Furthermore, since images taken with a plurality of focus are combined into one image, an image that is in focus can be displayed even when an enlarged display is performed at an arbitrary place.
[Brief description of the drawings]
FIG. 1 is a block diagram schematically showing a monitoring system according to an embodiment of the present invention.
FIG. 2 is a block diagram of an embodiment of the present invention.
FIG. 3 is a schematic diagram for explaining an example of a screen display according to the embodiment of the present invention.
FIG. 4 is a schematic diagram for explaining an embodiment of an operation of a camera unit applied to the present invention.
FIG. 5 is a flowchart for explaining an embodiment of the operation of the camera unit applied to the present invention.
FIG. 6 is a schematic diagram for explaining a distance to a subject, a photographing range, and a resolution according to an embodiment of the present invention.
FIG. 7 is a schematic diagram for explaining a method for managing captured images applied to the present invention.
FIG. 8 is a schematic diagram for explaining a method for managing captured images applied to the present invention.
FIG. 9 is a schematic diagram for explaining an embodiment of the operation of the camera unit applied to the present invention.
FIG. 10 is a characteristic diagram for explaining the relationship between time and voltage applied to a shift lens applied to the present invention.
FIG. 11 is a schematic diagram for explaining an embodiment of the operation of the camera unit applied to the present invention.
FIG. 12 is a schematic diagram for explaining an embodiment of the operation of the camera unit applied to the present invention.
FIG. 13 is a schematic diagram for explaining the operation of a camera unit according to another embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Computer, 2 ... Display, 3 ... Camera unit, 4 ... Pantilter part, 5 ... Camera part, 21 ... Controller bus, 24 ... Shooting part, 27 ... JPEG encoder / metadata adding unit, 30 ... main memory, 31 ... graphic controller, 32 ... image compression unit, 33 ... controller CPU, 101 ... movable range image display unit, 102 ..Whole image display section, 103 ... Selected image display section

Claims (4)

少なくとも第１および第２のフォーカスで画像データを撮影する撮像部と、
上記撮像部の撮像方向を可変する撮像方向可変部と、
上記撮像部の緯度・経度、方位、高度を、上記撮像部で撮影された画像データの位置情報として検出する位置情報検出手段と、
上記検出された位置情報を上記第１および第２のフォーカスで撮影された画像データ毎に付加し、蓄積する蓄積部と、
上記撮像方向可変部の各撮像方向で撮像された複数枚の静止画像からなる原画像または上記原画像を圧縮した圧縮画像を上記蓄積部に蓄積し、上記撮像方向可変部の最大可動範囲内の一部の範囲の上記原画像または上記圧縮画像をさらに圧縮してパノラマ状の全体画像として生成し、上記全体画像内の位置を規定する座標を設定し、同じ座標位置となる上記第１および第２のフォーカスで撮影される画像データを比較し、高周波成分がより多い画像データを撮影したときのフォーカスを上記座標位置における最適なフォーカスとして選択し、設定するフォーカス設定手段と、
上記座標位置毎に設定された最適なフォーカスで撮影された画像データを圧縮した圧縮画像、または上記座標位置毎に設定された最適なフォーカスで撮影され、上記蓄積部に蓄積された画像データを圧縮した圧縮画像にそれぞれの位置情報および座標位置を付加し、上記位置情報および座標位置が付加された圧縮画像を上記全体画像の対応する上記座標位置に表示する画像表示部と
を有することを特徴とするモニタリングシステム。An imaging unit that captures image data with at least first and second focus;
An imaging direction variable unit that varies the imaging direction of the imaging unit;
Position information detecting means for detecting the latitude / longitude, azimuth, and altitude of the image capturing unit as position information of image data captured by the image capturing unit;
An accumulator that adds and accumulates the detected position information for each image data photographed with the first and second focus;
The compressed image obtained by compressing the original image or the original image consists of a plurality of still images captured by the imaging direction of the imaging direction changing section accumulated in the accumulation unit, within a maximum movable range of the imaging direction variable region further compressing the original image or the compressed image of a portion of the range to generate a panoramic entire image, and set the coordinates defining the position in the entire image, the first and the same coordinate position A focus setting means for comparing image data photographed with two focus points, selecting a focus when photographing image data with more high-frequency components as an optimum focus at the coordinate position,
A compressed image obtained by compressing image data shot with the optimum focus set for each coordinate position, or a compressed image shot with the optimum focus set for each coordinate position and accumulated in the accumulation unit. was added to each of the position information and the coordinate position in the compressed image, and characterized in that the compressed image the position information and the coordinate position are added and an image display unit to be displayed on said corresponding coordinate position of the entire image Monitoring system. 少なくとも第１および第２のフォーカスで画像データを撮像部で撮影するステップと、
上記撮像部の撮像方向を可変するステップと、
上記撮像部の緯度・経度、方位、高度を、上記撮像部で撮影された画像データの位置情報として検出するステップと、
上記検出された位置情報を上記第１および第２のフォーカスで撮影された画像データ毎に付加し、蓄積部に蓄積するステップと、
各撮像方向で撮像された複数枚の静止画像からなる原画像または上記原画像を圧縮した圧縮画像を上記蓄積部に蓄積し、最大可動範囲内の一部の範囲の上記原画像または上記圧縮画像をさらに圧縮してパノラマ状の全体画像として生成し、上記全体画像内の位置を規定する座標を設定し、同じ座標位置となる上記第１および第２のフォーカスで撮影される画像データを比較し、高周波成分がより多い画像データを撮影したときのフォーカスを上記座標位置における最適なフォーカスとして選択し、設定するステップと、
上記座標位置毎に設定された最適なフォーカスで撮影された画像データを圧縮した圧縮画像、または上記座標位置毎に設定された最適なフォーカスで撮影され、上記蓄積部に蓄積された画像データを圧縮した圧縮画像にそれぞれの位置情報および座標位置を付加し、上記位置情報および座標位置が付加された圧縮画像を上記全体画像の対応する上記座標位置に表示するステップと
を有することを特徴とするモニタリング方法。Capturing image data with an imaging unit with at least first and second focus;
Varying the imaging direction of the imaging unit;
Detecting the latitude / longitude, azimuth, and altitude of the imaging unit as position information of image data captured by the imaging unit;
Adding the detected position information for each image data photographed with the first and second focus, and accumulating in the accumulation unit;
An original image composed of a plurality of still images captured in each imaging direction or a compressed image obtained by compressing the original image is stored in the storage unit, and the original image or the compressed image in a part of the maximum movable range is stored. was further compressed to generate a panoramic entire image, and set the coordinates defining the position in the entire image, the same coordinate position to compare the image data captured by the first and second focus Selecting and setting the focus when shooting image data with more high-frequency components as the optimum focus at the coordinate position; and
A compressed image obtained by compressing image data shot with the optimum focus set for each coordinate position, or a compressed image shot with the optimum focus set for each coordinate position and accumulated in the accumulation unit. monitoring by adding each of position information and a coordinate position in the compressed image, wherein the compressed image the position information and the coordinate position is added to a step of displaying on said corresponding coordinate position of the entire image Method. 少なくとも第１および第２のフォーカスで画像データを撮像部で撮影するステップと、
上記撮像部の撮像方向を可変するステップと、
上記撮像部の緯度・経度、方位、高度を、上記撮像部で撮影された画像データの位置情報として検出するステップと、
上記検出された位置情報を上記第１および第２のフォーカスで撮影された画像データ毎に付加し、蓄積部に蓄積するステップと、
各撮像方向で撮像された複数枚の静止画像からなる原画像または上記原画像を圧縮した圧縮画像を上記蓄積部に蓄積し、最大可動範囲内の一部の範囲の上記原画像または上記圧縮画像をさらに圧縮してパノラマ状の全体画像として生成し、上記全体画像内の位置を規 定する座標を設定し、同じ座標位置となる上記第１および第２のフォーカスで撮影される画像データを比較し、高周波成分がより多い画像データを撮影したときのフォーカスを上記座標位置における最適なフォーカスとして選択し、設定するステップと、
上記座標位置毎に設定された最適なフォーカスで撮影された画像データを圧縮した圧縮画像、または上記座標位置毎に設定された最適なフォーカスで撮影され、上記蓄積部に蓄積された画像データを圧縮した圧縮画像にそれぞれの位置情報および座標位置を付加し、上記位置情報および座標位置が付加された圧縮画像を上記全体画像の対応する上記座標位置に表示するステップと
を有することを特徴とするモニタリング方法をコンピュータに実行させるためのプログラム。Capturing image data with an imaging unit with at least first and second focus;
Varying the imaging direction of the imaging unit;
Detecting the latitude / longitude, azimuth, and altitude of the imaging unit as position information of image data captured by the imaging unit;
Adding the detected position information for each image data photographed with the first and second focus, and accumulating in the accumulation unit;
An original image composed of a plurality of still images captured in each imaging direction or a compressed image obtained by compressing the original image is stored in the storage unit, and the original image or the compressed image in a part of the maximum movable range is stored. generating a further compressed overall panoramic of images, comparing image data captured position within said total image sets the coordinates that stipulated in the the same coordinate position first and second focus Selecting and setting the focus when photographing image data with more high-frequency components as the optimum focus at the coordinate position; and
A compressed image obtained by compressing image data shot with the optimum focus set for each coordinate position, or a compressed image shot with the optimum focus set for each coordinate position and accumulated in the accumulation unit. monitoring by adding each of position information and a coordinate position in the compressed image, wherein the compressed image the position information and the coordinate position is added to a step of displaying on said corresponding coordinate position of the entire image A program for causing a computer to execute the method. 少なくとも第１および第２のフォーカスで画像データを撮像部で撮影するステップと、
上記撮像部の撮像方向を可変するステップと、
上記撮像部の緯度・経度、方位、高度を、上記撮像部で撮影された画像データの位置情報として検出するステップと、
上記検出された位置情報を上記第１および第２のフォーカスで撮影された画像データ毎に付加し、蓄積部に蓄積するステップと、
各撮像方向で撮像された複数枚の静止画像からなる原画像または上記原画像を圧縮した圧縮画像を上記蓄積部に蓄積し、最大可動範囲内の一部の範囲の上記原画像または上記圧縮画像をさらに圧縮してパノラマ状の全体画像として生成し、上記全体画像内の位置を規定する座標を設定し、同じ座標位置となる上記第１および第２のフォーカスで撮影される画像データを比較し、高周波成分がより多い画像データを撮影したときのフォーカスを上記座標位置における最適なフォーカスとして選択し、設定するステップと、
上記座標位置毎に設定された最適なフォーカスで撮影された画像データを圧縮した圧縮画像、または上記座標位置毎に設定された最適なフォーカスで撮影され、上記蓄積部に蓄積された画像データを圧縮した圧縮画像にそれぞれの位置情報および座標位置を付加し、上記位置情報および座標位置が付加された圧縮画像を上記全体画像の対応する上記座標位置に表示するステップと
を有することを特徴とするモニタリング方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。Capturing image data with an imaging unit with at least first and second focus;
Varying the imaging direction of the imaging unit;
Detecting the latitude / longitude, azimuth, and altitude of the imaging unit as position information of image data captured by the imaging unit;
Adding the detected position information for each image data photographed with the first and second focus, and accumulating in the accumulation unit;
An original image composed of a plurality of still images captured in each imaging direction or a compressed image obtained by compressing the original image is stored in the storage unit, and the original image or the compressed image in a part of the maximum movable range is stored. was further compressed to generate a panoramic entire image, and set the coordinates defining the position in the entire image, the same coordinate position to compare the image data captured by the first and second focus Selecting and setting the focus when shooting image data with more high-frequency components as the optimum focus at the coordinate position; and
A compressed image obtained by compressing image data shot with the optimum focus set for each coordinate position, or a compressed image shot with the optimum focus set for each coordinate position and accumulated in the accumulation unit. monitoring by adding each of position information and a coordinate position in the compressed image, wherein the compressed image the position information and the coordinate position is added to a step of displaying on said corresponding coordinate position of the entire image A computer-readable recording medium storing a program for causing a computer to execute the method.
JP2002339148A 2002-11-22 2002-11-22 Monitoring system and method, program, and recording medium Expired - Fee Related JP4225040B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002339148A JP4225040B2 (en) 2002-11-22 2002-11-22 Monitoring system and method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002339148A JP4225040B2 (en) 2002-11-22 2002-11-22 Monitoring system and method, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2004173152A JP2004173152A (en) 2004-06-17
JP4225040B2 true JP4225040B2 (en) 2009-02-18

Family

ID=32702169

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002339148A Expired - Fee Related JP4225040B2 (en) 2002-11-22 2002-11-22 Monitoring system and method, program, and recording medium

Country Status (1)

Country Link
JP (1) JP4225040B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5318321B2 (en) * 2004-08-05 2013-10-16 パナソニック株式会社 Imaging device
JP4706573B2 (en) * 2006-06-29 2011-06-22 日本ビクター株式会社 Motion detection device and motion detection method
KR101436838B1 (en) 2008-07-23 2014-09-03 삼성전자주식회사 Method and apparatus for processing auto-focusing information, and digital photographing apparatus using thereof
JP6609513B2 (en) * 2016-05-19 2019-11-20 株式会社東海理化電機製作所 Vehicle visual recognition device
JPWO2018020769A1 (en) 2016-07-28 2019-05-09 パナソニックＩｐマネジメント株式会社 Video system equipment

Also Published As

Publication number Publication date
JP2004173152A (en) 2004-06-17

Similar Documents

Publication Publication Date Title
JP3925299B2 (en) Monitoring system and method
US8462253B2 (en) Monitoring system for a photography unit, monitoring method, computer program, and storage medium
US7697025B2 (en) Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display
US7573492B2 (en) Monitoring system and method, and program and recording medium used therewith
JP3695119B2 (en) Image synthesizing apparatus and recording medium storing program for realizing image synthesizing method
JP3253478B2 (en) Video recording device
JP4736381B2 (en) Imaging apparatus and method, monitoring system, program, and recording medium
JP2006245648A (en) Information processing system, information processing apparatus, information processing method, program and recording medium
JP3841033B2 (en) Monitoring system and method, program, and recording medium
JP4225040B2 (en) Monitoring system and method, program, and recording medium
JP3969172B2 (en) Monitoring system and method, program, and recording medium
JP3838149B2 (en) Monitoring system and method, program and recording medium
JP3991816B2 (en) Monitoring system and method, program, and recording medium
JP3838150B2 (en) Monitoring system and method, program, and recording medium
JP4172352B2 (en) Imaging apparatus and method, imaging system, and program
JP3838151B2 (en) Monitoring system and method, program, and recording medium
JP7352672B2 (en) Imaging display method
JP6824061B2 (en) Imaging apparatus, control methods, programs, and storage media executed by the imaging apparatus.
JP2000134563A (en) Digital image pickup device and image picking up method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees