JP3925299B2 - モニタリングシステムおよび方法 - Google Patents

モニタリングシステムおよび方法 Download PDF

Info

Publication number
JP3925299B2
JP3925299B2 JP2002139662A JP2002139662A JP3925299B2 JP 3925299 B2 JP3925299 B2 JP 3925299B2 JP 2002139662 A JP2002139662 A JP 2002139662A JP 2002139662 A JP2002139662 A JP 2002139662A JP 3925299 B2 JP3925299 B2 JP 3925299B2
Authority
JP
Japan
Prior art keywords
image
unit
imaging
lens
camera unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002139662A
Other languages
English (en)
Other versions
JP2003333390A (ja
Inventor
秀樹 浜
紀之 山下
正昭 紅林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002139662A priority Critical patent/JP3925299B2/ja
Priority to US10/437,583 priority patent/US7221401B2/en
Priority to DE60320710T priority patent/DE60320710D1/de
Priority to EP03253006A priority patent/EP1363255B1/en
Publication of JP2003333390A publication Critical patent/JP2003333390A/ja
Application granted granted Critical
Publication of JP3925299B2 publication Critical patent/JP3925299B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617Surveillance camera constructional details
    • G08B13/19626Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617Surveillance camera constructional details
    • G08B13/1963Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19667Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19671Addition of non-video data, i.e. metadata, to video stream
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19682Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19691Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14Central alarm receiver or annunciator arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、監視カメラ等に適用されるモニタリングシステムおよび方に関する。
【0002】
【従来の技術】
従来、広範囲の状況を監視するモニタリングシステムが使用されている。例えば海上監視、河川監視、立ち入り監視区域のモニタリング、野生動物の行動観察等にモニタリングシステムが使用される。広範囲の画像を撮影する必要上、画素数が非常に多いビデオカメラを使用していた。そのために、システムの価格が高くなり、コストの面で問題があった。これに対して、カメラの撮影範囲を順次ずらしながら、静止画像を撮影し、多数の静止画像を連結することで、モニタリングしようとする範囲の画像を生成することが提案されている。この場合では、画像全体として、極めて高解像度の画像を得ることができる。したがって、画像全体中の一部分の拡大画像を得る場合に、拡大画像自体の解像度が高く、鮮明な画像を得ることができる。
【0003】
このように、カメラの撮影範囲を順次ずらしながら、静止画像を撮影する場合、被写体の像を取り込んでいる間、撮像部がブレないように撮影する必要があった。つまり、撮像部を固定して、同一となる被写体の像をその都度取り込む必要があった。
【0004】
そこで、図14Aに示すように、カメラ部301は、レンズ部302および撮像部303から構成される。カメラ部301を水平方向にずらす中心は、基準円304で示す中心位置とし、カメラ部301の光線の中心は、基準線305とする。レンズ部302は、複数のレンズから構成される。
【0005】
このようなカメラ部301を、図14Bに示すように水平方向に間欠的に移動させて(1)の位置の静止画像を取り込み、(2)の位置の静止画像、そして(3)の位置の静止画像を順次取り込んでいた。
【0006】
具体的には、カメラ部301の移動を停止させて、(1)の位置の被写体の像を静止画像として撮像部303に取り込み、その取り込みが終了すると、カメラ部301を次の撮影範囲、すなわち(2)の位置の撮影範囲に移動させる。そして、カメラ部301が(2)の位置の撮影範囲の方向になると、カメラ部301の移動を停止させて、(2)の位置の被写体の像を静止画像として撮像部303に取り込み、その取り込みが終了すると、カメラ部301を(3)の位置の撮影範囲に移動させる。そして、カメラ部301が(3)の位置の撮影範囲の方向になると、カメラ部301の移動を停止させて、(3)の位置の被写体の像を静止画像として撮像部303に取り込み、その取り込みが終了すると、カメラ部301を次の位置の撮影範囲に移動させる。このような制御を繰り返して、多数の静止画像を撮影していた。
【0007】
そして、このようなシステムにおいて、多数の静止画像を撮影する時間を短縮することが強く望まれている。しかしながら、従来の手法では、より短い周期で多数の静止画像を撮影する場合、静止画像を取り込む時間を短くし、且つカメラ部を移動させる速度を上げなければならなかった。
【0008】
静止画像を取り込む時間を短くする、すなわちシャッタ速度を速くすると、瞬間的な画角に対応する画像を取り込むことは可能だが、シャッタ速度がある速度以上となると充分な光量を得ることができなくなる問題があった。光量が不足すると、取り込まれた画像は暗くなり、精細を欠いた画像となる。
【0009】
また、カメラ部を移動させる速度を上げる場合、必然的にシャッタ速度を上げる必要があり、上述したように、ある速度以上となると充分な光量を得ることができなくなる問題があった。さらに、所望の位置に素早く移動し、固定する必要があるので、高精度のモータが必要とされ、価格が高くなる問題があった。
【0010】
これに対して、カメラ部が移動していても、同一の被写体の像を撮像部に入射させるために、被写体の像が通過する光路をカメラ部の移動に対応して変化させるようにする手法がある。このカメラ部には、レンズ部に光路を可変することが可能な光路可変素子が設けられている。そして、カメラ部の移動を加速度センサまたは角加速度センサによって、その移動した距離が検出され、検出された距離に基づいて光路可変素子を制御し、同一の被写体の像を撮像部に入射させる。
【0011】
【発明が解決しようとする課題】
しかしながら、光路可変素子を制御するためには、加速度センサまたは角加速度センサと、フィードバック回路とを設けなければならず、設計が面倒になる問題があった。
【0012】
従って、この発明の目的は、加速度センサまたは角加速度センサと、フィードバック回路とを設けなくても光路可変素子を制御することができるモニタリングシステムおよび方法を提供することにある。
【0013】
【課題を解決するための手段】
上述した課題を達成するためにこの発明は、
映像を撮影する撮像部と、
ステッピングモータを駆動源として撮像部の撮像方向を変化させる撮像方向可部と、
撮像部に対する被写体からの光路を光路可変素子駆動モータにより可変する光路可変素子と、
撮像方向可変部の最大可動範囲内の所定の可動範囲において、各撮像方向でそれぞれ撮像された複数枚の静止画像または原画像を圧縮した圧縮画像を蓄積する蓄積部と、
蓄積部に格納された原画像または圧縮画像から生成されたパノラマ状の全体画像を表示部に表示する制御部とを有し、
各静止画像の撮影のために必要とされるステッピングモータパルス数を計数し、計数値に対応する振幅ののこぎり波状の駆動信号を光路可変素子駆動モータに印加することによって、撮像方向の変化を打ち消して、撮像部に同一の被写体の像を入射させるようにしたことを特徴とするモニタリングシステムである。
【0014】
また、この発明は、
ステッピングモータを駆動源として撮像部の撮像方向を変化させる撮像方向可部の最大可動範囲内の所定の可動範囲において、各撮像方向でそれぞれ撮像された複数枚の静止画像からなる原画像または原画像を圧縮した圧縮画像を蓄積し、原画像または圧縮画像から生成されたパノラマ状の全体画像を表示するモニタリング方法において、
各静止画像の撮影のために必要とされるステッピングモータパルス数を計数し、計数値に対応する振幅ののこぎり波状の駆動信号を光路可変素子駆動モータに印加することによって、撮像方向の変化を打ち消して、撮像部に同一の被写体の像を入射させるようにしたことを特徴とするモニタリング方法である。
【0016】
このように、撮像部の撮像方向を変化させるサーボモータに供給するパルス数に基づいて、被写体からの光路を可変することができる光路可変素子を制御することによって撮像部に同一の被写体の像を入射させることができる。
【0017】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図1は、この発明の一実施形態の概略的な構成を示す。ディスプレイ2が接続されているコンピュータ1は、カメラユニット3を制御する。図1の例は、1台のコンピュータ1が2台のカメラユニット3を制御し、また、ディスプレイ2'が接続されている他のコンピュータ1'が他のカメラユニット3'を制御するシステムの例である。1台のコンピュータが複数台のカメラユニット3を制御できる。
【0018】
カメラユニット3は、パンチルタ部4とカメラ部5が一体的に構成されたものである。カメラユニット3は、遠方の対象領域を撮影可能なように設置される。一例として、カメラ部5は、倍率が10倍、70倍等の望遠レンズを有し、数十メートルから数キロメートル離れた場所を撮影可能とされている。
【0019】
カメラ部5は、例えば外部からのトリガと同期してシャッタをオンできるディジタルスチルカメラであり、その撮影素子例えばCCD(Charge Coupled Device)は、VGA(Video Graphics Array,640画素×480画素)、XGA(eXtended Graphics Array,1024画素×768画素)、SXGA(Super eXtended Graphics Array,1280画素×1024画素)等の画素数を有する。VGAの撮像素子の場合では、30fps(フレーム/秒)のレートで画像データが出力され、XGAの撮像素子の場合では、15fps(フレーム/秒)のレートで画像データが出力され、SXGAの撮像素子の場合では、7.5fps(フレーム/秒)のレートで画像データが出力される。
【0020】
映像データは、カメラユニット3からコンピュータ1に対してバス6を介して伝送される。バス6は、映像データの伝送路とカメラユニット3の制御信号とを伝送する。上述した構成は、コンピュータ1'とカメラユニット3'とに関しても同様である。
【0021】
コンピュータ1、1'では、カメラユニット3、3'からの映像データをメモリに蓄積し、後述するように、操作用のGUI(Graphical User Interface)を構成し、ユーザが所望の対象領域の画像をカメラユニット3、3'で撮影できるように、カメラユニット3、3'を制御できる。圧縮符号化例えばJPEG(Joint Photographic Experts Group) によって撮影画像が圧縮される。
【0022】
コンピュータ1および1'は、LAN(Local Area Network)7で互いに接続されている。LAN7に対してさらに他のコンピュータ8が接続されている。参照符号9は、コンピュータ8のディスプレイである。コンピュータ8は、LAN7を介してコンピュータ1、1'からの画像データ等を受取り、アーカイブ10に対して映像データを蓄積し、さらに、画像データの処理を行う。例えば映像データを使用して顔認識、荷物認識、環境認識、車認識等の処理がなされる。アーカイブ10は、テープストリーマーのような大量のデータを蓄積できるものである。
【0023】
図2は、上述したモニタリングシステムにおけるコンピュータ1とカメラユニット3の部分のより詳細な構成を示す。図2の例では、参照符号21で示す共通のコントローラバス21に対して、カメラユニット3およびコンピュータの構成要素が接続されている。
【0024】
パンチルタ部は、パン部4aとチルト部4bからなる。パン部4aおよびチルト部4bは、それぞれ駆動源として例えばサーボモータを有し、コントローラバス21を介してコントローラCPU(Central Processing Unit)33から供給される制御信号に応じてカメラ部5をパンまたはチルトさせる。パンチルタ部上にカメラ部5が載置されている。ここで、パンは、水平方向にカメラを回転させることを意味し、チルトは、垂直方向にカメラを回転させることを意味する。一例として、パン角の最大値が180°とされ、チルト角の最大値が50°とされている。
【0025】
後述するように、カメラ部5の最大移動範囲内で、チルト角=±15°、パン角=±50°程度の範囲でカメラ部5を一定速度で移動させる。カメラ部5が撮像中心を取り込むことが可能な位置となると、シャッタがオンされ、静止画像(以下、適宜「フレーム」と称する)が撮影される。縦方向でM(例えば8枚)で、横方向でN(例えば16枚)の合計(M×N=8×16=128枚)のフレームが順番に撮影され、これらを圧縮すると共に連結させて1枚の全体画像を形成する。各フレームが例えばXGA(1024画素×768画素)画像である。したがって、128枚のフレームは、重複部分を無視すると、(横方向が1024画素×16枚=16,384画素で、縦方向が768画素×8枚=6,144画素)の約1億画素の画像を形成する。128枚のフレームを撮影するのに約5秒かかる。重複部分は、例えば縦横のそれぞれで16画素とされる。
【0026】
カメラ部5は、ディジタルスチルカメラの構成とされ、レンズ部22とフォーカス・ズーム・アイリス制御部23と撮像部24とからなる。フォーカス・ズーム・アイリス制御部23は、コントローラバス21を介してコントローラCPU33から供給される制御信号によって制御される。撮像部24は、固体撮像素子例えばCCD(Charge Coupled Device)とカメラ信号処理回路とを含む。撮像部24からのディジタル映像信号がIEEE(Institute of Electrical and Electronics Engineers) 1394のインターフェース25を介してバッファメモリ26に書き込まれる。
【0027】
バッファメモリ26の出力データがJPEGエンコーダ/メタデータ付加部27に供給され、画像データがJPEGデータに変換される。JPEGは、圧縮方式の1つであって、他の圧縮方式を使用しても良いし、圧縮しないでも良い。
【0028】
カメラユニット3には、その位置を検出するためのGPS(Global Positioning System) 28が備えられている。GPS28を備えることによって、カメラの設置場所のデータを記録できると共に、カメラの向きを検出し、複数のカメラの向きを連動して制御することが可能となる。GPS28は、コントローラバス21を介してコントローラCPU33から供給される制御信号によって制御される。
【0029】
GPS28の出力信号がメタデータ生成部29に供給され、GPS28の測位結果に基づいた位置情報(緯度・経度、方位、高度等の情報)およびメタデータ(時刻、カメラ部5のパラメータ(倍率、フォーカス値、アイリス値等)等の情報)が生成される。位置情報およびメタデータがJPEGエンコーダ/メタデータ付加部27に供給され、JPEGデータに対して位置情報およびメタデータが付加される。
【0030】
メタデータおよび位置情報が付加されたJPEGデータがハードディスク等のメインメモリ30に蓄積されると共に、グラフィックコントローラ31および画像圧縮部32に供給される。この明細書では、メインメモリ30に対する蓄積を記録と呼び、メインメモリ30からデータを読み出すことを再生と呼ぶことにする。また、メインメモリ30を介さないで現に撮影中の画像を表示することをライブモードと称し、過去に記録されたデータをメインメモリ30から再生して表示することをビューモードと称する。
【0031】
メインメモリ30は、サーバとしての機能を有する。例えばXGAの画像をJPEGで圧縮した結果、1枚のフレームのデータ量は、約100kバイトとなり、128枚の画像で約12.5Mバイトのデータ量である。メインメモリ30が80Gバイト程度の容量を有していれば、1日分のJPEGデータを保存することが可能である。ビューモードにおいては、メインメモリ30に限らず、アーカイブ等の蓄積装置に蓄積されているより旧いデータを再生することを可能とされている。
【0032】
メインメモリ30から読み出されたJPEGデータがグラフィックコントローラ31に供給される。画像圧縮部32は、JPEGエンコーダ/メタデータ付加部27からのJPEGデータ、またはメインメモリ30から読み出されたJPEGデータから圧縮画像またはサムネイルを生成する。例えば縦方向および横方向のそれぞれが間引かれることで、パノラマ状の全体画像が形成される。また、後述する可動範囲画像を形成するための圧縮処理も、画像圧縮部32においてなされる。上述したように、XGAの場合では、約1億画素のデータがJPEG圧縮と画像圧縮部32の処理によって、(400画素×1000画素)のようなパノラマ状の全体画像が形成される。可動範囲画像もサムネイルであるが、全体画像よりもさらに粗い画像である。
【0033】
グラフィックコントローラ31は、JPEGデータをビットマップデータへ変換し、ディスプレイ2の画面上に所望の画像表示がなされるようなグラフィックス処理を行う。すなわち、可動範囲画像表示、全体画像表示、選択画像表示、ボタン等のGUI表示がディスプレイ2の画面上でなされる。表示の詳細については、後述する。
【0034】
また、グラフィックコントローラ31は、画像処理を行い、画像変化を検出する。画像変化は、リファレンス画像に対して生じた変化である。例えばビューモードにおいて、以前に蓄積されたリファレンス画像との比較がなされ、画像変化が検出される。リファレンス画像として、前日の所定時刻の画像を設定し、それ以降に蓄積された画像とリファレンス画像との画素の差分を検出し、画素の差分の絶対値が所定値以上の場合を変化が生じたものと検出する。差分の検出としては、比較しようとする画像とリファレンス画像との空間的同一位置のフレーム毎に同一位置の画素の差分値を演算する方法が使用できる。全画素に関する差分を検出するのに代えて、代表画素または間引かれた画素に関して差分を演算しても良い。また、所定の色を限定することによって、所定の色の物体に着目した変化検出を行うことも可能である。
【0035】
変化が検出されると、ディスプレイ2上の表示でアラーム例えば変化が検出されたフレームを他のフレームと区別できる表示がなされる。具体的には、輝度変化、色変化、ブリンク等の方法でアラームを表示できる。リファレンス画像は、蓄積されている画像の中で、所定のものを任意に選択することが可能とされている。
【0036】
上述したように、コントローラバス21に接続されたコントローラCPU33は、カメラ部5のレンズ制御(例えば、フォーカス等)、露出制御(例えば、絞り、ゲイン、電子シャッタ速度等)、白バランス制御、画質制御等を行うと共に、パン部4aおよびチルト部4bを制御する。
【0037】
参照符号34は、I/Oポートである。I/Oポート34に対しては、キーボード35およびマウス36が接続され、また、I/Oポート34に対しては、メモリカード37および時計38が接続されている。メモリカード37に対して、メインメモリ30に蓄積されている位置情報およびメタデータが付加されたJPEGデータを書き込むことができる。また、時計38から時刻データが得られる。
【0038】
なお、図2では、コントローラバス21に対して各構成要素が接続されているが、カメラユニット3とコンピュータ1とを離れた場所に設置し、両者をIEEE1394、USB(Universal Serial Bus)等で接続するようにしても良い。この場合、物理的伝送路としては、光ファイバが使用される。光ファイバを使用すれば、数百メートルから数キロメートル程度カメラユニット3と制御用のコンピュータ1とを離して配置できる。さらに、両者を無線LANで接続しても良い。
【0039】
図3に、この発明の一実施形態によるGUIの画面例を示す。以下、この図3を参照しながら、この発明の一実施形態によるGUIの画面に備えられた表示部、操作ボタンおよび表示領域などについて説明する。1画面には、可動範囲画像表示部101、全体画像表示部102および選択画像表示部103が配置されている。
【0040】
可動範囲画像表示部101には、可動範囲画像が表示される。可動範囲画像とは、カメラユニット3が撮影可能な最大範囲を示す画像であり、複数枚のフレームにより構成される。上述したように、パン角の最大値が180°とされ、チルト角の最大値が50°とされており、この最大可動範囲で撮影された複数フレームから可動範囲画像が生成される。例えばカメラユニット3を設置し、撮影開始時において、カメラ部5を最大可動範囲にわたって動かし、その結果得られる複数フレームで構成される画像に関して縦および横方向に画素を間引いたサムネイルが可動範囲画像として使用される。
【0041】
この可動範囲画像表示部101には、カメラユニット3のレンズの中心が現在向いている位置(Camera live position)が線分101a、線分101bとの交点により示される。この線分101a、101bを動かすことで、可動範囲画像内の所望の位置を指示でき、指示された位置の方向に撮像方向を制御することができる。そして、指示された位置の方向をセンタまたはホームポジションとして、所定の可動範囲において、(M×N)枚のフレームが撮影され、蓄積され、または表示される。線分101a、101bに限らず、可動範囲画像表示部101に表示された表示画面上の任意の位置をポインタ、例えばマウス36により指示すると、この指示に対応した位置にカメラユニット3のレンズの中心が向くように、カメラユニット3を制御しても良い。
【0042】
また、全体画像表示部102には、パノラマ状の全体画像が表示される。全体画像は、撮影された原画像に対応するJPEGデータを画像圧縮部32によって圧縮した画像である。表示されている全体画像を見ることで、モニタリングを行うことができる。さらに、前述したように、画像変化が検出されると、全体画像表示部102に表示されている全体画像中で変化が検出されたフレームが他のフレームと異なる表示とされるアラームが発生する。
【0043】
選択画像表示部103には、選択画像が表示される。選択画像は、全体画像の一部を拡大した画像である。圧縮されていない1フレームの原画像を表示することで拡大することができる。さらに、ディジタル信号処理によって画像を拡大することもできる。
【0044】
EXITボタン104は、モニタリングシステムの電源を遮断するためのボタンである。Camera system OFFボタン105は、カメラユニット3の電源を遮断するためのボタンである。
【0045】
VIEW MODEボタン106は、モニタリングシステムのモードをビューモードに切り替えるためのボタンである。ビューモードとは、メインメモリ30または他のサーバに蓄積された画像データに基づき、全体画像および部分画像を表示するモードである。
【0046】
LIVE MODEボタン107は、モニタリングシステムのモードをライブモードに切り替えるためのボタンである。ライブモードとは、カメラユニット3が現在撮影しているフレームに基づき、全体画像および部分画像を表示するモードである。
【0047】
Compas表示領域108は、カメラのレンズの中心が向いている方向を示すコンパスを表示するための領域である。GPS Data表示領域109は、カメラユニット3が設置されている場所の緯度、経度および高度と、撮影の日時とを表示すための領域である。なお、この領域108および109に表示されるデータは、カメラユニット3に備えられたGPS28において測位されたデータである。
【0048】
View offsetボタン110は、選択されたフレームの位置を調整するためのボタンである。View offsetボタン110は、それぞれ、全体画像表示部102に表示されている全体画像中でポインタにより選択された1枚のフレームを、上方向、下方向、左方向、右方向に移動させるためのものである。全体画像を構成する複数のフレームは、隣り合うフレームと所定画素数、例えば16画素重複して連結されている。この重複部分の範囲内でフレームを移動させることによって、隣り合うフレームとの整合性を取ることができ、連結状態をなめらかなものとできる。
【0049】
モード表示領域129は、モード情報、アラーム情報およびエラー情報などを表示するための領域である。モード情報は、ユーザにモニタリングシステムのモードを知らせるための情報であり、具体的には、ライブモードおよびビューモードなどの情報である。アラーム情報は、ユーザに警告を促すための情報であり、例えば、上述したView offsetボタン110によりフレームを移動できる限界に達した時に表示される。エラー情報は、ユーザにモニタリングシステムにおいて発生しているエラーを知らせるための情報である。
【0050】
Camera Contorol部111は、ZOOMボタン112、FOCUSボタン113、IRISボタン114、Camera Configurationボタン115およびWhite Balanceボタン116を備える。ZOOMボタン112は、カメラユニット3のズームを調整するためのボタンである。FOCUSボタン113は、カメラユニット3のフォーカスを調整するためのボタンである。IRISボタン114は、カメラユニット3のアイリス調整をするためのボタンである。Camera Configurationボタン115は、カメラユニット3のγ特性、シャッタ速度、ゲイン特性などの調整をするためのボタンである。White Balanceボタン116は、カメラユニット3の白バランスを調整するためのボタンである。なお、このモニタリングシステムがビューモードとされている場合には、Camera Contorol部111の表示が省略されるようにしてもかまわない。
【0051】
SELECTボタン117は、ビューモードにおいて、セレクト画面を表示するためのボタンである。セレクト画面は、再生および記録を所望する領域を、全体画像を構成するフレームにより特定するための画像である。
【0052】
図4に、セレクト画面の一例を示す。図4に示すように、セレクト画面は、閉じるボタン151、画面表示部152、および閉じるボタン153から構成される。閉じるボタン151および153は、このセレクト画面を閉じるときにクリックされるボタンである。画面表示部152では、全体画像表示部102に表示されている全体画像が表示され、例えば取り込まれるフレームの区切りが示される。また、全体画像表示部102に表示されている全体画像が取り込まれるフレーム単位に分割されて、画像表示部152に表示されるようにしても良いし、全体画像に格子状の表示が重畳するようにしても良い。画面表示部152において、例えば、所望の画像を表示している任意の点をポインタにより指示すると、その任意の点の位置のフレームが選択されると共に、選択されたことを表示するために、指示されたフレームの明るさ、解像度、コントラストなどが変化する。
【0053】
REC MODE選択メニュー118は、記録モードを選択するためのプルダウンメニューである。このプルダウンメニューには、記録する画像サイズと記録方法(RUNまたはSINGLE)とを組み合わせた記録モードが表示される。画像サイズは、(8×16)枚のフレームから構成される全体画像と、全体画像の内の選択された(4×8)枚のフレームから構成される部分画像と、全体画像の内の選択された(2×4)枚のフレームから構成される部分画像との何れかが可能とされている。部分画像は、セレクト画面から選択された位置のものである。記録方法のRUNは、所定周期(例えば5秒周期)で発生する撮影画像を記録する方法であり、そのSINGLEは、1回のみ記録する方法である。記録モードとしては、これらを組み合わせたものが選択可能とされている。
【0054】
Stage Config(Stage Configuration)ボタン119は、ステージを動かす精度などを微調整するためのボタンである。メッセージ領域120は、コントロール用のコンピュータ1とカメラユニット3との接続状況およびカメラユニット3のステージのコントロール状況を表示するための領域である。コントロール用のコンピュータ1とカメラユニット3とが接続されている場合には、図3に示すように、メッセージ領域に「IMAGE SERVER CONNECT」が表示される。また、カメラユニット3のステージがコントロール可能な状況にある場合には、メッセージ領域に「STAGE CONTROL ACTIVE」が表示される。
【0055】
RECボタン121は、画像の記録を開始するためのボタンであり、このボタンがポインタにより指示されると、RECモードメニューで選択されている記録モードに応じた記録が開始される。具体的には、RUN(8×16)、RUN(4×8)、RUN(2×4)、SELECT SINGLE RUN(8×16)、SELECT SINGLE RUN(4×8)、SELECT SINGLE RUN(2×4)などのモードから選択されたモードに応じた記録が開始される。
【0056】
PLAYボタン122は、サーバ(メインメモリ30)に蓄積された画像データを再生するためボタンである。具体的には、このPLAYボタン122がポインタにより指示されると、記録データ表示画面が表示される。この記録データ表示画面には、蓄積されている画像データを識別するための情報が表示される。この情報は、後述するディレクションファイルに記述されている情報に基づいたものである。
【0057】
図5に、記録データ表示画面の一例を示す。図5に示すように、この記録データ表示画面には、最小化ボタン161、最大化ボタン162、閉じるボタン163、日付指定欄164、時間指定欄165、記録データ表示欄166、最新記録データ表示欄167、OKボタン168、キャンセルボタン169、および蓄積部変更チェックボタン170が表示される。
【0058】
最小化ボタン161は、この記録データ表示画面を、例えばアイコンに最小化するときにクリックされるボタンである。最大化ボタン162は、この記録データ表示画面を最大化させて、モニタの表示範囲の全てを使用して表示するときにクリックされるボタンである。閉じるボタン163は、この記録データ表示画面を閉じるときにクリックされるボタンである。
【0059】
日付指定欄164では、全体表示部に表示させたい記録データの日付が指定される。例えば、日付指定欄164の右端に設けられたボタン164aをクリックすることによって、表示可能な記録データの日付がプルダウンメニュー形式で表示され、表示された日付の中から選択するようにしても良い。
【0060】
時間指定欄165では、全体表示部に表示させたい記録データの時間が指定される。例えば、時間指定欄165の右端に設けられたボタン165aをクリックすることによって、表示可能な記録データの時間がプルダウンメニュー形式で表示され、表示された時間の中から選択するようにしても良い。
【0061】
記録データ表示欄166には、蓄積装置の中から日付指定欄164および時間指定欄165において指定された日時の記録データが表示される。最新記録データ表示欄167には、蓄積装置に蓄積されている記録データの中から最新の記録データが表示される。また、日付指定欄164および時間指定欄165において指定された日時の中の記録データの中から最新となる記録データを表示するようにしても良い。
【0062】
OKボタン168は、所望の記録データの指定がなされたときにクリックされるボタンである。キャンセルボタン169は、この記録データ表示画面を閉じるときにクリックするボタンである。蓄積部変更チェックボタン170は、記録データの読み込み先を蓄積装置から、例えば着脱自在の半導体メモリカードに変更するときにチェックを入力するチェックボタンである。
【0063】
図3に戻って説明すると、STOPボタン123は、記録または再生動作を停止するためのボタンである。なお、STOPボタン123は、RECボタン121あるいはPLAYボタン122がポインタにより指示されることにより表示されるようにしても良い。
【0064】
Set Camera Center POS(Set Camera Center POSITION)ボタン124は、現在カメラが向いている方向を(8×16)枚の画像のセンタとして指定するためのボタンである。
【0065】
HOMEボタン125は、カメラユニット3を制御し、カメラユニット3のレンズの中心をホームポジションに向けるためのボタンである。ホームポジションは、カメラが一番左側の位置を向いている位置である。LIVE/VIEW POSITIONボタン126は、カメラをパンあるいはチルトするためのボタンである。
【0066】
ZOOMボタン127Aおよび127Bは、選択画像表示部103に表示された選択画像の拡大、縮小を行うためのボタンである。MAX VIEWボタン128は、選択画像を別画面例えば全体画像表示部102により拡大表示するためのボタンである。
【0067】
次に、図6を用いて、この発明の一実施形態による全体画像の作成方法の一例について説明する。図6に示すように、カメラユニット3は、パンチルタ部4の雲台にカメラ部5が設置され、ホームポジションから撮像方向が可変される。図6において、撮影された(M×N)枚のフレームをカメラ側から見て、各行に対して上から順に1、2、・・・、Mの番号を付し、各列に対して左から順に1、2、・・・、Nの番号を付す。ホームポジションが例えば(1,1)の座標のフレームを撮影する位置とされる。
【0068】
(1,1)の座標位置のフレームを撮影すると、カメラユニット3が下側にチルトされ、(2,1)の座標位置のフレームが撮影され、以下、順に(3,1)・・・・、(M,1)の座標位置のフレームが撮影され、次に第2列の一番上の座標位置(1,2)のフレームが撮影される。以下、各フレームを(M,N)の座標位置のフレームまで撮影する。上述したように、各フレームが他のフレームと16画素分の重複部分を有する。撮影された各フレームがJPEGによる圧縮、メインメモリ30への蓄積等の処理を受ける。
【0069】
上述したように、各フレームが例えばXGA(1024画素×768画素)画の場合では、128枚のフレームからなる画像は、重複部分を無視すると、(横方向が1024画素×16枚=16,384画素で、縦方向が768画素×8枚=6,144画素)の約1億画素の画像である。上述した全体画像表示部102には、この画像から形成された圧縮画像またはサムネイル画像が表示され、選択画像表示部103には、例えば1フレームのXGA画像が表示される。したがって、選択画像表示部103には、解像度が極めて高い画像を表示することができ、全体画像では、不明瞭な画像も選択画像では、明瞭な画像として表示できる。
【0070】
図7に、75倍の望遠レンズがカメラユニット3に備えられている場合に、1フレームで撮影できる範囲を示す。カメラユニット3から100m離れた距離にある被写体を撮影する場合には、1フレームで、縦8.7m×横1.17mの範囲を撮影することができる。例えば、カメラ部5の撮像素子として、XGAを用いた場合には、被写体の縦0.87cm×横1.17cmの範囲を約1画素で表すことができる。
【0071】
カメラユニット3から200m離れた距離にある被写体を撮影する場合には、1フレームで、縦1.74m×横2.34mの範囲を撮影することができる。例えば、カメラ部5の撮像素子として、XGAを用いた場合には、被写体の縦1.74cm×横2.34cmの範囲を1画素で表すことができる。
【0072】
カメラユニット3から500m離れた距離にある被写体を撮影する場合には、1フレームで、縦4.36m×横5.84mの範囲を撮影することができる。例えば、カメラ部5の撮像素子として、XGAを用いた場合には、被写体の縦4.36cm×横5.84cmの範囲を1画素で表すことができる。
【0073】
図8を参照して取得した画像データをアーカイブ10、メインメモリ30等に保存する場合のデータ管理方法を説明する。上述したように、所定時間間隔で、(M×N)枚のフレームの画像が撮影され、圧縮されて蓄積される。図8Aに示すように、M行N列によって各フレームの位置が規定される。例えば(1,1)の位置アドレスは、右端の最も上のフレームを特定する。各フレームは、この位置アドレスと記録時の時間情報とをファイル名として有する。時間情報は、年月日時分秒で構成される。したがって、各フレームのファイル名は、(年月日時分秒、位置アドレス)である。
【0074】
さらに、図8Bに示すように、(M×N)枚のフレームで全体的な1枚の画像が形成されることに対応して、ディレクションファイルが規定されている。ディレクションファイルは、(1,1)の位置アドレスを有するフレームのファイル名(すなわち、年月日時分秒、位置アドレス)と同一のデータを持つことで、当該(M×N)枚のフレームの集合を定義する。さらに、このフレームの集合に対する位置情報およびメタデータをディレクションファイルが有する。位置情報およびメタデータは、メタデータ生成部29で生成されたものである。すなわち、緯度・経度、方位、高度等の位置情報と、カメラ部5のパラメータ(倍率、フォーカス値、アイリス値等)等のメタデータ情報とをディレクションファイルが有する。
【0075】
図9を参照して、カメラユニット3の動作の実施形態を説明する。この図9は、カメラユニット3を真上から見たときの、カメラ部5の平面断面図とする。またここでは、説明を容易とするために、カメラ部5を単にパンさせる。
【0076】
カメラ部5は、レンズ部22および撮像部24から構成される。カメラ部5のパンの中心は、基準円202で示す中心位置とする。カメラ部5の光線の中心は、基準線220とし、撮影しようとする被写体の撮像中心を、撮像中心線210とする。レンズ部22は、レンズ203、204、206、207、およびシフトレンズ(光路可変素子)205から構成される。一例として、レンズ203、204、および206は、その屈折率が1より大きい凸レンズであり、シフトレンズ205およびレンズ207は、その屈折率が1より小さい凸レンズである。
【0077】
なお、このシフトレンズ205は、一例としてレンズと、そのレンズを水平方向に移動させるリニアモータと、レンズを垂直方向に移動させるリニアモータとから構成される。そして、この実施形態では、レンズ自身のことをシフトレンズと称する。
【0078】
この図9では、一例として図9A、図9B、そして図9Cの順番にパンする。まず、図9Aに示すように、基準線220と撮像中心線210とが角度θaとなるときに、被写体の像は光路211aを経由してレンズ203に入射される。
【0079】
レンズ203に入射された被写体の像は、レンズ203の屈折率で屈折され、光路212aを経由してレンズ204に入射される。レンズ204に入射された被写体の像は、レンズ204の屈折率で屈折され、光路213aを経由してシフトレンズの位置205aへ移動しているシフトレンズ205に入射される。
【0080】
シフトレンズ205に入射された被写体の像は、シフトレンズ205の屈折率で屈折され、光路214aを経由してレンズ206に入射される。このとき、パン部4のサーボモータに供給するパルス数を計数した計数値に対応してシフトレンズ205のリニアモータに所定の電圧が印加され、シフトレンズの位置205aにシフトレンズ205を移動させる。
【0081】
レンズ206に入射された被写体の像は、レンズ206の屈折率で屈折され、光路215を経由してレンズ207に入射される。レンズ207に入射された被写体の像は、レンズ207の屈折率で屈折され、光路216を経由して撮像部24に入射される。
【0082】
このように、パン部4のサーボモータに供給するパルス数を計数した計数値に対応したシフトレンズの位置205aにシフトレンズ205を移動させることによって、シフトレンズ205で形成される光路214aを経由して、撮像部24に被写体の像を入射させるように、レンズ206に被写体の像を入射される。
【0083】
そして、図9Bに示すように、基準線220と撮像中心線210とが一致するときに、被写体からの像は光路211bを経由してレンズ203に入射される。
【0084】
レンズ203に入射された被写体の像は、レンズ203の屈折率で屈折され、光路212bを経由してレンズ204に入射される。レンズ204に入射された被写体の像は、レンズ204の屈折率で屈折され、光路213bを経由してシフトレンズの位置205bへ移動しているシフトレンズ205に入射される。
【0085】
シフトレンズ205に入射された被写体の像は、シフトレンズ205の屈折率で屈折され、光路214bを経由してレンズ206に入射される。このとき、シフトレンズ205のレンズの中心と、基準線220と、撮像中心線210とが一致するようにシフトレンズ205のリニアモータに所定の電圧が印加され、シフトレンズの位置205bにシフトレンズ205を移動させる。
【0086】
レンズ206に入射された被写体の像は、レンズ206の屈折率で屈折され、光路215を経由して、レンズ207に入射される。レンズ207に入射された被写体の像は、レンズ207の屈折率で屈折され、光路216を経由して撮像部24に入射される。
【0087】
このように、シフトレンズ205の中心と、基準線220と、撮像中心線210とが一致するシフトレンズの位置205bにシフトレンズ205を移動させることによって、シフトレンズ205で形成される光路214bを経由して、撮像部24に被写体の像を入射させるように、レンズ206に被写体の像を入射させる。
【0088】
そして、図9Cに示すように、基準線220と撮像中心線210とが角度−θcとなるときに、被写体からの像は光路211cを経由してレンズ203に入射される。
【0089】
レンズ203に入射された被写体の像は、レンズ203の屈折率で屈折され、光路212cを経由してレンズ204に入射される。レンズ204に入射された被写体の像は、レンズ204の屈折率で屈折され、光路213cを経由してシフトレンズの位置205cへ移動しているシフトレンズ205に入射される。
【0090】
シフトレンズ205に入射された被写体の像は、シフトレンズ205の屈折率で屈折され、光路214cを経由してレンズ206に入射される。このとき、パン部4のサーボモータに供給するパルス数を計数した計数値に対応してリニアモータに所定の電圧が印加され、シフトレンズの位置205cにシフトレンズ205を移動させる。
【0091】
レンズ206に入射された被写体の像は、レンズ206の屈折率で屈折され、光路215を経由してレンズ207に入射される。レンズ207に入射された被写体の像は、レンズ207の屈折率で屈折され、光路216を経由して撮像部24に入射される。
【0092】
このように、パン部4のサーボモータに供給するパルス数を計数した計数値に対応したシフトレンズの位置205cにシフトレンズ205を移動させることによって、シフトレンズ205で形成される光路214cを経由して、撮像部24に被写体の像を入射させるように、レンズ206に被写体の像を入射させる。
【0093】
この図9に示すようにカメラ部5の移動する方向と逆方向になるようにシフトレンズ205を移動させることによって、撮像部24に露光される被写体の像を同一にすることができる。
【0094】
この実施形態では、カメラ部5で撮影される1画面分を移動するときのパルス数を1サイクルのパルスと称する。そして、カメラ部5が移動する方向によって、FWDサイクルおよびREVサイクルの2種類のサイクルがある。この実施形態では、FWDサイクルのときにシフトレンズ205が待機している位置をシフトレンズの位置205a(図9A参照)とする。
【0095】
また、FWDサイクルの時にシフトレンズ205が、シフトレンズの位置205aからシフトレンズの位置205c(図9C参照)へ移動する。このとき、一例としてカメラ部5を移動させるサーボモータは時間によって制御される。また、カメラ部5を移動させるモータにステッピングモータが使用されている場合、出力されるパルス数が計数され、制御される。
【0096】
なお、REVサイクルの時には、FWDサイクルの時の逆の制御となるようにシフトレンズ205が制御される。カメラ部5がシフトレンズの位置205cに到達後、1サイクルが終了した時点で、シフトレンズ205はシフトレンズの位置205aになるように、シフトレンズ205を移動させるリニアモータに供給する電圧を瞬時に切り替える。
【0097】
シフトレンズの位置205aからシフトレンズの位置205cへシフトレンズ205が動き出した後、シフトレンズ205がシフトレンズの位置205b(図9B参照)となるときに、撮像部24に対してシャッタパルスが出力される。このとき、一例としてシフトレンズ205を水平方向に移動させるリニアモータの駆動電圧によって、シャッタパルスを出力するタイミングが生成される。
【0098】
このように、撮像部24が恰も静止状態となるようにシフトレンズ205を制御するためには、カメラ部5を動かす3つのパラメータを制御する必要がある。第1のパラメータは、カメラ部5の1サイクルが始まってからシフトレンズ205がシフトレンズの位置205aからシフトレンズの位置205cへ動き始める時間である。第2のパラメータは、カメラ部5がシフトレンズの位置205aからシフトレンズの位置205cへ移動するためにかかる時間である。第3のパラメータは、シフトレンズ205がシフトレンズの位置205bとなるときのリニアモータに供給する電圧値である。一般的には、カメラ部5を移動させる速度と、シフトレンズ205を移動させる速度とが等しくなるように制御される。
【0099】
また、カメラ部5のパンの速度と、画像の取り込みに必要な光量とによって、シフトレンズ205のシフト量が変わる。
【0100】
また、この図9A、図9B、および図9Cから、光路214a、214b、および214cは、レンズ206に供給されるときに、常に一定の被写体の像を入射させるように、基準線220と撮像中心線210との角度に対応してシフトレンズの位置205a、205b、および205cへ移動されたシフトレンズ205によって形成される。例えば、基準線220と撮像中心線210との角度が求められると、その角度に応じた電圧がシフトレンズ205の水平方向のリニアモータに印加される。電圧が印加されたリニアモータは、レンズ206に一定の被写体の像を入射させる光路214を形成するように、所定の位置へシフトレンズ205を移動させる。
【0101】
また、カメラ部5が一定速度でパンしているので、そのパンの速度に合わせて、シフトレンズ205の位置を移動するようにしても良い。例えば、図10に示すシフトレンズ205の水平方向のリニアモータに印加される電圧を、カメラ部5の速度対応させて、繰り返すようにしても良い。
【0102】
この図10に示す電圧Vaがシフトレンズ205の水平方向のリニアモータに印加されると、シフトレンズの位置205aに、シフトレンズ205を移動させる。電圧Vbがシフトレンズ205の水平方向のリニアモータに印加されると、シフトレンズの位置205bに、シフトレンズ205を移動させる。電圧Vcがシフトレンズ205の水平方向のリニアモータに印加されると、シフトレンズの位置205cに、シフトレンズ205を移動させる。
【0103】
また、この図10に示す電圧の方向は、シフトレンズ205の水平方向の位置を示す。なお、この図10では、電圧Vbを0Vとしているが、電圧Vcを0Vとするようにして、シフトレンズ205を制御しても良いし、電圧Vaを0Vとするようにして、シフトレンズ205を制御しても良い。
【0104】
図11にカメラ部5を移動させながら、3つの撮像範囲を撮影するときの概略図を示す。この図11では、一例としてそれぞれ隣り合う座標位置のフレーム(1,1)、(1,2)、(1,3)が順次取り込まれる。
【0105】
この図11に示すように、図9Aに示すカメラ部5の位置のときの光路211aから図9Cに示すカメラ部5の位置のときの光路211cまでの期間であれば、同一の被写体の像を撮像部24に入射させることができる。従って、撮像部24に同一の被写体の像を入射させることができる期間であれば、どのようなタイミングでもフレームを取り込むことができる。このとき、基準円202を中心にカメラ部5は回転する。
【0106】
このとき、基準円202を中心にカメラ部5は回転する。カメラ部5を一定速度でパンさせながら、例えば(1,1)の座標位置のフレームに続いて、(1,2)の座標位置のフレーム、そして(1,3)の隣り合う座標位置のフレームと連続して取り込む。そのために、カメラ部5の回転方向に対応してシフトレンズ205を、例えばシフトレンズの位置205aからシフトレンズの位置205cまで移動させる。カメラ部5の回転方向に対応してシフトレンズの位置205aからシフトレンズの位置205cまで行われるシフトレンズ205の移動は、1つのフレームを取り込む毎に行われる。従って、撮像部24に同一の被写体の像を入射することができる。
【0107】
また、参照符号231で示す隣り合うフレームとの重複部分は、上述したように、例えば縦横のそれぞれで16画素とされる。従って、2つの隣り合うフレームの重複部分は、それぞれ8画素とされる。
【0108】
なお、シフトレンズ205を移動させるリニアモータの動作が電圧Vaおよび/またはVc付近では、完璧な線形にはならない。そのため、完璧な線形となる中心付近、すなわち電圧Vbを中心とした範囲でフレームを取り込む方が、より安定した画像を得ることができる。
【0109】
撮像部24に同一の被写体の像が入射され、露光されている期間は、シフトレンズ205を移動させるリニアモータが完璧な線形で動作する必要がある。そこで、リニアモータの動作の開始時では、その動作が安定していないため、動作が開始してから動作が安定するまでの一定期間、露光期間を待つ必要がある。従って、電圧Vb、すなわちシフトレンズの位置205bを中心とした範囲でフレームを取り込むことによって、より安定した画像を得ることができる。
【0110】
図12Aは、パンチルタ部4にカメラ部5を設けた平面断面図であり、図12Bは、カメラ部5を横から見た側面断面図である。この図12Bに示すように、カメラ部5をチルトさせても、そのチルトされたカメラ部5の方向に対応して、シフトレンズ205を所定の方向に移動することによって、同一の被写体の像を撮像部24に入射させることができる。
【0111】
図13を参照して、パンチルタ部4とは異なる移動体にカメラ部5を搭載したときの他の実施形態を説明する。ここでは、説明を容易とするために、水平方向にのみカメラ部5を移動させる移動体とする。この移動体は、例えばサーボモータの回転運動を直線運動に変えることによって実現することができる。この図13では、一例として(1,1)の座標位置のフレームに続いて、(1,2)の座標位置のフレームを連続して取り込む。
【0112】
参照番号241で示す矢印の方向にカメラ部5を一定速度で移動させる。図13Aに示すカメラ部5の移動範囲内であれば、移動するカメラ部5に対応してシフトレンズ205を移動させることによって、撮像部24に同一の被写体の像を入射させることができる。従って、(1,1)の座標位置のフレームを取り込むことができる。
【0113】
そして、カメラ部5が移動体によって隣り合う(1,2)の座標位置のフレームを取り込むことが可能な範囲に移動したとき(図13B参照)に、移動するカメラ部5に対応してシフトレンズ205を移動させることによって、撮像部24に同一の被写体の像を入射させることができる。従って、(1,2)の座標位置のフレームが取り込まれる。
【0114】
このように、カメラ部5を一定速度で移動させることができる移動体であれば、どのような移動体であっても、隣り合うフレームを取り込むことができる。
【0115】
この発明は、上述したこの発明の一実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【0116】
この実施形態では、LAN7で互いに接続されているコンピュータ1によってカメラユニット3が制御されているシステムが、コンピュータ1およびカメラユニット3のみを可搬型とするようにしても良い。
【0117】
この実施形態では、カメラユニット3を下側にチルトし、フレームを順次撮影しているが、カメラユニット3を上側にチルトし、フレームを順次撮影するようにしても良いし、カメラユニット3を右側にパンし、フレームを順次撮影するようにしても良いし、カメラユニット3を左側にパンし、フレームを順次撮影するようにしても良い。
【0118】
この実施形態では、レンズ203、204、206、207、およびシフトレンズ205は、全て凸レンズから構成されているが、全て凹レンズから構成されるようにしても良いし、凸レンズと凹レンズとを適宜組み合わせた構成としても良い。
【0119】
この実施形態では、撮像部24に同一の被写体の像を入射させるために、カメラ部5の方向に対応してシフトレンズ205が所定の方向に移動するようになされているが、レンズ部22を構成するそれぞれのレンズが凸レンズか凹レンズか、そのレンズの屈折率が1より大きいか、小さいかなど、その構成によってシフトレンズ205の移動する方向は反対方向になることもある。
【0120】
この実施形態では、座標位置に基づいてフレームを撮影するようにしているが、位置アドレスに基づいてフレームを撮影するようにしても良い。
【0121】
【発明の効果】
この発明に依れば、従来間欠的に動作するときの加速度を検出してシフトレンズを動作させる構成とされているカメラ部を、一定速度で移動させる移動体に搭載しても、当該移動体の移動に対応してシフトレンズを動作させることができるので、同一の被写体の像を撮像部に入射させることができる。この発明では、撮像装置が各位置で撮影した複数の静止画像を連結した画像を表示することによって、広範囲の画像でありながら極めて画素数が多い画像を形成でき、一部を選択した画像として高解像度のものを表示することが可能となり、全体画像中の指定した部分のみを鮮明に表示することが可能となる。
【0122】
この発明に依れば、カメラ部の移動する方向と逆方向にシフトレンズを移動させることができるので、充分な光量を得る時間で同一の被写体の像を撮像部に入射させることができる。
【0123】
この発明に依れば、従来必要であった加速度センサまたは角加速度センサとフィードバック回路とを取り除いて、オープンループの回路でシフトレンズを制御することができる。
【図面の簡単な説明】
【図1】この発明の一実施形態のモニタリングシステムを概略的に示すブロック図である。
【図2】この発明の一実施形態のブロック図である。
【図3】この発明の一実施形態における画面表示の一例を説明するための略線図である。
【図4】この発明の一実施形態におけるセレクト画面の一例を説明するための略線図である。
【図5】この発明の一実施形態における再生時の記録データ表示画面の一例を説明するための略線図である。
【図6】この発明の一実施形態における撮影動作および画像取得動作を説明するための略線図である。
【図7】この発明の一実施形態における被写体までの距離と撮影範囲および解像度を説明するための略線図である。
【図8】撮影された画像の管理方法を説明するための略線図である。
【図9】この発明に適用されるカメラブロックの動作の実施形態を説明するための概略図である。
【図10】この発明に適用されるシフトレンズに印加する時間と電圧の関係を説明するための特性図である。
【図11】この発明に適用されるカメラブロックの動作の実施形態を説明するための概略図である。
【図12】この発明に適用されるカメラブロックの動作の実施形態を説明するための概略図である。
【図13】この発明に適用されるカメラブロックの動作の実施形態を説明するための概略図である。
【図14】従来のカメラブロックの動作を説明するための概略図である。
【符号の説明】
3・・・カメラユニット、5・・・カメラ部、22・・・レンズ部、24・・・撮像部、202・・・基準円、203、204、206、207・・・レンズ、205・・・シフトレンズ、、205a、205b、205c・・・シフトレンズの位置、210・・・撮像中心線、220・・・基準線

Claims (4)

  1. 映像を撮影する撮像部と、
    ステッピングモータを駆動源として上記撮像部の撮像方向を変化させる撮像方向可部と、
    上記撮像部に対する被写体からの光路を光路可変素子駆動モータにより可変する光路可変素子と、
    上記撮像方向可変部の最大可動範囲内の所定の可動範囲において、各撮像方向でそれぞれ撮像された複数枚の静止画像または上記原画像を圧縮した圧縮画像を蓄積する蓄積部と、
    上記蓄積部に格納された上記原画像または上記圧縮画像から生成されたパノラマ状の全体画像を表示部に表示する制御部とを有し、
    各静止画像の撮影のために必要とされる上記ステッピングモータパルス数を計数し、計数値に対応する振幅ののこぎり波状の駆動信号を上記光路可変素子駆動モータに印加することによって、上記撮像方向の変化を打ち消して、上記撮像部に同一の被写体の像を入射させるようにしたことを特徴とするモニタリングシステム。
  2. 上記光路可変素子駆動モータに供給する駆動信号から上記撮像部が上記静止画像を取り込むタイミングを生成するようにしたことを特徴とする請求項1に記載のモニタリングシステム。
  3. ステッピングモータを駆動源として撮像部の撮像方向を変化させる撮像方向可部の最大可動範囲内の所定の可動範囲において、各撮像方向でそれぞれ撮像された複数枚の静止画像からなる原画像または上記原画像を圧縮した圧縮画像を蓄積し、上記原画像または上記圧縮画像から生成されたパノラマ状の全体画像を表示するモニタリング方法において、
    各静止画像の撮影のために必要とされる上記ステッピングモータパルス数を計数し、計数値に対応する振幅ののこぎり波状の駆動信号を上記光路可変素子駆動モータに印加することによって、上記撮像方向の変化を打ち消して、上記撮像部に同一の被写体の像を入射させるようにしたことを特徴とするモニタリング方法。
  4. 上記光路可変素子駆動モータに供給する駆動信号から上記撮像部が上記静止画像を取り込むタイミングを生成するようにしたことを特徴とする請求項3に記載のモニタリング方法。
JP2002139662A 2002-05-15 2002-05-15 モニタリングシステムおよび方法 Expired - Fee Related JP3925299B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2002139662A JP3925299B2 (ja) 2002-05-15 2002-05-15 モニタリングシステムおよび方法
US10/437,583 US7221401B2 (en) 2002-05-15 2003-05-14 Monitoring system, monitoring method, and imaging apparatus
DE60320710T DE60320710D1 (de) 2002-05-15 2003-05-14 Überwachungssystem, -verfahren und Bilderzeugungsgerät
EP03253006A EP1363255B1 (en) 2002-05-15 2003-05-14 Monitoring system, monitoring method and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002139662A JP3925299B2 (ja) 2002-05-15 2002-05-15 モニタリングシステムおよび方法

Publications (2)

Publication Number Publication Date
JP2003333390A JP2003333390A (ja) 2003-11-21
JP3925299B2 true JP3925299B2 (ja) 2007-06-06

Family

ID=29267786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002139662A Expired - Fee Related JP3925299B2 (ja) 2002-05-15 2002-05-15 モニタリングシステムおよび方法

Country Status (4)

Country Link
US (1) US7221401B2 (ja)
EP (1) EP1363255B1 (ja)
JP (1) JP3925299B2 (ja)
DE (1) DE60320710D1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8310563B2 (en) 2008-12-08 2012-11-13 Sony Corporation Imaging apparatus, imaging method, and program
US8379078B2 (en) 2008-12-08 2013-02-19 Sony Corporation Imaging apparatus, imaging method, and program
US8767036B2 (en) 2008-10-03 2014-07-01 Sony Corporation Panoramic imaging apparatus, imaging method, and program with warning detection
WO2023067659A1 (ja) * 2021-10-18 2023-04-27 ファナック株式会社 制御装置

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050062845A1 (en) * 2003-09-12 2005-03-24 Mills Lawrence R. Video user interface system and method
EP1536633A1 (en) * 2003-11-27 2005-06-01 Sony Corporation Photographing apparatus and method, supervising system, program and recording medium
JP4614653B2 (ja) * 2003-12-12 2011-01-19 ソニー株式会社 監視装置
US7656429B2 (en) 2004-02-04 2010-02-02 Hewlett-Packard Development Company, L.P. Digital camera and method for in creating still panoramas and composite photographs
US20050237631A1 (en) * 2004-04-16 2005-10-27 Hiroyuki Shioya Image pickup apparatus and image pickup method
JP4293053B2 (ja) * 2004-05-19 2009-07-08 ソニー株式会社 撮像装置及び方法
JP4533284B2 (ja) * 2005-08-30 2010-09-01 キヤノン株式会社 追尾撮像装置及びその追尾制御方法、並びに制御プログラム
JP4214160B2 (ja) * 2006-08-31 2009-01-28 フジノン株式会社 監視カメラシステム
DE102006048006A1 (de) * 2006-10-09 2008-04-10 Funkwerk Plettac Electronic Gmbh Verfahren und Vorrichtung zur Steuerung einer schwenkbaren Kamera
US8791984B2 (en) 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
US20100026822A1 (en) * 2008-07-31 2010-02-04 Itt Manufacturing Enterprises, Inc. Multiplexing Imaging System for Area Coverage and Point Targets
JP4962460B2 (ja) * 2008-10-03 2012-06-27 ソニー株式会社 撮像装置、撮像方法、およびプログラム
KR20100062575A (ko) * 2008-12-02 2010-06-10 삼성테크윈 주식회사 감시 카메라의 제어 방법 및 이를 사용한 제어 장치
JP4770924B2 (ja) * 2008-12-17 2011-09-14 ソニー株式会社 撮像装置、撮像方法、およびプログラム
TW201122713A (en) * 2009-02-27 2011-07-01 Sony Corp Imaging device and imaging method
JP5531467B2 (ja) * 2009-07-03 2014-06-25 ソニー株式会社 撮像装置、および画像処理方法、並びにプログラム
WO2011037964A1 (en) * 2009-09-22 2011-03-31 Tenebraex Corporation Systems and methods for correcting images in a multi-sensor system
JP2011155361A (ja) * 2010-01-26 2011-08-11 Sony Corp 撮像装置、撮像制御方法、プログラム
JP5504915B2 (ja) * 2010-01-26 2014-05-28 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム
US20110234750A1 (en) * 2010-03-24 2011-09-29 Jimmy Kwok Lap Lai Capturing Two or More Images to Form a Panoramic Image
US8773501B2 (en) * 2011-06-20 2014-07-08 Duco Technologies, Inc. Motorized camera with automated panoramic image capture sequences
US20120320151A1 (en) * 2011-06-20 2012-12-20 Howard Unger Camera with automated panoramic image capture
US9074892B2 (en) 2013-03-15 2015-07-07 Ian Michael Fink System and method of determining a position of a remote object
JP6581086B2 (ja) 2013-08-09 2019-09-25 サーマル イメージング レーダ、エルエルシーThermal Imaging Radar, Llc 複数の仮想デバイスを使用して熱画像データを解析するための方法、及び深度値を画像画素と相関させるための方法
JP6319670B2 (ja) * 2016-03-11 2018-05-09 パナソニックIpマネジメント株式会社 監視カメラおよびこれを備えた監視カメラシステム
CN106534775A (zh) * 2016-11-03 2017-03-22 北京小米移动软件有限公司 视频剪辑、视频拍摄方法及装置
TW201837586A (zh) * 2017-04-13 2018-10-16 小綠草股份有限公司 縮時攝影系統及方法
US10574886B2 (en) * 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
EP3553697B1 (en) * 2018-04-13 2023-06-07 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
JP7146444B2 (ja) * 2018-05-11 2022-10-04 キヤノン株式会社 制御装置、制御方法及びプログラム
WO2020062163A1 (zh) * 2018-09-29 2020-04-02 深圳市大疆创新科技有限公司 云台的控制方法及手持云台、手持设备
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5939174A (ja) * 1982-08-27 1984-03-03 Nec Corp スピン形衛星における平面鏡を用いた画像取得装置
US4860038A (en) * 1986-09-29 1989-08-22 Honeywell Inc. Underwater bubble camera
GB2239575B (en) * 1989-10-17 1994-07-27 Mitsubishi Electric Corp Motion vector detecting apparatus and image blur correcting apparatus, and video camera including such apparatus
EP0713331B1 (en) * 1994-11-17 2001-03-14 Canon Kabushiki Kaisha Camera control device and method
JPH08214201A (ja) * 1994-11-28 1996-08-20 Canon Inc 撮像装置
US5668593A (en) * 1995-06-07 1997-09-16 Recon/Optical, Inc. Method and camera system for step frame reconnaissance with motion compensation
US5721585A (en) 1996-08-08 1998-02-24 Keast; Jeffrey D. Digital video panoramic image capture and display system
US6466254B1 (en) 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
EP0878965A3 (en) 1997-05-14 2000-01-12 Hitachi Denshi Kabushiki Kaisha Method for tracking entering object and apparatus for tracking and monitoring entering object
US6091771A (en) * 1997-08-01 2000-07-18 Wells Fargo Alarm Services, Inc. Workstation for video security system
JP2000039641A (ja) * 1998-07-24 2000-02-08 Fuji Photo Optical Co Ltd カメラの防振レンズ装置
JP2001231029A (ja) * 2000-02-18 2001-08-24 Minolta Co Ltd 遠隔カメラシステム
JP3627914B2 (ja) 2000-05-23 2005-03-09 シャープ株式会社 車両の周囲監視システム
JP3878035B2 (ja) * 2002-03-04 2007-02-07 ニスカ株式会社 画像配信方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8767036B2 (en) 2008-10-03 2014-07-01 Sony Corporation Panoramic imaging apparatus, imaging method, and program with warning detection
US8310563B2 (en) 2008-12-08 2012-11-13 Sony Corporation Imaging apparatus, imaging method, and program
US8379078B2 (en) 2008-12-08 2013-02-19 Sony Corporation Imaging apparatus, imaging method, and program
WO2023067659A1 (ja) * 2021-10-18 2023-04-27 ファナック株式会社 制御装置

Also Published As

Publication number Publication date
JP2003333390A (ja) 2003-11-21
EP1363255A3 (en) 2005-05-25
US7221401B2 (en) 2007-05-22
EP1363255A2 (en) 2003-11-19
DE60320710D1 (de) 2008-06-19
US20040017470A1 (en) 2004-01-29
EP1363255B1 (en) 2008-05-07

Similar Documents

Publication Publication Date Title
JP3925299B2 (ja) モニタリングシステムおよび方法
US8462253B2 (en) Monitoring system for a photography unit, monitoring method, computer program, and storage medium
US7573492B2 (en) Monitoring system and method, and program and recording medium used therewith
US7697025B2 (en) Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display
US6947074B2 (en) Image pickup apparatus
JP2006333133A (ja) 撮像装置、撮像方法、プログラム、プログラム記録媒体並びに撮像システム
JP2019514078A (ja) 時間多重化プログラム可能な視野撮像
JP3841033B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP4225040B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP3969172B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP3838149B2 (ja) モニタリングシステムおよび方法、並びにプログラムおよび記録媒体
JP3838150B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP3991816B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP4172352B2 (ja) 撮像装置及び方法、撮像システム、プログラム
JP3838151B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP2000032337A (ja) 画像合成装置
JP2005175852A (ja) 撮影装置及び撮影装置の制御方法
JP2006295294A (ja) カメラ装置システム
CN101854480A (zh) 广角拍摄的图像撷取方法与图像撷取装置
JP2000134563A (ja) ディジタル撮像装置および撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070219

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100309

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120309

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130309

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130309

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140309

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees