JP2008035096A - 監視装置、監視方法及びプログラム - Google Patents
監視装置、監視方法及びプログラム Download PDFInfo
- Publication number
- JP2008035096A JP2008035096A JP2006205070A JP2006205070A JP2008035096A JP 2008035096 A JP2008035096 A JP 2008035096A JP 2006205070 A JP2006205070 A JP 2006205070A JP 2006205070 A JP2006205070 A JP 2006205070A JP 2008035096 A JP2008035096 A JP 2008035096A
- Authority
- JP
- Japan
- Prior art keywords
- monitoring
- video data
- metadata
- reference position
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
- G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】監視対象が固定されていない場合にも良好に認識して監視できるようにする。
【解決手段】監視用撮像装置が撮像して出力する映像データを使用して監視を行う場合において、映像データから検知された物体の位置Xを特定する検知物体特定処理と、検知物体特定処理で特定された物体の基準位置Yを設定する基準位置設定処理と、基準位置設定処理で設定された基準位置Yに対して相対的に、映像データで示される映像の範囲内に、1つ又は複数の探査領域Ra,Rbを設定して、その設定した探査領域で物体を検知する検知処理とを行う。
【選択図】図11
【解決手段】監視用撮像装置が撮像して出力する映像データを使用して監視を行う場合において、映像データから検知された物体の位置Xを特定する検知物体特定処理と、検知物体特定処理で特定された物体の基準位置Yを設定する基準位置設定処理と、基準位置設定処理で設定された基準位置Yに対して相対的に、映像データで示される映像の範囲内に、1つ又は複数の探査領域Ra,Rbを設定して、その設定した探査領域で物体を検知する検知処理とを行う。
【選択図】図11
Description
本発明は、監視カメラから映像データ又は映像データに関するデータを取得して、この取得したデータに基づいた監視処理を行う監視装置及び監視方法、並びに監視方法を実行するプログラムに関する。
従来、監視カメラと制御装置とをネットワークを介して接続した監視システムが用いられている。このような監視システムにおいて、監視カメラは、撮影した映像データを、ネットワークを介して制御装置である監視装置に送信する。監視装置は、受信した映像データを記録するとともに、映像データを解析することで異常の発生を検出し、アラームを出力する。監視員は、モニタに表示される監視映像及び制御装置が出力したアラームの内容を確認しながら監視を行うことができる。
また近年の監視カメラは、監視装置に撮影した映像データを送信するだけでなく、撮影した映像データに関するメタデータ(例えば、アラーム情報や温度情報、カメラの画角情報など)を生成して、監視装置にメタデータを送信する機能を有している。このような監視カメラを用いた監視システムにおいて、監視装置は、監視カメラから供給されたメタデータを、アラームを出力する特定の条件を設定したメタデータフィルタ(以下フィルタと称する)に通し、条件に合致した場合にアラームを出力する。メタデータフィルタには、例えばある場所への不審物の侵入や、ある境界線を通過する動体(オブジェクト)などを異常として検出するための条件が設定されている。
特許文献1には、ネットワークを介して監視カメラ(監視カメラ)から監視装置に監視映像の映像データを供給し、異常発生時の監視映像の確認等を監視装置で行う技術が記載されている。
特開2003−274390号公報
ところで、この種の従来の監視システムで監視を行う場合において、撮影された映像で示される状況が異常か否かの判断を行う際には、例えば、建物のドア、窓、門などの固定された場所を撮影して、その撮影されたドアなどに出入りする人があるかどうかを判断するようにしてあり、監視対象となる範囲が予め決められた固定された範囲であった。固定された位置を監視する場合には、その場所に人物がいるか否か監視するようにすればよい。
これに対して、より高度な監視を可能とすることが要請されている。具体的には、例えば自動車のような移動物体を監視映像から認識して、その認識された自動車から降りた人の有無を判断するような場合には、対応が不可能である問題があった。
本発明はかかる点に鑑みてなされたものであり、監視対象が固定されていない場合にも良好に認識して監視できるようにすることを目的とする。
本発明は、監視用撮像装置が撮像して出力する映像データを使用して監視を行う場合において、映像データから検知された物体の位置を特定する検知物体特定処理と、検知物体特定処理で特定された物体の基準位置を設定する基準位置設定処理と、基準位置設定処理で設定された基準位置に対して相対的に、映像データで示される映像の範囲内に、1つ又は複数の探査領域を設定して、その設定した探査領域で物体を検知する検知処理とを行うようにしたものである。
このようにしたことで、撮像された映像中に特定の条件で検知された物体を基準として検知範囲が決まるようになる。
本発明によると、撮像された映像中に特定の条件で検知された物体を基準として検知範囲が決まるようになり、監視範囲の状況に応じた動的な監視が可能なる。例えば、監視映像から検知された自動車の近傍に、動体の探査領域を設定して、その自動車から降車する人の有無を検知できるようになる。
以下、本発明を実施するための最良の形態について、添付図面を参照しながら説明する。以下に説明する実施形態は、撮影対象物を撮影した映像データとともにメタデータを生成する撮像装置(監視カメラ)から得られたメタデータを解析して、動体(オブジェクト)を検出し、検出結果の出力を行う監視システムに適用した例としている。
図1は、本発明の一実施形態例における監視システムの接続構成を示した図である。図1(a)は、監視装置としてのクライアント端末が、監視カメラから出力されたデータを、ネットワークを介して取得するシステムであり、図1(b)は、監視カメラから出力されたデータをサーバが取得し、クライアント端末に供給するシステム(サーバ/クライアントシステム)である。
まず図1(a)に示した監視システム100について説明する。図1に示すように、監視システム100は、1台、もしくは複数台の監視カメラを管理する。この例では2台としている。監視システム100は、監視対象物を撮影し、映像データを生成するとともに映像データからメタデータを生成する監視カメラ1a,1bと、取得した映像データとメタデータを保存するとともに、メタデータの解析を行なってその結果を出力するクライアント端末3と、監視カメラ1a,1bとクライアント端末3とを接続するネットワーク2とで構成される。クライアント端末3が、ネットワーク2を介して監視カメラ1a,1bから取得したメタデータは、メタデータフィルタ(以下、「フィルタ」とも称する。)を介して解析される。フィルタ処理結果の内容によっては、クライアント端末3は、監視に適した監視映像が得られるように監視カメラ1a,1bの動作を制御するため、監視カメラ1a,1bに対して切替指示信号を供給する。
なお、監視カメラ、クライアント端末、サーバ及びクライアント端末の台数はこの例に限られないことは勿論である。
ここで、監視カメラ内で生成されるメタデータについて説明する。メタデータとは、監視カメラの撮像部で撮像された映像データの属性情報のことであり、例えば下記のようなものがある。
・オブジェクト情報(監視カメラで動体を検知した場合の、動体(オブジェクト)のIDや座標、サイズ等の情報)
・撮像時刻データ、監視カメラの向き情報(パン・チルト等)
・監視カメラの位置情報
・撮像された画像の署名情報
オブジェクト情報とは、メタデータ内にバイナリデータとして記載された情報を、構造体などの意味のあるデータ構造に展開した情報のことである。
・オブジェクト情報(監視カメラで動体を検知した場合の、動体(オブジェクト)のIDや座標、サイズ等の情報)
・撮像時刻データ、監視カメラの向き情報(パン・チルト等)
・監視カメラの位置情報
・撮像された画像の署名情報
オブジェクト情報とは、メタデータ内にバイナリデータとして記載された情報を、構造体などの意味のあるデータ構造に展開した情報のことである。
メタデータフィルタとは、オブジェクト情報からアラーム情報を生成する場合の判断条件のことであり、アラーム情報とは、メタデータから展開したオブジェクト情報を元に、フィルタ処理をかけた後の情報のことである。アラーム情報は、複数フレームのメタデータを解析し、動体の位置の変化から速度を割り出したり、動体がある線を越えたか否かの確認をしたり、またはこれらを複合的に解析することで得られる。
フィルタの種類としては、例えば以下の7種類があり、このうち任意のフィルタの種類を選択することができる。
Appearance(存在):物体(以下、オブジェクトとも称する)があるエリア内に存在するか否かを判別するためのフィルタ
Disappearance(消失):物体があるエリア(領域)に現れ、エリアから出たか否かを判別するためのフィルタ
Passing(通過):ある境界線を物体が超えたか否かを判別するためのフィルタ
Capacity(物体数制限):あるエリア内の物体の数をカウントし、その累積数が所定値を超えたか否かを判別するためのフィルタ
Loitering(滞留):所定の時間を超えて、あるエリア内に物体が滞留しているか否かを判別するためのフィルタ
Unattended(置き去り):所定の時間を越えて、あるエリア内に侵入し動かない物体が存在するか否かを判別するためのフィルタ
Removed(持ち去り):あるエリア内に存在した物体が取り除かれたことを検出するためのフィルタ
Appearance(存在):物体(以下、オブジェクトとも称する)があるエリア内に存在するか否かを判別するためのフィルタ
Disappearance(消失):物体があるエリア(領域)に現れ、エリアから出たか否かを判別するためのフィルタ
Passing(通過):ある境界線を物体が超えたか否かを判別するためのフィルタ
Capacity(物体数制限):あるエリア内の物体の数をカウントし、その累積数が所定値を超えたか否かを判別するためのフィルタ
Loitering(滞留):所定の時間を超えて、あるエリア内に物体が滞留しているか否かを判別するためのフィルタ
Unattended(置き去り):所定の時間を越えて、あるエリア内に侵入し動かない物体が存在するか否かを判別するためのフィルタ
Removed(持ち去り):あるエリア内に存在した物体が取り除かれたことを検出するためのフィルタ
アラーム情報に含まれるデータとしては、上述したフィルタのうち“Capacity”等、検出されたオブジェクトの累計値を用いるフィルタを通して生成された“累積オブジェクト数”や、フィルタの条件に合致したオブジェクトの数である“オブジェクト数”、特定のフレーム内においてフィルタの条件に合致したオブジェクト数、フィルタの条件に合致したオブジェクトの属性情報(オブジェクトのID、X座標、Y座標、サイズ)等がある。アラーム情報には、このように映像内の員数(人数)や、それらの統計が含まれ、レポート機能としても使用できる。
次に、図1(a)に示した監視カメラ1の詳細な構成を、図2の機能ブロック図を参照して説明する。監視カメラ1は、映像データ生成部21と撮像動作切替部22、メタデータ生成部23とで構成される。まず、映像データ生成部21を構成する各部の説明から行なう。撮像部212は、レンズ部211を通して撮像素子(図示せず)に結像された撮像光を光電変換して撮像信号Svを生成する。
撮像部212は、例えば図示しないプリアンプ部及びA/D(Analog/Digital)変換部を備え、プリアンプ部では、撮像信号Svの電気信号レベルの増幅や、相関二重サンプリングによるリセット雑音の除去を行ない、A/D変換部では撮像信号Svをアナログ信号からデジタル信号に変換する。また、撮像部212では、供給された撮像信号Svのゲイン調整や黒レベルの安定化、ダイナミックレンジの調整等も行う。このように様々な処理が行なわれた撮像信号Svは、撮像信号処理部213に供給される。
撮像信号処理部213は、撮像部212から供給された撮像信号Svに対して種々の信号処理を行い、映像データDvを生成する。例えば、撮像信号Svのあるレベル以上を圧縮するニー補正、撮像信号Svのレベルを設定されたγカーブに従って補正するγ補正、撮像信号Svの信号レベルが所定範囲となるように制限するホワイトクリップ処理やブラッククリップ処理等を行う。そして映像データDvは、データ処理部214に供給される。
データ処理部214は、クライアント端末3等との通信を行なう際のデータ量を少なくするため、映像データDvに対して符号化処理を行なって映像データDtを生成する。さらに、データ処理部214は、生成した映像データDvを所定のデータ構造としてクライアント端末3に供給する。
撮像動作切替部22は、クライアント端末3から入力される切替指示信号CAに基づき、最適な撮像映像が得られるよう監視カメラ1の動作切替を行なう。撮像動作切替部22は、例えば撮像部の撮像方向の切替を行なう他、レンズ部211に制御信号CMaを供給してズーム比やアイリスの切替を行わせたり、撮像部212と撮像信号処理部213に制御信号CMbを供給して撮像映像のフレームレートの切替を行わせたり、さらにはデータ処理部214に制御信号CMcを供給して映像データの圧縮率の切替を行わせる等の処理を行なう。
メタデータ生成部23は、監視対象に関する情報を示したメタデータDmの生成を行なう。動体を監視対象とする場合であれば、映像データ生成部21で生成された映像データDvを用いて動体の検出を行い、動体が検出されているか否かを示す動体検知情報や、検出した動体の位置を示す動***置情報を生成し、これをオブジェクト情報としてメタデータに含める。このとき検出されたオブジェクトには、それぞれに一意のIDが割り振られる。
なお、監視対象に関する情報は、動体に関連した情報に限られるものではなく、監視カメラで監視する領域の状態を示す情報であってもよい。例えば、監視する領域の温度や明るさ等の情報であってもよい。あるいは、監視する領域内で行われた操作等の情報であってもよい。温度を監視対象とする場合には温度測定結果をメタデータに含め、明るさを監視対象とする時には、メタデータ生成部23は映像データDvに基づいて例えば監視映像の平均輝度を判別し、この判別結果をメタデータに含めるようにすればよい。
また、メタデータ生成部23は、撮像動作切替部22から供給された撮像動作QF(例えば監視対象を撮像した時の撮像方向やズーム状態、映像データ生成部の設定情報等)や、時刻情報等をメタデータに含めることで、メタデータが生成された時刻や状況を記録として残すことができる。
ここで、映像データとメタデータの構成について説明する。映像データとメタデータは、それぞれデータ本体とリンク情報とで構成されている。データ本体は、映像データの場合、監視カメラ1a,1bが撮影した監視映像の映像データである。またメタデータの場合、監視対象を示す情報等と、この情報の記述方式を定義した属性情報を記述したものである。一方、リンク情報とは、映像データとメタデータとの関連付けを示す関連付け情報と、この情報の内容の記述方式を定義した属性情報等を記述したものである。
関連付け情報としては、例えば映像データを特定するためのタイムスタンプやシーケンス番号を使用する。タイムスタンプとは、映像データの生成時刻を与える情報(時刻情報)であり、シーケンス番号とは、コンテンツデータの生成順序を与える情報(順序情報)である。タイムスタンプの等しい監視映像が複数存在するような場合、タイムスタンプの等しい映像データの生成順序を識別することができる。また、関連付け情報には、映像データを生成する機器を特定するための情報(例えば製造会社名や機種名、製造番号等)を使用するものとしてもよい。
リンク情報やメタデータ本体の記述には、ウェブ(WWW:World Wide Web)上で交換される情報を記述するために定義されたマークアップ言語を用いるものとする。マークアップ言語を用いると、ネットワーク2を介した情報の交換を容易に行うことができる。さらに、マークアップ言語として、例えば文書や電子データの交換に利用されているXML(Extensible Markup Language)を用いることで、映像データとメタデータの交換も容易に行うことができる。XMLを用いるものとした場合、情報の記述方式を定義した属性情報は、例えばXMLスキーマを使用する。
監視カメラ1a,1bで生成した映像データやメタデータは、1つのストリームとしてクライアント端末3に供給するものとしてもよく、映像データとメタデータを別のストリームで非同期にクライアント端末3に供給するものとしてもよい。
なお、図1(b)に示すように、サーバ機能とクライアント機能を分割してサーバ11とクライアント端末12で構成された監視システムに適用しても、上述した図1(a)の例と同様の機能、効果を得ることができる。サーバ機能とクライアント機能を分割することで、処理性能が高いサーバ11で大量にデータを処理し、処理性能が低いクライアント端末12では専ら処理結果を閲覧するといった使い分けが可能となる。このように機能分散することでより柔軟性に富んだ監視システム100を構築できるという効果がある。
次に、図1(a)に示したクライアント端末3の詳細な構成を、図3の機能ブロック図を参照して説明する。ただし、クライアント端末3の各機能ブロックは、ハードウェアで構成するものとしてもよく、またソフトウェアで構成するものとしてもよい。
クライアント端末3は、監視カメラ1a,1bとのデータ伝送を行なうネットワーク接続部101と、監視カメラ1a,1bから映像データを取得する映像バッファ部102と、監視カメラ1a,1bからメタデータを取得するメタデータバッファ部103と、フィルタ処理に応じたフィルタ設定を蓄積するフィルタ設定データベース107と、探査領域設定データベース114と、メタデータのフィルタ処理を行うメタデータフィルタ部106と、監視カメラ1a,1bに設定変更を通知するルール切替部108と、映像データを蓄積する映像データ蓄積データベース104と、メタデータを蓄積するメタデータ蓄積データベース105と、映像データやメタデータ等を表示する表示部111と、映像データを表示部111で再生させるための処理を行なう映像データ処理部109と、メタデータを表示部111で再生させるための処理を行なうメタデータ処理部110と、メタデータと映像データとの再生を同期させる再生同期部112とを備えている。
映像バッファ部102は、監視カメラ1a,1bから映像データを取得し、符号化されている映像データの復号化処理を行う。そして、映像バッファ部102は、得られた映像データを映像バッファ部102に設けられている図示しないバッファに保持する。さらに、映像バッファ部102は、図示しないバッファに保持している映像データを順次、画像を表示する表示部111に供給する処理も行う。このように図示しないバッファに映像データを保持することで、監視カメラ1a,1bからの映像データの受信タイミングに依らず、表示部111に対して順次映像データを供給できる。また、映像バッファ部102は、後述するルール切替部108から供給される録画要求信号に基づき、保持している映像データを映像データ蓄積データベース104に蓄積させる。なお、映像データ蓄積データベース104には、符号化されている映像データを蓄積するようにし、後述する映像データ処理部109で復号化を行うようにしてもよい。
メタデータバッファ部103は、メタデータバッファ部103に設けられている図示しないバッファに、監視カメラ1a,1bから取得したメタデータを保持する。また、メタデータバッファ部103は、保持しているメタデータを表示部111に順次供給する。また、図示しないバッファに保持しているメタデータを後述するメタデータフィルタ部106に供給する処理も行う。このように図示しないバッファにメタデータを保持することで、監視カメラ1a,1bからのメタデータの受信タイミングに依らず、表示部111に対して順次メタデータを供給できる。また、映像データと同期させてメタデータを表示部111に供給できる。さらに、メタデータバッファ部103は、監視カメラ1a,1bから取得したメタデータをメタデータ蓄積データベース105に蓄積させる。ここで、メタデータをメタデータ蓄積データベース105に蓄積する際に、メタデータと同期する映像データの時刻情報を付加しておく。このようにすることで、メタデータの内容を読み出して時刻を判別しなくとも、付加されている時刻情報を利用して、所望の時刻のメタデータをメタデータ蓄積データベース105から読み出すことが可能となる。
フィルタ設定データベース107は、後述するメタデータフィルタ部106で行うフィルタ処理に応じたフィルタ設定を蓄積するとともに、フィルタ設定をメタデータフィルタ部106に供給する。このフィルタ設定とは、アラーム情報等の出力や監視カメラ1a,1bの撮像動作の切替を行う必要があるか否かの判断基準等を、メタデータに含まれている監視対象に関する情報ごとに示す設定である。このフィルタ設定を用いてメタデータのフィルタ処理を行うことで、監視対象に関する情報ごとにフィルタ処理結果を示すことができる。フィルタ処理結果には、アラーム情報等の出力を行う必要があることや、監視カメラ1a,1bの撮像動作の切替が必要であることが示される。
メタデータフィルタ部106は、フィルタ設定データベース107に蓄積されているフィルタ設定を用いてメタデータのフィルタ処理を行い、アラームを発生させるかどうかを判断する。そして、メタデータフィルタ部106は、メタデータバッファ部103で取得したメタデータ、あるいはメタデータ蓄積データベース105から供給されたメタデータのフィルタ処理を行い、フィルタ処理結果をルール切替部108に通知する。
探査領域設定データベース114は、映像内で検知されたオブジェクトに対して設定される探査領域に関する情報を保存する。探査領域として設定したエリアは、その座標情報などをもとに例えば多角形で示され、そこに動体の検出の有無を示すフラグなどが付与されて、探査領域情報とされる。探査領域設定データベース114に保存された探査領域情報は、メタデータフィルタ部106がフィルタ処理を行なう際に参照され、探査領域情報に応じた解析が行われる。この場合の処理の詳細については後述する。
ルール切替部108は、メタデータフィルタ部106から通知されたフィルタ処理結果に基づいて、切替指示信号を生成し、監視カメラ1a,1bに撮像方向切替等の変更を通知する。例えば、メタデータフィルタ部106から得られたフィルタ処理結果に基づき、監視に適した監視映像が得られるように監視カメラ1a,1bの動作を切り替える指令を出力する。また、ルール切替部108は、フィルタ処理結果に基づいて映像データ蓄積データベース104に録画要求信号を供給して、映像バッファ部102で取得した映像データを映像データ蓄積データベース104に蓄積させる。
映像データ蓄積データベース104は、映像バッファ部102で取得された映像データを蓄積する。メタデータ蓄積データベース105は、メタデータバッファ部103で取得されたメタデータを蓄積する。
映像データ処理部109は、映像データ蓄積データベース104に蓄積されている映像データを表示部111に表示させるための処理を行う。即ち、映像データ処理部109は、ユーザによって指示された再生位置から順次映像データを読み出して、読み出した映像データを表示部111に供給する。また、映像データ処理部109は、再生している映像データの再生位置(再生時刻)を再生同期部112に供給する。
メタデータと映像データとの再生を同期させる再生同期部112は、映像データ処理部109から供給された再生位置と、メタデータ処理部110で、メタデータ蓄積データベース105に蓄積されているメタデータを再生するときの再生位置が同期するように、同期制御信号をメタデータ処理部110に供給して、メタデータ処理部110の動作を制御する。
メタデータ処理部110は、メタデータ蓄積データベース105に蓄積されているメタデータを表示部111に表示させるための処理を行う。即ち、メタデータ処理部110は、ユーザによって指示された再生位置から順次メタデータを読み出して、読み出したメタデータを表示部111に供給する。また、映像データとメタデータの双方を再生する場合、メタデータ処理部110は、上述したように、再生同期部112から供給された同期制御信号に基づいて再生動作を制御して、映像データに同期したメタデータを表示部111に出力する。
表示部111は、映像バッファ部102から供給されたライブ(生)の映像データや映像データ処理部109から供給された再生映像データ、メタデータバッファ部103から供給されたライブのメタデータやメタデータ処理部110から供給された再生メタデータを表示する。また、表示部111は、メタデータフィルタ部106からのフィルタ設定に基づき、監視映像やメタデータの映像やフィルタ設定の映像のいずれか、あるいはこれらを合成した映像を用いて、フィルタ処理結果に基づく監視結果を示す映像を表示(出力)する。
また、表示部111は、グラフィカルユーザインタフェース(GUI:Graphical User Interface)としても機能する。使用者は、図示しない操作キーやマウス、リモートコントローラ等を用い表示部111に表示されたフィルタ設定メニュー等を選択することでフィルタを定義したり、各処理部の情報やアラーム情報の解析結果等をGUI表示したりすることができる。
図4は、本実施の形態における監視映像からの物体の検知と、その検知した物体に基づいて監視領域を設定して監視処理を行う場合の処理例を示したフローチャートである。物体の検知としては、例えば映像中から自動車が停車したことを検出する処理などであり、その検出した物体に対する監視領域の設定としては、例えば停車を検出した自動車から降りたり乗ったりする人の有無を監視するための領域設定である。以下に示す処理は、図3に示したクライアント端末3内の各部での処理で実行される。具体的には、メタデータフィルタ部106とその周辺部であるフィルタ設定データベース107、探査領域設定データベース114などを使用した処理で実行される。即ち、以下に説明する処理である、映像データから検知された物体の位置を特定する検知物体特定処理、その検知物体特定処理で特定された物体の基準位置を設定する基準位置設定処理、その基準位置設定処理で設定された基準位置に対して相対的に、映像データで示される映像の範囲内に、1つ又は複数の探査領域を設定して、その設定した探査領域で物体を検知する検知処理、などを実行する処理部が、これらのフィルタ部やデータベースを使用して処理される。
まず、メタデータで示される映像解析結果のオブジェクト情報(例えば、位置、種類、ステータスなど)を判断して、映像内を移動して停止した物体の有無を判断する(ステップS11)。この判断で、該当する物体があると判断した場合には、検知された物体の形状を正規化する処理が行われる(ステップS12)。その正規化処理としては、例えば多角形に正規化する。
物体を正規化すると、その正規化された物体内の基準点を算出する処理を行う(ステップS13)。基準点の算出処理例については後述するが、基準点の候補を複数設けるようにしてもよい。そして、予め決められた条件に従って、探査領域の大きさを設定し(ステップS14)、その設定された探査領域を、基準点の位置を基準として、撮像映像内に相対的に設定する(ステップS15)。例えば、ステップS11で自動車に相当する物体の停止を検知した場合には、その物体(自動車)のサイドドアが存在すると想定される位置の近傍に、探査領域を設定する。
ここまで設定が行われると、探査領域内での映像解析結果のオブジェクト情報を重点的に検知処理して、探査領域内での検知を開始させ(ステップS16)、その検知で物体(人)の検知があるか否か判断し(ステップS17)、検知があった場合には、その検知状態に基づいた処理を行う(ステップS18)。例えば、探査領域内で人に相当する物体が突然現れたような場合には、ステップS11で検知された物体(自動車)から降りた人があると判断して、対応した処理を行う。或いは、探査領域内で消失した物体がある場合には、ステップS11で検知された物体(自動車)に乗った人があると判断して、対応した処理を行う。
ステップS17で物体の検知がないと判断した場合には、ステップS11で検知された物体(自動車)がまだ検知されているか否か判断し(ステップS19)、検知された状態が続いている場合にはステップS17の判断を繰り返す。ステップS19で検知されなくないと判断した場合には、ステップS11の判断に戻って、次の物体の検知処理に移る。なお、図4のフローチャートでは1つの物体の検知処理について示したが、1つの映像中から同時に、複数の物体を検知して、図4のフローチャートに示した検知処理を同時に複数並行して実行してもよいものである。
次に、図4のフローチャートに示した各ステップの具体的例について説明する。図4のフローチャートについて説明したように本例では、検出された物体の位置またはその1部分の位置を基準として、探査領域を定義することで、適正な探査を可能にするものである。このため、検出された物体を正規化して多角形(N角形:Nは正の整数)で表現する場合でも、そのN角形の各辺の長さが変化するので、一定の条件で基準点が算出できるようにしなければならない。
そのために物体であるN角形を正規化する必要がある。
比較的容易に基準点を算出できるような場所を基準点の候補とする。
全部または一部の多角形の重心および辺、対角線上の点を使用する。
探査領域の大きさについては固定と可変の二つのモードを監視条件により設定できるようにする。
そのために物体であるN角形を正規化する必要がある。
比較的容易に基準点を算出できるような場所を基準点の候補とする。
全部または一部の多角形の重心および辺、対角線上の点を使用する。
探査領域の大きさについては固定と可変の二つのモードを監視条件により設定できるようにする。
まず、検出された物体の正規化処理について説明する。検知された物体は多角形(N角形:Nは正の整数)で表されているのが前提である。ただし、ここでは、検知されたときにより各辺の長さが変化するので、正規化されたN角形(ここでは6角形)の各頂点に、図5に示すように、以下のルールで名前をつける。
各頂点の座標x1..xnの内、最小値を持つ頂点をP1(x1,y1)とする。最小値を持つ頂点が複数あるときは、そのなかで最小のy座標を持つ頂点をP1とする。次に、時計周りにP2,P3…と順に名前をつける。このようにして、図5に示すように、物体が表現されている多角形が正規化されたことになる。
次に、このようにして得られた正規化されたN角形から、基準点を求める処理について説明する。ここでは、2種類の基準点を求める処理について説明する。
1つの処理としては、全体または一部の多角形の重心を基準位置とする処理が適用可能である。この場合には、図6に示すように、多角形の全体または1部の頂点(xa,ya),(xb,yb),(xc,yc)…でできるk多角形の重心の位置を求める。このk多角形の重心は以下の式で求められる。
X=(xa+xb+xc…)/k
Y=(ya+yb+yc…)/k
図6の例では、a=2,b=3,c=4,k=3でありこれらを記憶しておけば物体の座標から基準位置が求められる。
X=(xa+xb+xc…)/k
Y=(ya+yb+yc…)/k
図6の例では、a=2,b=3,c=4,k=3でありこれらを記憶しておけば物体の座標から基準位置が求められる。
別の処理としては、任意の辺または対角線上の点を基準位置とする処理が適用可能である。この場合には、図7に示すように、2頂点(xa,ya),(xb,yb)間の辺または対角線上の位置は以下の式で求められる。
X=xa*(1−m)+xb*m
Y=ya*(1−m)+yb*m
ここで0<=m<1
図7の例では、a=2,b=4,m=0.3でありこれらを記憶しておけば物体の座標から基準位置が求められる。
これらの例以外の処理で、基準点を求めるようにしてもよい。
X=xa*(1−m)+xb*m
Y=ya*(1−m)+yb*m
ここで0<=m<1
図7の例では、a=2,b=4,m=0.3でありこれらを記憶しておけば物体の座標から基準位置が求められる。
これらの例以外の処理で、基準点を求めるようにしてもよい。
次に、探査領域の大きさ(サイズ)の設定について説明する。
物体の形状は変わらないが、大きさが変わった場合に探査領域をそれに伴って変えた方が良い場合と、そうでない場合とがある。例えば、自動車の脇の人間を見つけたい場合は自動車の大きさによって人間の大きさが変わるわけではないが、同じ自動車が遠くにあるために小さく見えているのであれば人間の大きさも自動車と同じ比率で小さくなって欲しい。それと共に基準点からの距離も同比率で変化させる必要がある。
物体の形状は変わらないが、大きさが変わった場合に探査領域をそれに伴って変えた方が良い場合と、そうでない場合とがある。例えば、自動車の脇の人間を見つけたい場合は自動車の大きさによって人間の大きさが変わるわけではないが、同じ自動車が遠くにあるために小さく見えているのであれば人間の大きさも自動車と同じ比率で小さくなって欲しい。それと共に基準点からの距離も同比率で変化させる必要がある。
これを実現するためには、スケールファクタSを導入して探査領域の頂点を表現する際に基準位置からのベクトルに対しての比を定義する。スケールファクタSは物体の大きさの変化(例えば物体の面積の変化量)からもとめられるが、N角形であることが前提でも辺の長さが変化するので面積変化の平方根とする。上述した例のようにS=1のままの使い方(即ち変化させない例)もあるが、例えば外部よりあたえて、設定するようにしてもよい。
このようにして探査領域を設定する場合の例を、監視画面の例を示して説明する。例えば、道路上の駐車位置を監視する例とする。図8は、この位置を監視カメラ1aなどで撮像して、クライアント端末3で監視して表示させた例であるとする。この場所の撮像による監視を続けて、図9に示すように、自動車mが停車したとする。この停車した自動車が検出物体となる。
ここで、図10に示すように、その物体(自動車m)を正規化した多角形形状Xを、クライアント端末3内での演算で得る。そして、その多角形形状X内の基準位置Yが算出される。
基準位置Yが決まると、図11に示すように、その基準位置から一定の距離(区間)だけ離れた位置に、探査領域Ra,Rbを設定する。ここでは、検出された物体が自動車であると推測される場合に、その自動車のサイドドアがある方向を、物体の形状から推測し、その推測される方向に、探査領域Ra,Rbを設定する。図11では、自動車の左右の脇に探査領域を設定したが、いずれか一方でもよい。そして、このようにして設定された探査領域内での物体(人)の検出状態から、自動車の乗降状態を検知する。なお、図10や図11に示した正規化された多角形や探査領域は、監視映像中には表示されるものではない。但し、これらを監視映像中に表示させるようにしてもよい。
監視画面内でも元になる物体の検知状態に応じて、探査領域の大きさを可変させる例としては、例えば図12に示すように、撮像された2台の自動車m1,m2のカメラからの距離が大きく異なる場合が想定される。このような場合、乗降が検出される人物が撮像されるサイズも当然変化するために、探査領域R1,R2をサイズを変えて設定する。基準位置から探査領域R1,R2までの距離についても対応させて変化させてもよい。
なお、上述した実施の形態例では、監視カメラとして映像データと共にメタデータを出力する構成のものとし、そのメタデータをクライアント端末側で解析して、物体(人物)の探査などを行うようにしたが、監視カメラとしては映像データを出力する構成として、その映像データで示される映像(画像)の内容をクライアント端末で画像認識処理などで解析して、同様の処理を行うようにしてもよい。或いは、ビデオカメラ(監視カメラ)内で全ての処理を行って、その処理結果をカメラが出力するようにしてもよい。
また、上述した実施形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させる。
1…監視カメラ、2…ネットワーク、3…クライアント端末、21…映像データ生成部、22…撮像動作切替部、23…メタデータ生成部、100…監視システム、101…ネットワーク接続部、102…映像バッファ部、103…メタデータバッファ部、104…映像データ蓄積データベース、105…メタデータ蓄積データベース、106…メタデータフィルタ部、107…フィルタ設定データベース、108…ルール切替部、109…映像データ処理部、110…メタデータ処理部、111…表示部、112…再生同期部、114…探査領域設定データベース、211…レンズ部、212…撮像部、213…撮像信号処理部、214…データ処理部
Claims (6)
- 監視用撮像装置が撮像して出力する映像データを使用して監視を行う監視装置において、
前記映像データから検知された物体の位置を特定する検知物体特定処理部と、
前記検知物体特定処理部で特定された物体の基準位置を設定する基準位置設定処理部と、
前記基準位置設定処理部で設定された基準位置に対して相対的に、前記映像データで示される映像の範囲内に、1つ又は複数の探査領域を設定して、その設定した探査領域で物体の検知処理を行う検知処理部とを備えたことを特徴とする
監視装置。 - 請求項1記載の監視装置において、
前記検知物体特定処理部での検知物体特定処理及び前記検知処理部での検知処理は、前記監視用撮像装置が映像データと共に出力する、監視対象に関する情報を示したメタデータを使用した特定処理及び検知処理であることを特徴とする
監視装置。 - 請求項1記載の監視装置において、
前記検知処理部での探査領域の設定は、前記基準位置から所定の方向に所定区間離れた位置に、決められたサイズで設定される領域であることを特徴とする
監視装置。 - 請求項1記載の監視装置において、
前記検知処理部で設定される探査領域のサイズは、検知物体特定処理部で特定した物体を正規化したサイズに対応したサイズとしたことを特徴とする
監視装置。 - 監視用撮像装置が撮像して出力する映像データを使用して監視を行う監視方法において、
前記映像データから検知された物体の位置を特定する検知物体特定処理と、
前記検知物体特定処理で特定された物体の基準位置を設定する基準位置設定処理と、
前記基準位置設定処理で設定された基準位置に対して相対的に、前記映像データで示される映像の範囲内に、1つ又は複数の探査領域を設定して、その設定した探査領域で物体を検知する検知処理とを有することを特徴とする
監視方法。 - 監視用撮像装置が撮像して出力する映像データを使用して監視処理をデータ処理装置に実装して実行するプログラムにおいて、
前記映像データから検知された物体の位置を特定する検知物体特定処理と、
前記検知物体特定処理で特定された物体の基準位置を設定する基準位置設定処理と、
前記基準位置設定処理で設定された基準位置に対して相対的に、前記映像データで示される映像の範囲内に、1つ又は複数の探査領域を設定して、その設定した探査領域で物体を検知する検知処理とを実行することを特徴とする
プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006205070A JP2008035096A (ja) | 2006-07-27 | 2006-07-27 | 監視装置、監視方法及びプログラム |
US11/780,937 US20080024611A1 (en) | 2006-07-27 | 2007-07-20 | Monitoring Apparatus, Monitoring Method, and Program |
EP07252900A EP1884793A3 (en) | 2006-07-27 | 2007-07-23 | Monitoring apapratus, monitoring method, and program |
CNA2007101494070A CN101118679A (zh) | 2006-07-27 | 2007-07-27 | 监视设备、监视方法及程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006205070A JP2008035096A (ja) | 2006-07-27 | 2006-07-27 | 監視装置、監視方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008035096A true JP2008035096A (ja) | 2008-02-14 |
Family
ID=38647547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006205070A Pending JP2008035096A (ja) | 2006-07-27 | 2006-07-27 | 監視装置、監視方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20080024611A1 (ja) |
EP (1) | EP1884793A3 (ja) |
JP (1) | JP2008035096A (ja) |
CN (1) | CN101118679A (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2010202782B1 (en) * | 2010-07-01 | 2010-11-25 | Adeia Media Holdings Llc | Cloud data persistence engine |
US9198575B1 (en) * | 2011-02-15 | 2015-12-01 | Guardvant, Inc. | System and method for determining a level of operator fatigue |
US9952046B1 (en) * | 2011-02-15 | 2018-04-24 | Guardvant, Inc. | Cellular phone and personal protective equipment usage monitoring system |
JP2015186235A (ja) * | 2014-03-26 | 2015-10-22 | ソニー株式会社 | イメージセンサ、および電子装置 |
CN111860416B (zh) * | 2020-07-29 | 2021-07-20 | 深圳康桥信息科技有限责任公司 | 一种无人机图像监控控制装置及其控制方法 |
CN115223102B (zh) * | 2022-09-08 | 2022-12-16 | 枫树谷(成都)科技有限责任公司 | 一种基于摄像头集群的实时人群密度融合感知方法及模型 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07160848A (ja) * | 1993-12-07 | 1995-06-23 | Mitsubishi Electric Corp | 違法駐車抑止装置および閾値決定装置 |
US5521634A (en) * | 1994-06-17 | 1996-05-28 | Harris Corporation | Automatic detection and prioritized image transmission system and method |
US6570608B1 (en) * | 1998-09-30 | 2003-05-27 | Texas Instruments Incorporated | System and method for detecting interactions of people and vehicles |
JP4140202B2 (ja) * | 2001-02-28 | 2008-08-27 | 三菱電機株式会社 | 移動物体検出装置 |
JP2003123196A (ja) * | 2001-10-10 | 2003-04-25 | Denso Corp | 車両の周辺監視装置及びプログラム |
KR100541037B1 (ko) * | 2002-03-15 | 2006-01-10 | 가부시키가이샤 히다치 고쿠사이 덴키 | 검출마스크영역의 설정이 용이한 촬상장치를 사용한물체검출방법 및 동 방법을 사용한 물체검출장치 |
KR100676232B1 (ko) * | 2003-09-05 | 2007-01-30 | 가부시키가이샤 히다치 고쿠사이 덴키 | 물체추적방법, 물체추적장치 및 물체추적을 행하기 위한 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 |
US20060007308A1 (en) * | 2004-07-12 | 2006-01-12 | Ide Curtis E | Environmentally aware, intelligent surveillance device |
-
2006
- 2006-07-27 JP JP2006205070A patent/JP2008035096A/ja active Pending
-
2007
- 2007-07-20 US US11/780,937 patent/US20080024611A1/en not_active Abandoned
- 2007-07-23 EP EP07252900A patent/EP1884793A3/en not_active Withdrawn
- 2007-07-27 CN CNA2007101494070A patent/CN101118679A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN101118679A (zh) | 2008-02-06 |
EP1884793A2 (en) | 2008-02-06 |
EP1884793A3 (en) | 2010-03-17 |
US20080024611A1 (en) | 2008-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008035095A (ja) | 監視装置、監視システム、監視方法及びプログラム | |
US8280108B2 (en) | Image processing system, image processing method, and computer program | |
US10204275B2 (en) | Image monitoring system and surveillance camera | |
US9679202B2 (en) | Information processing apparatus with display control unit configured to display on a display apparatus a frame image, and corresponding information processing method, and medium | |
US8675065B2 (en) | Video monitoring system | |
JP4148285B2 (ja) | 監視装置、フィルタ較正方法及びフィルタ較正プログラム | |
JP4396708B2 (ja) | ネットワーク機器および監視カメラシステム | |
US20160142680A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2007243699A (ja) | 映像記録再生方法及び映像記録再生装置 | |
US8681239B2 (en) | Image capturing device, image capturing method, program, and integrated circuit | |
JP2008152736A (ja) | 監視システム、監視装置及び監視方法 | |
JP2008035096A (ja) | 監視装置、監視方法及びプログラム | |
JP2008219227A (ja) | 映像監視システムおよび映像監視方法 | |
US20190197660A1 (en) | Information processing device, system, information processing method, and storage medium | |
KR20120113014A (ko) | 영상인식장치 및 그 영상 감시방법 | |
WO2012056610A1 (ja) | コンテンツシーン判定装置 | |
JP2012099940A (ja) | 撮影妨害検知方法、妨害検知装置及び監視カメラシステム | |
US10798366B2 (en) | Motion detection device and motion detection method | |
US20230188679A1 (en) | Apparatus and method for transmitting images and apparatus and method for receiving images | |
JP6295442B2 (ja) | 画像生成装置、撮影装置、画像生成方法及びプログラム | |
JP6314321B2 (ja) | 画像生成装置、撮影装置、画像生成方法及びプログラム | |
KR20110102321A (ko) | 이미지 움직임 검출 방법 및 장치 | |
JP6582876B2 (ja) | 映像蓄積システム、映像蓄積装置、及びプログラム | |
JP2015080048A (ja) | カメラ装置、監視システム、これに用いるプログラム、及び撮像方法 | |
EP4195166A1 (en) | Apparatus and method for transmitting images and apparatus and method for receiving images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080805 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081202 |