JP4789223B2 - 侵入者監視システム - Google Patents
侵入者監視システム Download PDFInfo
- Publication number
- JP4789223B2 JP4789223B2 JP2000143551A JP2000143551A JP4789223B2 JP 4789223 B2 JP4789223 B2 JP 4789223B2 JP 2000143551 A JP2000143551 A JP 2000143551A JP 2000143551 A JP2000143551 A JP 2000143551A JP 4789223 B2 JP4789223 B2 JP 4789223B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- frame
- intruder
- region
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
Description
【発明の属する技術分野】
本発明は、監視カメラ等により取得した撮影画像から、画像を解析し、侵入者(物)を検知することを可能とする侵入者監視システムの構成に関する。
【0002】
【従来の技術】
侵入者監視システムは、一般にビルの室内や廊下、ホール等において設置された監視カメラから画像を取得し、デジタル解析処理を行うことで、侵入者(移動物体)の検知を可能とするものである。
【0003】
解析処理の処理手順は、まず、侵入者のいない通常状態の撮影画像をリファレンスフレームとし、これに対して、逐次撮影され取得される画像をカレントフレームとし、このリファレンスフレームとカレントフレームの差分データを抽出する。この抽出された差分データは画像情報に変化が生じていることを意味するものであり、抽出された差分データに対して、予め与えられた固定しきい値により比較処理を行い、抽出された差分データの中から移動物体領域を取得する。
【0004】
次に、連続するフレーム間において移動物体領域のマッピングを行う。マッピングは距離の近い移動物体領域を同一の対象物として関連づけることにより、移動物体領域の動作の解析を行うための前提処理であり、この関連付けられた移動物体領域が連続的に出現しているか否かを解析することで、侵入者の判定を行うようにしている。
【0005】
【発明が解決しようとする課題】
しかしながら、上記移動物体領域の抽出処理において、侵入者と背景の輝度は必ずしも一定とは限らないので、しきい値を固定値としている場合には、最適な移動物体領域の取得が行えないという問題がある。
【0006】
また、距離の近い移動物体領域同士をマッピングする方法では、移動物体領域の形状に凹凸や穴を多く含む場合には、適切なマッピングが行えないといった問題もある。
【0007】
また、移動物体領域として抽出された画像データ(対象物)が、連続的(連続時間)に出現しているかどうかのみを判定する処理であれば、植物やカーテンの揺れ等を誤検知する傾向がある。
【0008】
そこで、本発明は上記問題点に鑑み、移動物体領域の最適な取得と、精度の高い侵入者判定を可能とした侵入者監視システムを提供することを目的とする。
【0009】
【課題を解決するための手段】
上記課題を解決するため、請求項1ないし請求項6に記載の発明が提供される。
【0011】
請求項1記載の発明は、撮像手段によってフレーム単位で得られた画像に基づいて、前記撮像手段で撮像した空間範囲への侵入者を監視するシステムであって、前記撮像手段による撮像結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、前記カレントフレームの更新毎に、前記フレーム差分に応じて移動物体領域抽出用しきい値を決定するしきい値決定手段と、前記フレーム差分が前記移動物体領域抽出用しきい値を越える領域を移動物体領域と判定する移動物体判定手段と、前記移動物体領域の情報に基づいて侵入者の判定を行う侵入者判定手段と、を備え、前記侵入者判定手段が、前記リファレンスフレームにおける第1の移動物体領域と、前記カレントフレームにおける第2の移動物体領域とについて所定の種類の特性量を算出する特性量算出手段と、前記第1と第2の移動物体領域のそれぞれについての前記特性量の相互関係に基づいて、前記第1と第2の移動物体領域の対応関係を判定する対応関係判定手段と、を備え、前記特性量が、前記第1と第2の移動物体領域の相対距離と、前記第1と第2の移動物体領域のそれぞれの空間サイズの相対関係と、前記第1と第2の移動物体領域の光学的性質の相対関係と、を含み、前記対応関係判定手段が、前記相対距離と、前記空間サイズの相対関係と、前記光学的性質の相対関係とが、それぞれについて予め設定された所定条件を満足するか否かを判定することによって、相互に対応付けられる候補となる前記第1と第2の移動物体領域を求める手段と、前記候補として求められた前記第1と第2の移動物体領域について、前記相対距離と前記空間サイズの相対関係とに基づいて、類似度を算出する手段と、前記候補として求められた中から前記類似度が最大となる前記第1と第2の移動物体領域を相互に対応付ける手段と、を備えることを特徴とする。
【0013】
また、請求項2記載の発明は、請求項1に記載の侵入者監視システムにおいて、さらに、過去の複数の連続フレームにおける共通の背景領域を抽出する手段と、前記複数の連続フレームに共通の背景領域以外の局所的画像情報を、各フレームにおける前記共通背景領域の画像情報を用いて正規化する手段と、前記正規化された共通の背景領域以外の画像情報の分散が所定の値より下回る場合に、前記カレントフレームを新たなリファレンスフレームとして更新する手段と、を備えることを特徴とする。
また、請求項3記載の発明は、撮像手段によってフレーム単位で得られた画像に基づいて、前記撮像手段で撮像した空間範囲への侵入者を監視するシステムであって、前記撮像手段による撮像結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、前記カレントフレームの更新毎に、前記フレーム差分に応じて移動物体領域抽出用しきい値を決定するしきい値決定手段と、前記フレーム差分が前記移動物体領域抽出用しきい値を越える領域を移動物体領域と判定する移動物体判定手段と、前記移動物体領域の情報に基づいて侵入者の判定を行う侵入者判定手段と、過去の複数の連続フレームにおける共通の背景領域を抽出する手段と、前記複数の連続フレームに共通の背景領域以外の局所的画像情報を、各フレームにおける前記共通背景領域の画像情報を用いて正規化する手段と、前記正規化された共通の背景領域以外の画像情報の分散が所定の値より下回る場合に、前記カレントフレームを新たなリファレンスフレームとして更新する手段と、を備えることを特徴とする。
また、請求項4記載の発明は、請求項3記載の侵入者監視システムにおいて、前記侵入者判定手段が、前記リファレンスフレームにおける第1の移動物体領域と、前記カレントフレームにおける第2の移動物体領域とについて所定の種類の特性量を算出する特性量算出手段と、前記第1と第2の移動物体領域のそれぞれについての前記特性量の相互関係に基づいて、前記第1と第2の移動物体領域の対応関係を判定する対応関係判定手段と、を備え、前記特性量が、前記第1と第2の移動物体領域の相対距離のほかに、少なくとも、前記第1と第2の移動物体領域のそれぞれの空間サイズの相対関係と、前記第1と第2の移動物体領域の光学的性質の相対関係と、のうちの一方を含むことを特徴とする。
また、請求項5記載の発明は、請求項1または請求項4とのうちのいずれかに記載の侵入者監視システムにおいて、前記侵入者判定手段が、さらに、前記対応関係判定手段によって、各移動物体領域の時間的連鎖を特定する連鎖特定手段と、前記時間的連鎖において、前記移動物体領域の移動の連続性と直進性とをパラメータとして、当該時間的連鎖が侵入者に相当するものであるか否かを判定するマルチパラメータ型判定手段と、を備えることを特徴とする。
また、請求項6記載の発明は、請求項1ないし請求項5のいずれかに記載の侵入者監視システムにおいて、前記フレーム差分検出手段が、前記リファレンスフレームと前記カレントフレームとのそれぞれについて背景領域を検出する背景検出手段と、前記リファレンスフレームと前記カレントフレームとのそれぞれについて、それぞれの局所的画像情報を前記背景領域の画像情報の平均値を用いて正規化し、それによって正規化リファレンスフレームと正規化カレントフレームとを得る正規化手段と、前記正規化リファレンスフレームと前記正規化カレントフレームとの差分として前記フレーム差分を得る手段と、を備えることを特徴とする。
【0014】
【発明の実施の形態】
以下、図面を参照しつつ本発明の実施の形態について説明する。この実施の形態のシステムは、屋内に取り付けられた固定監視カメラによってその屋内の状況を監視し、監視カメラで得られた画像データをデジタル処理することによって、侵入者などが発見されると、警報を出すシステムとして構成されている。なお、以下の説明においては、本発明に係る画像監視システムの処理手順を(1)移動物体領域の抽出処理、(2)移動物体領域のマッピング処理、(3)侵入判定処理、(4)リファレンス更新処理の4つの処理に分けて説明する。
【0015】
図19を用いて侵入者監視システムの全体概略構成について説明する。監視カメラ1によって撮影された画像(デジタル)情報は、インターフェース(I/F)を介して画像処理装置2(PC等で構成される)に取り込まれ、逐次メモリ4(ディスク)内に保存される。このうち侵入者がいないと判断されている状態の画像情報をリファレンスフレームとし、時々刻々取得される最新の画像情報をカレントフレームとする。各フレームの各部における局所的画像情報は、マトリクス配列されたそれぞれの画素における検出輝度を所定のデータ長のデジタル情報として保持している。また、リファレンスフレームの初期画像情報は既にメモリ4に記憶されているとして以下の説明を行う。そして、画像処理装置2はMPU3を具備しており、取り込まれた画像情報を解析し、通信I/F6・7を介して警報装置8に対して警報命令を発するよう構成している。
【0016】
図1の全体フローチャートで示すように、まず、ステップs1において、メモリ4から初期リファレンスフレームy0(図17(a)に示す)の読み込みを行うと共に、前処理を行う。前処理は、一般の画像処理において行われる画像平滑化操作であり、各フレームを複数のブロックに分割し、各ブロックに属する画素の輝度を当該ブロックに属する画素の輝度平均値で置き換えるなどの平滑化を行って雑音を除去する処理や、フレーム端の無効領域を省く等の処理である。このようにしてブロック単位で前処理されたリファレンスフレームy0をリファレンスフレームy0Bとする(図17(c)に示す)。
【0017】
なお、このようなブロック化を行った後においても、各ブロックはフレームの各部の局所的画像情報を表現しており、局所エリアが画素単位から画素ブロック単位に変わっているだけである。
【0018】
次に逐次更新されるカレントフレーム毎のループ処理を開始する。ループ処理内では、まず、ステップs2において、カレントフレームy1(図17(b)に示す)を監視カメラ1またはその撮像出力をバッファするメモリ領域から読込むとともに、同様の平滑化を含む前処理を行う。そして、このようにしてブロック単位で前処理されたカレントフレームy1をカレントフレームy1Bとする(図17(d)に示す)。この時点で前処理されたリファレンスフレームy0Bとカレントフレームy1Bが取得される。そして、次にステップs3を行う。
【0019】
(1)移動物体領域の抽出処理
図2乃至図4を参照しながらステップs3について説明する。ステップs3は移動物体領域の抽出処理であり、図2に示すようにs31〜s34よりなる処理であり、まず、ステップs31(=処理手順sA)において背景領域を求める。処理手順sAは背景領域抽出フローであり、図3に示すように、まず、リファレンスフレームy0の画素(ピクセル)毎に、輝度が0であるかどうか(y0==0であるかどうか)の判定を行う(ステップsA1)。y0==0である場合には、指標値Dyに1.0をセットし(ステップsA2)、y0==0でない場合には、y1/y0より求まる値を指標値Dyにセットする(ステップsA3)。したがって、この指標値Dyは、同じ画素について、リファレンスフレームの画素値y0に対するカレントフレームの画素値y1の相対値を表現している。したがって、仮にカレントフレームの画素値y1とリファレンスフレームの画素値y0が同一であれば指標値Dyは基準値「1」であり、指標値Dyの基準値「1」からのずれが、当該画素につき、リファレンスフレームの輝度からのカレントフレームの輝度の統計的変動を表現していることになる。
【0020】
次に、ステップsA4において、ブロック毎(例えば16×16ピクセル等)に指標値Dyの標準偏差SDを求める。標準偏差SDは各ブロック内の指標値Dyのばらつき度合いを示すものであるので、標準偏差SDの小さいブロックはリファレンスフレームy0に対してカレントフレームy1の画像情報の変化(輝度の変化)が小さいことを意味する。
【0021】
次に別の指標値SBに刻み値(本実施例においては0.005)をセットし(ステップsA5)、標準偏差SDのヒストグラムを指標値SB刻みに0.01から1.0まで作成し(ステップsA6)、ヒストグラムの累積頻度を求める(ステップsA7)。累積頻度が小さい方から例えば70%を越えるインデックスを臨界インデックスidxにセットし(ステップsA8)、臨界インデックスidxに指標値SB(0.005)を乗算し、しきい値STを取得する(ステップsA9)。これはフレームの全面積の70%程度までが背景領域と考えられる経験に基づくもので、累積頻度が何%を越えるまでを背景領域と設定するかは環境により適宜変更すればよい。
【0022】
そして、全てのブロックに対するループ処理において、ブロックの標準偏差SDと,しきい値STとの比較処理を行い(ステップsA10)、標準偏差SDがしきい値STを下回る場合には、当該ブロックを背景領域と判断し、bkフラグに1をセットする(ステップsA11)。標準偏差SDがしきい値STを上回る場合には、当該ブロックが背景領域でないと判断し、bkフラグに0をセットする(ステップsA12)。以上の処理によりカレントフレームy1におけるブロック単位での背景領域が決定される。
【0023】
再び処理手順s3(図2)において、前記リファレンスフレームy0Bとカレントフレームy1Bを正規化し、そのフレーム差分Meを抽出する(ステップs32(=処理手順sB))。
【0024】
処理手順sBはフレーム差分算出フローであり、図4に示すように、リファレンスフレーム及びカレントフレームのそれぞれにつき、まず背景領域の平均値y0m、y1mを求める(ステップsB1)。平均値y0mはリファレンスフレームy0の中で、前述した処理手順sAにおいて背景領域(bkフラグ=1)と判断されたブロックにおける輝度の平均値であり、次式の数1で与えられる。ただし、式数1におけるNはbk[i]=1を満たすiの個数である。なお、平均値y1mは次式においてy0mをy1m、y0Bをy1Bに置き換えたものとなる。
【0025】
【数1】
【0026】
次に、リファレンスフレームy0Bをブロック毎に平均値y0mで除算することにより正規化し、カレントフレームy1Bをブロック毎に平均値y1mで除算することにより正規化し、次式の数2で与えられる差分の絶対値であるフレーム差分Meを求める(ステップsB2)。数2中のパラメータkは、リファレンスフレームy0Bとカレントフレームy1Bの全てのブロックに対してフレーム差分Meを算出することを意味する。図18(a)はフレーム差分Meで表現された画像である。
【0027】
【数2】
【0028】
再び処理手順s3において、マスク抽出用しきい値THを求める(ステップs33(=処理手順sC))。
【0029】
処理手順sCはマスク抽出用しきい値決定フローであり、図5のフローチャートに示すように、フレーム差分Meのヒストグラムを作成し(ステップsC1)、累積頻度を算出する(ステップsC2)。次に、累積頻度の何%程度を移動物体領域として抽出するかの指標である固定のしきい値Tfでフィルタリングを行い(ステップsC3)、マスク抽出用しきい値THを得る(ステップsC4)。
【0030】
つまり、フレーム差分Meの小さな値、つまり輝度変動が小さなブロックからブロック数をカウントしていった累積頻度分布のカーブにおいて、その傾斜(累積頻度分布に微分フィルタを施したもの)が当該固定しきい値Tfに到達するようなフレーム差分Meの値を、マスク抽出用しきい値THとする。
【0031】
再び、処理手順s3(図2)において、前述した処理手順sBで求めたブロック毎のフレーム差分Meと、処理手順sCで求めたマスク抽出用しきい値THを比較し、フレーム差分Meがマスク抽出用しきい値THを上回るブロックを移動物体領域(以下、適宜マスクと称す)と判断する。図18(b)は抽出されたマスクを示す画像情報である。
【0032】
このように、処理手順sAで説明した背景領域を抽出する手段と、処理手順sBで説明したフレーム差分を算出する手段と、フレーム差分のうち、マスク抽出用しきい値を越える領域を移動物体領域と判定するシステムにおいて、マスク抽出用しきい値は、リファレンスフレームとカレントフレームの輝度差分に応じて決定する、つまり、処理手順sCで説明したように、フレーム差分Meのヒストグラムから、逐次マスク抽出用しきい値THを決定するようにしているので、侵入者や背景の輝度の変化に影響を受けず、移動物体領域の抽出を従来に比べて確実に行うことが可能となった。
【0033】
また、処理手順sBで説明したように、正規化はリファレンスフレームとカレントフレームのブロック毎の輝度を背景領域の輝度平均値で除算する処理としたので、従来のようにフレーム全体ではなく、背景領域のみの輝度平均値で正規化を行うため、蛍光灯のフリッカ、日照条件の変化等の輝度変化に影響を受けず、移動物体領域の安定した抽出処理を可能とした。
【0034】
以上の移動物体領域の抽出処理についてデータを処理する機能の側面から表したものを図6に示す。
【0035】
(2)移動物体領域のマッピング処理
全体フローチャートにおいて、次に移動物体領域のマッピング処理(ステップs4)を行う。マッピング処理とは、侵入者が動いた軌跡を得るため、カレントフレームy1のマスクと過去のマスクとの対応をとる処理であり、図7に示すように、マスク同士の距離、面積比、輝度比をもとに評価される。
【0036】
図8(a)は1フレーム前のマスク、図8(b)はカレントフレームのマスクを示す一例であり、1フレーム前にはA1・A3の2つのマスク、カレントフレームにはB1・B2・B3の3つのマスクが存在している。
【0037】
図9(a)及び(b)は、それぞれ1フレーム前のマスクAj(j=1,2,・・・)及びカレントフレームのマスクBi(i=1,2,・・・)の属性を表したデータベースであり、それぞれのマスクAj、Biに対して、中心座標、面積、輝度の属性を持たせている。このデータベースはメモリ4の中に更新可能に記憶されている。各マスクに対してこのような属性を持たせた上で、図10に示すフローチャートを用いてステップs4(移動物体領域のマッピング処理)を説明する。
【0038】
マッピング処理は、1フレーム前の各マスクAjに対してそれぞれループ処理され、さらに、各マスクAjに対して、カレントフレームの各マスクBiの総当たりのループ処理を行う。まず、ステップs41において、1フレーム前のマスクAjとカレントフレームのマスクBiとの間の距離Dis、面積比Ara、輝度比Yraを求める。距離Disは、マスクAj・Biの中心(重心)座標Aj_c、Bi_c間の通常の距離であり、面積比Araは、マスクAj・Biの面積Aj_a、Bi_aのうち、小なるものを大なるもので除した値(比)であり、輝度比Yraは、マスクAj・Biの輝度Aj_y、Bi_yのうち、小なるものを大なるもので除した値(比)である。
【0039】
次に、ステップs42において、ステップs41で求めた距離Dis、面積比Ara、輝度比Yraについて判定処理を行う。本実施形態では、Ara≧0.1、かつ、Dis≦DL、かつ、Yra>0.5を満たす場合、つまり、マスク間の距離が予め設定された値DLより小さく、面積比Araが0.1以上で、輝度比Yraが0.5以上である場合に、マスクAjとマスクBiとが相互に関連付けられる候補として、フラグfg(i,j)に1をセットする(ステップs43)。一方、上記条件を満たさない場合には、マスク同士は関連がないと判断し、フラグfg(i,j)に0をセットする(ステップs44)。
【0040】
なお、上記面積比Ara及び輝度比Yraの下限値は、本実施形態ではそれぞれ0.1及び0.5としているが、この設定値は特に限定されるものではなく、最適なマッピング(関連付け)が行える値に適宜変更されるものである。
【0041】
次に、ステップs45において、マスクAjとマスクBiの類似度F(i,j)を求める。類似度F(i,j)は、マスクAj,Bi間の距離及び面積比から算出されるもので、距離が近く、面積比が大きい程類似度Fが大きくなる。そして、類似度Fが大きいほど、マスクAj,Biの関連性が強いことを意味する。一般的には、距離については減少関数であり、かつ面積比については増加関数となっているような類似度関数を使用することができる。
【0042】
以上のステップs41〜s45までの処理を全てのカレントマスクBiに対して処理した後、フラグfg(i,j)に1がセットされたiに対して、即ち、ステップs42において距離、面積比、輝度比からマッピングの候補に上げられたマスクの中で、類似度Fが最大となるマスクBiを、マスクAjが移動した後のマスクとしてマッピングする(ステップs46)。
【0043】
このようなマッピング処理を行うことで、従来に比べて最適なマッピング処理が行える。つまり、従来は距離の近いマスク同士をマッピングするという単純な処理を行っていたため、マスクに凹凸や穴を多数含む場合には、マスクの凹凸や穴の相対的な動きによってマスクの中心位置が変動するために、移動前後のマスクの中心間距離の信頼性が低くなり、誤認識をする可能性があった。また、距離だけをパラメータとしている場合、複数のマスクが隣接して存在する状態においてマッピングを行うのは困難となる。そこで、本発明は独立した3つのパラメータ(距離、面積比、輝度比)を用いることで、定量的、且つ、精度の高いマッピング処理を可能としているのである。
【0044】
ここにおいて、面積比はマスクの空間的サイズを表現する特性量の1態様であり、輝度比はマスクの光学的性質(光の反射率など)を表現する特性量の1態様であるため、一般的には、マスク間の距離のほかに、マスク間の空間サイズの類似度と、光学的性質の類似度とを考慮してマスクのマッピングを行っていることになる。
【0045】
そして、このようにマッピングされたマスクに対してはマッピングされた過去のマスクと同一の番号を振る。番号が振られ、移動物体と認識された対象をラベルと呼ぶ。図18(c)は1フレーム前のラベルを示し、図18(d)はマッピング後のマスクを示しており、同一の番号が振られたマスクに対しては同一の輝度で表示している。
【0046】
(3)侵入判定処理
全体フローチャートのステップs4において移動物体領域(マスク)に番号を付与してラベルを生成した後、ステップs5においてフレーム内にラベルが存在するか否かの判定を行う。ラベルが1つでも存在する、つまり過去のマスクと関連付けされ(マッピングされ)たマスクが存在する場合には、ステップs6において各ラベルの重心計算及び軌跡を求め、過去の軌跡に相当する時間的連鎖を基に進入判定を行う。
【0047】
進入判定は図11に示すように、マスクの移動ベクトルの直進性と、移動ベクトルの連続数により判定される。この判定処理について図12のフローチャートを用いて説明する。まず、ステップs61(=処理手順sD)において、進入判定の為のパラメータであるDm(移動物体の直進性を示す)、Lm(同じく移動物体の直進性を示す)、len(過去数秒間でのラベルの連続数を示す)を計算する。
【0048】
パラメータ計算フロー(処理手順sD)を図13に示す。まず、ステップsD1において、予め設定された時間幅(例えば3秒間)における過去のラベルの連続数を求め連続数lenにセットする。ラベルの連続数とは、同一の番号が振られたマスク、つまり同一のラベルが過去の連続したフレームで出現している回数である。
【0049】
次に、ステップsD2において動きベクトルVi及び動きベクトルの差分ベクトルDiを求める。動きベクトルViは図14に示すように、過去の連続したラベルの重心座標Cn(n=1,2,,)を結ぶベクトルである(図18(e)にラベルの軌跡を示す)。
【0050】
次に、ステップsD3において、動きベクトルViの絶対値の平均値VA(つまり、各マスクの重心間の平均距離)を求める。そして、平均値VAと所定の基準値Epの比較処理(ステップsD4)を行う。基準値Epはパラメータ計算を行う前段階で、隣接するフレーム間での移動量が平均的に小さなマスクに対しては、計算処理をキャンセルさせるためのものであり、平均値VAが基準値Epを下回る場合には、そのマスクは著しく低速で動いているものに相当するため、侵入者との判断から除外する。
【0051】
平均値VAが基準値Epより大きい場合には、ステップsD5において、次のような判定処理を行う。動きベクトルVi(i=1,2,・・・)のうち、絶対値の最大のものをmax(|vi|)で表せば、最大絶対値の0.1倍よりも絶対値の小さいベクトルを|Vi|<max(|Vi|)×0.1で表すことができ、このような条件を満たす動きベクトルViの数が、全ての動きベクトルの数(len−1)の例えば50%より少ないか否かの判定を行う。
【0052】
この判定は、隣接フレーム間の最大の動き量と比較して、細かい動きをしているベクトルがかなり多い場合に、ラベルを侵入者判定から除外するためのものであり、風に揺れる植物やカーテンのように、比較的速い動きがある一方で低速度の動きが多頻度で生じており、速度分布内における低速度側への偏りが顕著な物体を誤検知するのを防ぐ処理である。
【0053】
そして、この条件を満たす場合、指標値Dm,Lmの算出を行う(ステップsD6)。指標値Dmは差分ベクトルDiをステップsD3で求めた動きベクトルの絶対値の平均値VAで正規化したもののうち、1.0よりも小さいものの数を、全ての差分ベクトルの数(len−2)で除算した値であり、Lmは軌跡の始点から終点までの距離VLを、動きベクトルViの絶対値の総和で除算した値である。
【0054】
以上のように定義された指標値Dmは、差分ベクトルDiのうち、絶対値の小さいベクトルが占める割合に基づいており、速度の変動が大きい程小さく、等速度で一定方向に動く程大きな値を持つ。一方、指標値Lmは動きベクトルViの大きさに基づいており、直進する程大きな値を持つ。
【0055】
そして、図12に示すステップs62において、侵入判定を行う。具体的には上記ステップs61で求めた指標値Dm,Lm及び連続数lenを用いて、指標値Dm,Lmと固定しきい値との比較処理を行い、条件を満たせば(例えばDm≧0.5、かつ、Lm≧0.5)直進性が高いと判断でき、かつ、同一ラベルの過去の連続数lenが一定数ならば、侵入判定条件を満たしていると判定し、ALARMフラグに1をセットする(ステップs63)。条件を満たさない場合には、ALARMフラグに0をセットする(ステップs64)。
【0056】
以上の侵入判定処理終了後、基本フローチャートのステップs7において、アラームを出力するか否かの判定、つまり、ALARMフラグに1がセットされているかの判定を行い、ALARMフラグ=1であれば、アラームを出力する(ステップs8)。
【0057】
このように本実施形態においては、移動物体領域の連続性に加えて、細動の非混在性(ステップsD5の判定)、等速度性(Dm判定)、および直進性(Lm判定)をパラメータとして侵入判定を行うので、誤検知を防止して精度の高い侵入者判定を行うことを可能としている。特に、従来は植物やカーテンの揺れ等を誤検知する傾向にあったが、本アルゴリズムによればランダムな動きをして、直進性のない移動物体領域を侵入者とは判断しないので、侵入者判定の精度向上が図れた。
【0058】
ALARMフラグ=0であれば、侵入者が存在しない正常な状態であり、次にリファレンス更新処理に移行する。
【0059】
(4)リファレンス更新処理
監視カメラから入力されるフレームは日照変化等の影響を受ける為、常に一定の輝度とは限らない。従って環境の変化に応じて適時リファレンスフレームを更新することによって、上述した移動物体領域抽出処理をさらに適切に行うことができる。また、リファレンスフレームとカレントフレームのフレーム差分に基づいて輝度変化を検知する方法では、リファレンスフレームは侵入者を含まない背景画像のみからなると仮定している。そこで、侵入者を含まないフレームを安定して判別し、リファレンスフレームを更新することが望ましい。
【0060】
図15にリファレンス更新処理フローを示す。まず、移動物体領域(マスク)の抽出処理がされたカレントフレームを含む過去のM枚のフレームを取得する(ステップs91)。ただし、数Mは2以上の所定の整数である。次に、図16(a)にも示すように、取得したM枚のフレームから共通の背景領域を抽出する(ステップs92)。
【0061】
ここにおいて、共通の背景領域とは、M枚のフレームのそれぞれの背景領域の論理積に相当する領域であり、M枚のフレームのいずれにおいても背景領域に属する領域である。
【0062】
そして、前述した正規化処理(図4で示したステップsB2)と同様に、図16(b)に示すように、M枚のフレームをそれぞれ背景領域の輝度平均値y1m、y2m、・・・、yMmで割って正規化処理(ステップs93)を行う。
【0063】
次に、図16(c)で示すように、時間方向に、ブロック毎の輝度分散の計算処理を行う。つまり、ステップs93で正規化された共通背景以外の領域において、過去の連続するM枚のフレーム間において、同一のブロックの集合に対して輝度分散を求めるのである(ステップs94)。共通背景領域は他の領域に対して変動が小さく、分散値も小さいと考えられるので計算を省略できる。
【0064】
そして、共通ブロック(共通背景以外の領域に属する各ブロック)の輝度分散に固定しきい値を上回る分散値がなければ、変動のないフレームが連続していると判断して(ステップs95)、カレントフレームによってリファレンスフレームを置き換え、リファレンス更新処理を行う(全体フローチャートステップs10)。
【0065】
このように、過去の複数枚のフレームにおける共通背景領域の輝度平均値で正規化を行うため、侵入者がいないにも関わらず輝度変化が生じているためにリファレンスフレームの更新がされないといった問題を解決でき、侵入者を含まないフレームを安定して判別し、リファレンスフレームを更新することが可能となった。また、共通背景以外の領域のみにおいて時間方向の輝度分散を求めるため、全領域を対象とする場合よりも計算量を削減できるのである。
【0066】
なお、画像情報としては輝度のほかに、特定のカラー成分の大きさなど、他の情報を利用することもできる。
【0067】
また、マスクのマッピングを行うにあたって、リファレンスフレームとカレントフレームとのそれぞれの移動物体領域につき、相対距離のほかに、空間サイズの相対関係と光学的性質の相対関係とのうちの一方を含めるだけでも従来より適切なマッピングを行うことができる。
【0068】
移動物体領域が侵入者か否かを判定するにあたって、その移動の連続性のほか、その移動の速度分布内における低速度側への偏りの程度、等速度性および直進性のうちの少なくともひとつを含めるだけでも、従来より適切な侵入者判定が可能である。
【0069】
【発明の効果】
以上説明したように、請求項1,3記載の発明は、撮像手段によってフレーム単位で得られた画像に基づいて、前記撮像手段で撮像した空間範囲への侵入者を監視するシステムであって、前記撮像手段による撮像結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、前記カレントフレームの更新毎に、前記フレーム差分に応じて移動物体領域抽出用しきい値を決定するしきい値決定手段と、前記フレーム差分が前記移動物体領域抽出用しきい値を越える領域を移動物体領域と判定する移動物体判定手段と、前記移動物体領域の情報に基づいて侵入者の判定を行う侵入者判定手段とを備えるので、侵入者や背景の輝度の変化に影響を受けず、移動物体領域の抽出を確実に行うことが可能となる。
【0070】
また、請求項6記載の発明は、前記フレーム差分検出手段が、前記リファレンスフレームと前記カレントフレームとのそれぞれについて背景領域を検出する背景検出手段と、前記リファレンスフレームと前記カレントフレームとのそれぞれについて、それぞれの局所的画像情報を前記背景領域の画像情報の平均値を用いて正規化し、それによって正規化リファレンスフレームと正規化カレントフレームとを得る正規化手段と、前記正規化リファレンスフレームと前記正規化カレントフレームとの差分として前記フレーム差分を得る手段とを備えるので、蛍光灯のフリッカ、日照条件の変化等の輝度変化により影響を受けずに移動物体領域の抽出を行うことが可能となる。
【0071】
また、請求項1,4記載の発明は、前記侵入者判定手段が、前記リファレンスフレームにおける第1の移動物体領域と、前記カレントフレームにおける第2の移動物体領域とについて所定の種類の特性量を算出する特性量算出手段と、前記第1と第2の移動物体領域のそれぞれについての前記特性量の相互関係に基づいて、前記第1と第2の移動物体領域の対応関係を判定する対応関係判定手段とを備え、前記特性量が、前記第1と第2の移動物体領域の相対距離のほかに、少なくとも、前記第1と第2の移動物体領域のそれぞれの空間サイズの相対関係と、前記第1と第2の移動物体領域の光学的性質の相対関係とのうちの一方を含むので、定量的、且つ、精度の高いマッピング処理が可能となる。
【0072】
また、請求項5記載の発明は、前記侵入者判定手段が、さらに、前記対応関係判定手段によって、各移動物体領域の時間的連鎖を特定する連鎖特定手段と、前記時間的連鎖において、前記移動物体領域の移動の連続性と直進性とをパラメータとして、当該時間的連鎖が侵入者に相当するものであるか否かを判定するマルチパラメータ型判定手段とを備えるので、誤検知を防止して精度の高い侵入者判定を行うことを可能としている。特に、従来は植物やカーテンの揺れ等を誤検知する傾向にあったが、本アルゴリズムによればランダムな動きをして、直進性のない移動物体領域を侵入者とは判断しないので、侵入者判定の精度向上が図れる。
【0073】
また、請求項2,3記載の発明は、過去の複数の連続フレームにおける共通の背景領域を抽出する手段と、前記複数の連続フレームに共通の背景領域以外の局所的画像情報を、各フレームにおける前記共通背景領域の画像情報を用いて正規化する手段と、正規化された共通の背景領域以外の画像情報の分散が所定の値より下回る場合に、前記カレントフレームを新たなリファレンスフレームとして更新する手段と、を備えるので、侵入者がいないにも関わらず輝度変化が生じているためにリファレンスフレームの更新がされないといった問題を解決できた。また、侵入者を含まないフレームを安定して判別し、リファレンスフレームを更新することが可能となった。さらに、共通背景領域のみにおいて時間方向の輝度分散を求めるため、全領域を対象とする場合よりも計算量を削減でき処理の効率化が図れる。
【図面の簡単な説明】
【図1】本発明に係る侵入者監視システムの全体フローチャートである。
【図2】移動物体領域の抽出処理フローを示す図である。
【図3】背景領域の抽出処理フローを示す図である。
【図4】フレーム差分抽出処理フローを示す図である。
【図5】マスク抽出用しきい値決定フローを示す図である。
【図6】入力データであるリファレンスフレームとカレントフレームに対して移動物体領域が抽出されるまでに作用する手段を表す図である。
【図7】移動物体領域のマッピングに用いられる要素を示す図である。
【図8】(a)は1フレーム前のマスク、(b)はカレントフレームのマスクを示す一実施例図である。
【図9】(a)は1フレーム前のマスクの属性データ、(b)はカレントフレームのマスクの属性を示す図である。
【図10】マッピング処理フローを示す図である。
【図11】侵入判定処理に用いられる要素を示す図である。
【図12】侵入判定処理フローを示す図である。
【図13】パラメータ計算フローを示す図である。
【図14】過去連続フレームにおけるマスクの移動状態を示す図である。
【図15】リファレンス更新判定処理フローを示す図である。
【図16】リファレンス更新判定処理において、共通の背景領域に対して行われる画像処理を示す図である。
【図17】本発明に係る侵入監視システムにおいて、入力されたリファレンスフレームとカレントフレームの画像及び前処理後の状態を示す図である。
【図18】本発明に係る侵入監視システムにおいて生成されるフレーム差分、移動物体領域等を示す図である。
【図19】侵入者監視システムの全体図である。
【符号の説明】
Me フレーム差分
TH マスク抽出用しきい値
y0 リファレンスフレーム
y0B リファレンスフレームのブロック単位での輝度
y1 カレントフレーム
y1B カレントフレームのブロック単位での輝度
Claims (6)
- 撮像手段によってフレーム単位で得られた画像に基づいて、前記撮像手段で撮像した空間範囲への侵入者を監視するシステムであって、
(a) 前記撮像手段による撮像結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、
(b) 前記カレントフレームの更新毎に、前記フレーム差分に応じて移動物体領域抽出用しきい値を決定するしきい値決定手段と、
(c) 前記フレーム差分が前記移動物体領域抽出用しきい値を越える領域を移動物体領域と判定する移動物体判定手段と、
(d) 前記移動物体領域の情報に基づいて侵入者の判定を行う侵入者判定手段と、
を備え、
前記侵入者判定手段が、
(d-1) 前記リファレンスフレームにおける第1の移動物体領域と、前記カレントフレームにおける第2の移動物体領域とについて所定の種類の特性量を算出する特性量算出手段と、
(d-2) 前記第1と第2の移動物体領域のそれぞれについての前記特性量の相互関係に基づいて、前記第1と第2の移動物体領域の対応関係を判定する対応関係判定手段と、
を備え、
前記特性量が、
前記第1と第2の移動物体領域の相対距離と、
前記第1と第2の移動物体領域のそれぞれの空間サイズの相対関係と、
前記第1と第2の移動物体領域の光学的性質の相対関係と、
を含み、
前記対応関係判定手段が、
(d-2-1) 前記相対距離と、前記空間サイズの相対関係と、前記光学的性質の相対関係とが、それぞれについて予め設定された所定条件を満足するか否かを判定することによって、相互に対応付けられる候補となる前記第1と第2の移動物体領域を求める手段と、
(d-2-2) 前記候補として求められた前記第1と第2の移動物体領域について、前記相対距離と前記空間サイズの相対関係とに基づいて、類似度を算出する手段と、
(d-2-3) 前記候補として求められた中から前記類似度が最大となる前記第1と第2の移動物体領域を相互に対応付ける手段と、
を備えることを特徴とする侵入者監視システム。 - 請求項1に記載の侵入者監視システムにおいて、
さらに、
(e) 過去の複数の連続フレームにおける共通の背景領域を抽出する手段と、
(f) 前記複数の連続フレームに共通の背景領域以外の局所的画像情報を、各フレームにおける前記共通背景領域の画像情報を用いて正規化する手段と、
(g) 前記正規化された共通の背景領域以外の画像情報の分散が所定の値より下回る場合に、前記カレントフレームを新たなリファレンスフレームとして更新する手段と、
を備えることを特徴とする侵入者監視システム。 - 撮像手段によってフレーム単位で得られた画像に基づいて、前記撮像手段で撮像した空間範囲への侵入者を監視するシステムであって、
(a) 前記撮像手段による撮像結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、
(b) 前記カレントフレームの更新毎に、前記フレーム差分に応じて移動物体領域抽出用しきい値を決定するしきい値決定手段と、
(c) 前記フレーム差分が前記移動物体領域抽出用しきい値を越える領域を移動物体領域と判定する移動物体判定手段と、
(d) 前記移動物体領域の情報に基づいて侵入者の判定を行う侵入者判定手段と、
(e) 過去の複数の連続フレームにおける共通の背景領域を抽出する手段と、
(f) 前記複数の連続フレームに共通の背景領域以外の局所的画像情報を、各フレームにおける前記共通背景領域の画像情報を用いて正規化する手段と、
(g) 前記正規化された共通の背景領域以外の画像情報の分散が所定の値より下回る場合に、前記カレントフレームを新たなリファレンスフレームとして更新する手段と、
を備えることを特徴とする侵入者監視システム。 - 請求項3記載の侵入者監視システムにおいて、
前記侵入者判定手段が、
(d-1) 前記リファレンスフレームにおける第1の移動物体領域と、前記カレントフレームにおける第2の移動物体領域とについて所定の種類の特性量を算出する特性量算出手段と、
(d-2) 前記第1と第2の移動物体領域のそれぞれについての前記特性量の相互関係に基づいて、前記第1と第2の移動物体領域の対応関係を判定する対応関係判定手段と、
を備え、
前記特性量が、
前記第1と第2の移動物体領域の相対距離のほかに、
少なくとも、
前記第1と第2の移動物体領域のそれぞれの空間サイズの相対関係と、
前記第1と第2の移動物体領域の光学的性質の相対関係と、
のうちの一方を含むことを特徴とする侵入者監視システム。 - 請求項1または請求項4とのうちのいずれかに記載の侵入者監視システムにおいて、
前記侵入者判定手段が、さらに、
(d-3) 前記対応関係判定手段によって、各移動物体領域の時間的連鎖を特定する連鎖特定手段と、
(d-4) 前記時間的連鎖において、前記移動物体領域の移動の連続性と直進性とをパラメータとして、当該時間的連鎖が侵入者に相当するものであるか否かを判定するマルチパラメータ型判定手段と、
を備えることを特徴とする侵入者監視システム。 - 請求項1ないし請求項5のいずれかに記載の侵入者監視システムにおいて、
前記フレーム差分検出手段が、
(a-1) 前記リファレンスフレームと前記カレントフレームとのそれぞれについて背景領域を検出する背景検出手段と、
(a-2) 前記リファレンスフレームと前記カレントフレームとのそれぞれについて、それぞれの局所的画像情報を前記背景領域の画像情報の平均値を用いて正規化し、それによって正規化リファレンスフレームと正規化カレントフレームとを得る正規化手段と、
(a-3) 前記正規化リファレンスフレームと前記正規化カレントフレームとの差分として前記フレーム差分を得る手段と、
を備えることを特徴とする侵入者監視システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000143551A JP4789223B2 (ja) | 2000-05-16 | 2000-05-16 | 侵入者監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000143551A JP4789223B2 (ja) | 2000-05-16 | 2000-05-16 | 侵入者監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001325672A JP2001325672A (ja) | 2001-11-22 |
JP4789223B2 true JP4789223B2 (ja) | 2011-10-12 |
Family
ID=18650355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000143551A Expired - Lifetime JP4789223B2 (ja) | 2000-05-16 | 2000-05-16 | 侵入者監視システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4789223B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004079681A1 (ja) * | 2003-03-07 | 2004-09-16 | Quality Labs. Corporation | 監視装置 |
KR100950734B1 (ko) | 2003-05-13 | 2010-03-31 | 엘지전자 주식회사 | 댁내 경보시스템에서의 이상상태 자동인식방법 및 인터넷냉장고 |
JP4596929B2 (ja) * | 2005-01-19 | 2010-12-15 | 株式会社インク | 背景画像生成装置及び背景画像生成プログラム |
EP1806786A1 (en) * | 2005-02-09 | 2007-07-11 | Matsushita Electric Industrial Co., Ltd. | Monitoring camera device, monitoring system using the same, and monitoring image transmission method |
JP4641492B2 (ja) * | 2005-11-16 | 2011-03-02 | 日本電信電話株式会社 | 特異映像検出装置、特異映像検出方法およびプログラム |
JP2007334631A (ja) | 2006-06-15 | 2007-12-27 | Sony Corp | 画像監視システムおよび物体領域追跡方法 |
JP2008197866A (ja) * | 2007-02-13 | 2008-08-28 | Mitsubishi Electric Corp | 侵入者検知装置 |
JP2009002914A (ja) * | 2007-06-25 | 2009-01-08 | Nippon Telegr & Teleph Corp <Ntt> | 施設被災監視装置及び施設被災監視方法 |
JP5319415B2 (ja) * | 2009-06-22 | 2013-10-16 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
CN111882550A (zh) * | 2020-07-31 | 2020-11-03 | 上海眼控科技股份有限公司 | 冰雹检测方法、装置、计算机设备和可读存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05205175A (ja) * | 1992-01-24 | 1993-08-13 | Hitachi Ltd | 物体検出装置 |
JPH06274625A (ja) * | 1993-03-18 | 1994-09-30 | Toshiba Corp | 監視画像の移動物体追跡方法 |
JP3035420B2 (ja) * | 1993-03-31 | 2000-04-24 | 大倉電気株式会社 | 画像の動きベクトル検出方法 |
JPH08106534A (ja) * | 1994-10-06 | 1996-04-23 | Hitachi Ltd | 移動物体検出装置 |
JPH09319978A (ja) * | 1996-05-31 | 1997-12-12 | Hitachi Ltd | 侵入物体監視装置 |
JPH1021408A (ja) * | 1996-07-04 | 1998-01-23 | Canon Inc | 画像抽出装置および方法 |
JP2950267B2 (ja) * | 1996-12-24 | 1999-09-20 | 日本電気株式会社 | 背景画像生成方法および背景画像生成装置 |
-
2000
- 2000-05-16 JP JP2000143551A patent/JP4789223B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2001325672A (ja) | 2001-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Javed et al. | Tracking and object classification for automated surveillance | |
US7602944B2 (en) | Method and system for counting moving objects in a digital video stream | |
KR100601933B1 (ko) | 사람검출방법 및 장치와 이를 이용한 사생활 보호방법 및 시스템 | |
JP3880759B2 (ja) | 移動物体検出方法 | |
KR101337060B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
JP3423861B2 (ja) | 移動物体の監視方法および装置 | |
US20080181499A1 (en) | System and method for feature level foreground segmentation | |
JP4884331B2 (ja) | 移動物体追跡装置 | |
JP5388829B2 (ja) | 侵入物体検知装置 | |
JP4789223B2 (ja) | 侵入者監視システム | |
CN111860471B (zh) | 一种基于特征检索的工服穿戴识别方法及*** | |
Chen et al. | Indoor and outdoor people detection and shadow suppression by exploiting HSV color information | |
Gruenwedel et al. | An edge-based approach for robust foreground detection | |
JP3486229B2 (ja) | 画像変化検出装置 | |
JP5253102B2 (ja) | 物体判別方法および物体判別装置 | |
CN103049748B (zh) | 行为监测方法及装置 | |
JP7125843B2 (ja) | 障害検知システム | |
JP3721071B2 (ja) | 侵入者検知システム | |
JP3423886B2 (ja) | 移動物体監視装置 | |
KR20030018487A (ko) | 영상을 이용한 출입 이동 물체 계수 방법 및 장치 | |
JP3736836B2 (ja) | 物体検出方法及び物体検出装置及びプログラム | |
Tupper et al. | Pedestrian proximity detection using RGB-D data | |
JP2004295416A (ja) | 画像処理装置 | |
Hosseini et al. | Anomaly and tampering detection of cameras by providing details | |
Hu et al. | A new method of moving object detection and shadow removing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070510 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090917 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100629 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101102 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110705 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110715 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4789223 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |