JP5792671B2 - 異常検知方法及び異常検知装置 - Google Patents

異常検知方法及び異常検知装置 Download PDF

Info

Publication number
JP5792671B2
JP5792671B2 JP2012080002A JP2012080002A JP5792671B2 JP 5792671 B2 JP5792671 B2 JP 5792671B2 JP 2012080002 A JP2012080002 A JP 2012080002A JP 2012080002 A JP2012080002 A JP 2012080002A JP 5792671 B2 JP5792671 B2 JP 5792671B2
Authority
JP
Japan
Prior art keywords
image
pixel
calculation
value
monitoring target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012080002A
Other languages
English (en)
Other versions
JP2013210798A (ja
Inventor
治久 後藤
治久 後藤
石井 信行
信行 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eneos Corp
Original Assignee
JXTG Nippon Oil and Energy Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JXTG Nippon Oil and Energy Corp filed Critical JXTG Nippon Oil and Energy Corp
Priority to JP2012080002A priority Critical patent/JP5792671B2/ja
Publication of JP2013210798A publication Critical patent/JP2013210798A/ja
Application granted granted Critical
Publication of JP5792671B2 publication Critical patent/JP5792671B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は異常検知方法及び異常検知装置に関し、特に石油精製装置等の異常を検知する異常検知方法及び異常検知装置に関する。
プラントや工場等の設備が正常に稼動しているか否かを常時監視する異常監視システムには、監視対象設備内に設置した遠隔操作可能な工業用カメラが広く用いられている。カメラで撮影された画像を、画像処理によって煙や塵を検知する方法としては、例えば、CCDカメラと、その画像を画素分解して標準画像を作製し、この標準画像とリアルタイム画像と比較し差演算する手段を具備し、その差画像と気象データ等を比較し判別して発煙発塵を判別する方法が知られている(特許文献1参照)。
特開平5−10737号公報
しかしながら、従来の技術では、輪郭が明瞭である大量の白煙や黒煙は検知することは可能であるが、輪郭が不明瞭な希薄な白煙を検知することが困難であった。大量の白煙や黒煙を検知したときには、異常事態が進行している可能性があるので、異常発生時の初期の段階における希薄な白煙を検知することは、早期に異常を検知して設備のトラブルの影響を低減するために、解決すべき重要な課題である。
本発明の目的は、輪郭が不明瞭な希薄な白煙のような像であっても、その発生を高精度かつ迅速に検知することができる異常検知方法及び異常検知装置を提供することにある。
本発明の一態様による異常検知方法は、撮像手段により撮像された監視対象の画像から異常を検知する異常検知方法において、前記撮像手段により撮像された画像を連続的に取得する第1のステップと、前記第1のステップにより取得された複数の画像の各画素値の差からなる差分画像を生成する第2のステップと、前記第2のステップにより生成された連続する複数の差分画像の各画素値を演算した演算値からなる演算画像を生成する第3のステップと、前記第3のステップにより生成された演算画像における所定値以上の画素値の画素数を計数する第4のステップと、前記第4のステップにより計数された画素数が所定のしきい値以上であるか否かを判断する第5のステップとを有することを特徴とする。
上述した異常検知方法において、前記第5のステップにおいて、連続して複数回以上、計数された画素数が所定のしきい値以上であると判断された場合に、前記監視対象が異常であると判断するようにしてもよい。
本発明の一態様による異常検知方法は、撮像手段により撮像された監視対象の画像から異常を検知する異常検知方法において、前記撮像手段により撮像された画像を連続的に取得する第1のステップと、前記第1のステップにより取得された複数の画像の各画素値の差からなる差分画像を生成する第2のステップと、前記第2のステップにより生成された連続する複数の差分画像の各画素値を演算した演算値からなる演算画像を生成する第3のステップと、前記第3のステップにより生成された演算画像における所定値以上の画素値の画素数を計数する第4のステップと、前記第4のステップにより計数された演算画像の画素数が所定のしきい値以上であるか否かを判断する第5のステップと、前記第5のステップにより所定のしきい値以上であると判断された連続する複数の演算画像の画素数の変動が所定の範囲内であるか否かを判断する第6のステップとを有することを特徴とする。
上述した異常検知方法において、前記第6のステップでは、連続する複数の演算画像の画素数の変動が50%以内であるか否かを判断するようにしてもよい。
上述した異常検知方法において、前記第6のステップにおいて、連続して複数回以上、前記連続する複数の演算画像の画素数の変動が所定の範囲内であると判断された場合に、前記監視対象が異常であると判断するようにしてもよい。
上述した異常検知方法において、前記第3のステップにより生成された演算画像のヒストグラムの累積度数のグラフの傾きが一定になるように変換するヒストグラム均一化処理を行うヒストグラム均一化処理ステップを更に有し、前記第4のステップは、前記ヒストグラム均一化処理ステップによりヒストグラム均一化された前記演算画像における所定値以上の画素値の画素数を計数するようにしてもよい。
上述した異常検知方法において、前記第1のステップは、前記撮像手段により所定の時間間隔毎に撮像された画像を連続的に取得し、前記所定の時間間隔は1/6秒以上であるようにしてもよい。
本発明の一態様による異常検知装置は、監視対象を撮像する撮像手段と、前記撮像手段により撮像された監視対象の画像を処理する画像処理手段とを有し、監視対象の異常を検知する異常検知装置において、前記画像処理手段は、前記撮像手段により撮像された画像を連続的に取得する第1の手段と、前記第1の手段により取得された複数の画像の各画素値の差からなる差分画像を生成する第2の手段と、前記第2の手段により生成された連続する複数の差分画像の各画素値を演算した演算値からなる演算画像を生成する第3の手段と、前記第3の手段により生成された演算画像における所定値以上の画素値の画素数を計数する第4の手段と、前記第4の手段により計数された演算画像の画素数が所定のしきい値以上であるか否かを判断する第5の手段とを有することを特徴とする。
上述した異常検知装置において、前記第5の手段により、連続して複数回以上、計数された画素数が所定のしきい値以上であると判断された場合に、前記監視対象が異常であると判断するようにしてもよい。
本発明の一態様による異常検知装置は、監視対象を撮像する撮像手段と、前記撮像手段により撮像された監視対象の画像を処理する画像処理手段とを有し、監視対象の異常を検知する異常検知装置において、前記画像処理手段は、前記撮像手段により撮像された画像を連続的に取得する第1の手段と、前記第1の手段により取得された複数の画像の各画素値の差からなる差分画像を生成する第2の手段と、前記第2の手段により生成された連続する複数の差分画像の各画素値を演算した演算値からなる演算画像を生成する第3の手段と、前記第3の手段により生成された演算画像における所定値以上の画素値の画素数を計数する第4の手段と、前記第4の手段により計数された演算画像の画素数が所定のしきい値以上であるか否かを判断する第5の手段と、前記第5の手段により所定のしきい値以上であると判断された連続する複数の演算画像の画素数の変動が所定の範囲内であるか否かを判断する第6の手段とを有することを特徴とする。
上述した異常検知装置において、前記第6の手段は、連続する複数の演算画像の画素数の変動が50%以内であるか否かを判断するようにしてもよい。
上述した異常検知装置において、前記第6の手段により、連続して複数回以上、前記連続する複数の演算画像の画素数の変動が所定の範囲内であると判断された場合に、前記監視対象が異常であると判断するようにしてもよい。
上述した異常検知装置において、前記第3の手段により生成された演算画像のヒストグラムの累積度数のグラフの傾きが一定になるように変換するヒストグラム均一化処理を行うヒストグラム均一化処理手段を更に有し、前記第4の手段は、前記ヒストグラム均一化処理手段によりヒストグラム均一化された前記演算画像における所定値以上の画素値の画素数を計数するようにしてもよい。
上述した異常検知装置において、前記第1の手段は、前記撮像手段により所定の時間間隔毎に撮像された画像を連続的に取得し、前記所定の時間間隔は1/6秒以上であるようにしてもよい。
以上の通り、本発明によれば、撮像手段により撮像された画像を連続的に取得し、取得された複数の画像の各画素値の差からなる差分画像を生成し、生成された連続する複数の差分画像の各画素値を演算した演算値からなる演算画像を生成し、生成された演算画像における所定値以上の画素値の画素数を計数し、計数された画素数が所定のしきい値以上であるか否かを判断するようにしたので、輪郭が不明瞭な希薄な白煙のような像であっても、その発生を高精度かつ迅速に検知することができる。
本発明の第1実施形態による異常検知装置の具体的構成を示す図である。 本発明の第1実施形態による異常検知装置のブロック図である。 本発明の第1実施形態の異常検知装置による異常検知方法の第1の具体例のフローチャートである。 本発明の第1実施形態の異常検知装置による異常検知方法の第2の具体例のフローチャートである。 本発明の第2実施形態の異常検知装置による異常検知方法の第1の具体例のフローチャートである。 本発明の第2実施形態の異常検知装置による異常検知方法の検知結果を示すグラフである。 本発明の第2実施形態の異常検知装置による異常検知方法の第2の具体例のフローチャートである。
[第1実施形態]
本発明の第1実施形態による異常検知装置について図1乃至図4を用いて説明する。図1は本実施形態による異常検知装置の具体的構成を示す図であり、図2は本実施形態による異常検知装置のブロック図であり、図3、図4は本実施形態の異常検知装置による異常検知方法のフローチャートである。
(異常検知装置)
本実施形態による異常検知装置は、プラントや工場等の設備である監視対象10が正常に稼働しているか否かを常時監視する異常監視システムとして機能する。監視対象10からの白煙や黒煙の発生を検出し、監視対象10の異常を検知する。
本実施形態による異常検知装置では、図1に示すように、監視対象10の近傍に、ネットワークカメラやCCTV(Closed Circuit Television)カメラ等のカメラ12を設置する。カメラ12により監視対象10を連続的に撮像する。カメラ12は、モノクロ画像を撮像するモノクロカメラでも、カラー画像を撮像するカラーカメラでもよい。
カメラ12には、プラントや工場等の設備である監視対象10の爆発等の異常状態においても画像取得が可能となるように、安全防爆構造が施されている。
カメラ12により撮像された監視対象10の画像は、無線中継局14、16を介して、安全な場所に設置されたPC18により取得される。PC18は、監視対象10の画像に対して所定の画像処理を行って、監視対象10の異常を検知する。
本実施形態による異常検知装置は、図2のブロック図に示すように、監視対象10を撮像するカメラ12には、カメラ12からの画像を処理する画像処理装置20が接続されている。画像処理装置20には、カメラ12からの画像を記憶する画像メモリ22と、様々な情報を表示するディスプレイ24と、異常を知らせるアラーム表示装置26が接続されている。
画像処理装置20は、画像メモリ22に記憶されたカメラ12からの画像を用いて、後述するような異常を検知する処理を実行する。その結果、監視対象10の異常を検知した場合には、アラーム表示装置26により異常を知らせる。
アラーム表示装置26は、ブザー音やパトライト(登録商標)のような点灯装置、または監視員へのCRT表示など、直ぐに監視員がアラーム発生を認識できる装置である。アラーム表示装置26に所定の表示をすると共に、監視員へ電子メールでアラームを通知するようにしてもよい。
(異常検知方法の第1の具体例)
本実施形態の異常検知装置による異常検知方法の第1の具体例について、図3のフローチャートを用いて説明する。
まず、カメラ12は監視対象10を連続的に撮像し、所定の時間毎に、監視対象10の画像を順次取得する。例えば、1/6秒毎に、監視対象10の画像1、画像2、画像3、…を順次取得する(ステップS11〜S13)。
画像を順次取得する時間間隔は、希薄な白煙画像でも充分なレベルの画素値を得るために必要な時間を確保する。例えば、カメラ12により1秒間に30フレーム撮像するとして、5フレーム程度必要であるから、所定の時間間隔としては、(1/30)×5=1/6秒が必要である。
画像1はある時刻の監視対象10の画像であり、画像2は画像1の1/6秒後の監視対象10の画像であり、画像3は画像2の1/6秒後の監視対象10の画像である。取得された画像1、画像2、画像3、…は、画像メモリ22に記憶される。
本実施形態では、画像1、画像2、画像3、…はモノクロ画像である。なお、カラー画像であってもよい。各画像は、例えば、縦640ピクセル、横480ピクセルの640×480個の画素から構成されている。各画素の値である画素値Pは、濃淡に応じて、例えば、0〜255の間の値となる。
次に、取得された画像1、画像2、画像3に対して、それぞれ、所定のノイズ除去処理を実行する(ステップS21〜S23)。ノイズ除去処理としては、例えば、画像1、画像2、画像3を構成する画素の画素値Pから、例えば、輝度10を一律に減算して、ノイズを除去する。
次に、ノイズ除去処理された画像1とノイズ除去処理された画像2とから差分画像1を生成し(ステップS31)、ノイズ除去処理された画像2とノイズ除去処理された画像3とから差分画像2を生成する(ステップS32)。
ステップS31では、画像1の各画素の画素値P1と画像2の各画素の画素値P2とから、次式の通り、画素値P1と画素値P2の差の絶対値である差分画像1の画素値DP1を生成する。
DP1=|P2−P1|
同様に、ステップS32では、画像2の各画素の画素値P2と画像3の各画素の画素値P3とから、次式の通り、画素値P2と画素値P3の差の絶対値である差分画像2の各画素の画素値DP2を生成する。
DP2=|P3−P2|
次に、差分画像1と差分画像2とから所定の演算画像を生成する(ステップS41)。
ステップS41では、差分画像1の各画素の画素値DP1と差分画像2の各画素の画素値DP2とから、所定の演算式により演算して、演算画像の各画素の演算値CPを生成する。
所定の演算式としては、例えば、次式の通り、画素値DP1と画素値DP2の平均値である演算画像の各画素の画素値CPを生成する。
CP=(DP1+DP2)/2
なお、差分画像1と差分画像2に所定のノイズ除去処理を行った後に、所定の演算を行ってもよい。例えば、次式に示すように、ある画素の画素値DP1及び画素値DP2のいずれかが、例えば、5より小さい場合には、その画素の画素値CPを0とする。
CP=(DP1+DP2)/2
ただし、DP1<5、又は、DP2<5である場合には、CP=0
また、他の所定の演算式としては、次式の通り、画素値DP1と画素値DP2のいずれか大きい方を、演算画像の各画素の画素値CPとするようにしてもよい。ただし、ある画素の画素値DP1及び画素値DP2のいずれかが、例えば、5より小さい場合には、その画素の画素値CPを0とする。
CP=DP1又はDP2の大きい方
ただし、DP1<5、又は、DP2<5である場合には、CP=0
また、他の所定の演算式としては、次のような式であってもよい。
CP=(DP1×DP2)1/2
なお、差分画像1と差分画像2に所定のノイズ除去処理を行った後に、所定の演算を行ってもよい。例えば、次式に示すように、ある画素の画素値DP1及び画素値DP2のいずれかが、例えば、5より小さい場合には、その画素の画素値CPを0とする。
CP=(DP1×DP2)1/2
ただし、DP1<5、又は、DP2<5である場合には、CP=0
次に、演算画像にヒストグラム均一化処理を実行する(ステップS51)。
ヒストグラム均一化処理(イコライゼーション処理)は、ヒストグラムの累積度数(輝度値0から画素数を累積したもの)のグラフの傾きが一定になるように変換する処理である。ヒストグラム均一化処理により、コントラストを改善したり、明るさが偏っている画像の全体的なバランスを改善したりすることが可能である。
次に、ヒストグラム均一化処理を行った演算画像に対して所定のしきい値により2値化して2値化画像を生成する(ステップS61)。例えば、演算画像の各画素の画素値CPが所定のしきい値、例えば、128以上であれば、2値化画像の画素値BPを「1」とし、128より小さければ、2値化画像の画素値BPを「0」とする。
次に、2値化画像の白画素、すなわち、画素値BPが1である画素の数を積算して、積算値Sを求める(ステップS71)。
次に、ステップS71において求めた積算値Sが所定のしきい値Sth、例えば、20より大きいか否か判断する(ステップS81)。積算値Sの所定しきい値Sthとしては、20であればよく、100であればなお望ましい。
ステップS81において積算値Sが所定のしきい値Sth以下である場合には、正常、すなわち、異常なしと判断する。
ステップS81において積算値Sが所定のしきい値Sthより大きい場合には、異常の可能性があると判断する。
次に、所定の時間間隔、例えば、1/6秒後における、監視対象10の画像1、画像2、画像3を取得して、監視対象10の新たな画像1、画像2、画像3に対して、上述したステップS11〜S81の処理を実行する。
そして、ステップS81において積算値Sが所定のしきい値Sth以下であると判断された場合には、正常、すなわち、異常なしと判断する。
しかし、ステップS81において積算値Sが所定のしきい値Sthより大きいと連続して2回以上判断された場合には、監視対象10の異常と判断する(ステップS91)。
なお、ステップS91における監視対象10の異常の判断は他の条件により判断してもよい。
例えば、連続して3回以上積算値Sが所定のしきい値Sthより大きい場合に監視対象10が異常と判断してもよい。
また、ステップS11〜S81の処理を所定回数、例えば、10回実行し、ステップS81における10回の異常・正常の判断結果のパターンに基づいて、ステップS46において監視対象10の正常・異常を判断するようにしてもよい。
また、所定回数の積算値Sに対する平均値を取り、しきい値Sthより大きい場合に監視対象10が異常と判断してもよい。
(異常検知方法の第2の具体例)
本実施形態の異常検知装置による異常検知方法の第2の具体例について、図4のフローチャートを用いて説明する。
この異常検知方法の第2の具体例は、図3に示す異常検知方法の第1の具体例とは、差分画像1、差分画像2の生成方法が異なる。
まず、カメラ12は監視対象10を連続的に撮像し、所定の時間毎に、監視対象10の画像を順次取得する。例えば、1/6秒毎に、監視対象10の画像1、画像2、画像3、画像4、…を順次取得する(ステップS11〜S14)。例えば、画像1はある時刻の監視対象10の画像であり、画像2は画像1の1/6秒後の監視対象10の画像であり、画像3は画像2の1/6秒後の監視対象10の画像であり、画像4は画像3の1/6秒後の監視対象10の画像である。取得された画像1、画像2、画像3、画像4、…は、画像メモリ22に記憶される。
次に、取得された画像1、画像2、画像3、画像4に対して、それぞれ、所定のノイズ除去処理を実行する(ステップS21〜S24)。ノイズ除去処理としては、例えば、画像1、画像2、画像3、画像4を構成する画素の画素値Pが小さい場合、例えば、5より小さい場合には、ノイズとして除去し、画素値Pを0とする。
次に、ノイズ除去処理された画像1とノイズ除去処理された画像2とから差分画像1を生成し(ステップS31)、ノイズ除去処理された画像3とノイズ除去処理された画像4とから差分画像2を生成する(ステップS32)。
ステップS31では、画像1の各画素の画素値P1と画像2の各画素の画素値P2とから、次式の通り、画素値P1と画素値P2の差の絶対値である差分画像1の画素値DP1を生成する。
DP1=|P2−P1|
同様に、ステップS32では、画像3の各画素の画素値P3と画像4の各画素の画素値P4とから、次式の通り、画素値P3と画素値P4の差の絶対値である差分画像2の各画素の画素値DP2を生成する。
DP2=|P4−P3|
次に、差分画像1と差分画像2とから所定の演算画像を生成する(ステップS41)。ステップS41以降の処理については、異常検知方法の第1の具体例と同様であるので、説明を省略する。
[第2実施形態]
本発明の第2実施形態による異常検知装置について図5乃至図7を用いて説明する。図5、7は本実施形態による異常検知装置による異常検知方法のフローチャートであり、図6は本実施形態の異常検知装置による異常検知方法の検知結果を示すグラフである。
(異常検知方法の第1の具体例)
本実施形態の異常検知装置による異常検知方法の第1の具体例について、図5のフローチャートを用いて説明する。
まず、カメラ12は監視対象10を連続的に撮像し、所定の時間毎に、監視対象10の画像を順次取得する。例えば、1/6秒毎に、監視対象10の画像1、画像2、画像3、画像4、画像5…を順次取得する(ステップS11〜S15)。例えば、画像1はある時刻の監視対象10の画像であり、画像2は画像1の1/6秒後の監視対象10の画像であり、画像3は画像2の1/6秒後の監視対象10の画像であり、画像4は画像3の1/6秒後の監視対象10の画像であり、画像5は画像2の1/6秒後の監視対象10の画像である。取得された画像1、画像2、画像3、画像4、画像5…は、画像メモリ22に記憶される。
本実施形態では、画像1、画像2、画像3、画像4、画像5…はモノクロ画像である。なお、カラー画像であってもよい。各画像は、例えば、縦640ピクセル、横480ピクセルの640×480個の画素から構成されている。各画素の値である画素値Pは、濃淡に応じて、例えば、0〜255の間の値となる。
次に、取得された画像1、画像2、画像3、画像4、画像5に対して、それぞれ、所定のノイズ除去処理を実行する(ステップS21〜S25)。ノイズ除去処理としては、例えば、画像1、画像2、画像3、画素4、画素5を構成する画素の画素値Pから、例えば、輝度10を一律に減算して、ノイズを除去する。
次に、ノイズ除去処理された画像1とノイズ除去処理された画像2とから差分画像1を生成し(ステップS31)、ノイズ除去処理された画像2とノイズ除去処理された画像3とから差分画像2を生成し(ステップS32)、ノイズ除去処理された画像3とノイズ除去処理された画像4とから差分画像3を生成し(ステップS33)、ノイズ除去処理された画像4とノイズ除去処理された画像5とから差分画像4を生成する(ステップS33)。
ステップS31では、画像1の各画素の画素値P1と画像2の各画素の画素値P2とから、次式の通り、画素値P1と画素値P2の差の絶対値である差分画像1の画素値DP1を生成する。
DP1=|P2−P1|
同様に、ステップS32では、画像2の各画素の画素値P2と画像3の各画素の画素値P3とから、次式の通り、画素値P2と画素値P3の差の絶対値である差分画像2の各画素の画素値DP2を生成する。
DP2=|P3−P2|
同様に、ステップS33では、画像3の各画素の画素値P3画像4各画素の画素値P4から、次式の通り、画素値P3と画素値P4の差の絶対値である差分画像3の各画素の画素値DP3を生成する。
DP3=|P4−P3|
同様に、ステップS34では、画像4の各画素の画素値P4と画像5の各画素の画素値P5とから、次式の通り、画素値P4と画素値P5の差の絶対値である差分画像2の各画素の画素値DP4を生成する。
DP4=|P5−P4|
次に、差分画像1と差分画像2とから所定の演算画像1を生成し(ステップS41)、差分画像3と差分画像4とから所定の演算画像2を生成する(ステップS42)。
ステップS41では、差分画像1の各画素の画素値DP1と差分画像2の各画素の画素値DP2とから、所定の演算式により演算して、演算画像1の各画素の演算値CP1を生成する。
ステップS42では、差分画像3の各画素の画素値DP3と差分画像4の各画素の画素値DP4とから、所定の演算式により演算して、演算画像2の各画素の演算値CP2を生成する。
所定の演算式としては、例えば、次式の通り、画素値DP1と画素値DP2の平均値である演算画像1の各画素の画素値CP1を生成する。
CP1=(DP1+DP2)/2
また、次式の通り、画素値DP3と画素値DP4の平均値である演算画像2の各画素の画素値CP2を生成する。
CP2=(DP3+DP4)/2
なお、差分画像1、差分画像2、差分画像3、差分画像4に所定のノイズ除去処理を行った後に、所定の演算を行ってもよい。
例えば、次式に示すように、ある画素の画素値DP1及び画素値DP2のいずれかが、例えば、5より小さい場合には、その画素の画素値CP1を0とする。
CP1=(DP1+DP2)/2
ただし、DP1<5、又は、DP2<5である場合には、CP1=0
また、次式に示すように、ある画素の画素値DP3及び画素値DP4のいずれかが、例えば、5より小さい場合には、その画素の画素値CP2を0とする。
CP2=(DP3+DP4)/2
ただし、DP3<5、又は、DP4<5である場合には、CP2=0
また、他の所定の演算式としては、次式の通り、画素値DP1と画素値DP2のいずれか大きい方を、演算画像の各画素の画素値CPとするようにしてもよい。ただし、ある画素の画素値DP1及び画素値DP2のいずれかが、例えば、5より小さい場合には、その画素の画素値CPを0とする。
CP=DP1又はDP2の大きい方
ただし、DP1<5、又は、DP2<5である場合には、CP=0
また、次式に示すように、画素値DP3と画素値DP4のいずれか大きい方を、演算画像の各画素の画素値CPとするようにしてもよい。ただし、ある画素の画素値DP3及び画素値DP4のいずれかが、例えば、5より小さい場合には、その画素の画素値CPを0とする。
CP=DP3又はDP4の大きい方
ただし、DP3<5、又は、DP4<5である場合には、CP=0
また、他の所定の演算式としては、次のような式であってもよい。
CP1=(DP1×DP2)1/2
CP2=(DP3×DP4)1/2
なお、差分画像1、差分画像2、差分画像3、差分画像4に所定のノイズ除去処理を行った後に、所定の演算を行ってもよい。
例えば、次式に示すように、ある画素の画素値DP1及び画素値DP2のいずれかが、例えば、5より小さい場合には、その画素の画素値CP1を0とする。
CP1=(DP1×DP2)1/2
ただし、DP1<5、又は、DP2<5である場合には、CP1=0
また、次式に示すように、ある画素の画素値DP3及び画素値DP4のいずれかが、例えば、5より小さい場合には、その画素の画素値CP2を0とする。
CP2=(DP3×DP4)1/2
ただし、DP3<5、又は、DP4<5である場合には、CP2=0
次に、演算画像1にヒストグラム均一化処理を実行し(ステップS51)、演算画像2にヒストグラム均一化処理を実行する(ステップS52)。
次に、ヒストグラム均一化処理を行った演算画像1に対して所定のしきい値により2値化して2値化画像1を生成し(ステップS61)、ヒストグラム均一化処理を行った演算画像2に対して所定のしきい値により2値化して2値化画像2を生成する(ステップS62)。
例えば、演算画像1の各画素の画素値CP1が所定のしきい値、例えば、128以上であれば、2値化画像1の画素値BP1を「1」とし、128より小さければ、2値化画像1の画素値BP1を「0」とする。
また、演算画像2の各画素の画素値CP2が所定のしきい値、例えば、128以上であれば、2値化画像2の画素値BP2を「1」とし、128より小さければ、2値化画像2の画素値BP2を「0」とする。
次に、2値化画像1の白画素、すなわち、画素値BP1が1である画素の数を積算して、積算値S1を求め(ステップS71)、2値化画像2の白画素、すなわち、画素値BP2が1である画素の数を積算して、積算値S2を求め(ステップS72)、
次に、ステップS71において求めた積算値S1が所定のしきい値Sth、例えば、100より大きいか否か判断する(ステップS81)。
また、ステップS72において求めた積算値S2が所定のしきい値Sth、例えば、100より大きいか否か判断する(ステップS82)。
ステップS81において積算値S1が所定のしきい値Sth以下である場合には、正常、すなわち、異常なしと判断する。同様に、ステップS82において積算値S2が所定のしきい値Sth以下である場合には、正常、すなわち、異常なしと判断する。
ステップS81において積算値S1が所定のしきい値Sthより大きく、かつ、ステップS82において積算値S2が所定のしきい値Sthより大きい場合には、次のようにして、正常・異常を判断する。
まず、次式に示すように、積算値S2と積算値S1の比Rを求める(ステップS101)。
R=S2/S1
次に、比Rが1より大きいか否かを判断する(ステップS102)。
比Rが1以下の場合にはステップS104に進む。比Rが1より大きい場合は、次式に示すように、積算値S2と積算値S1の比の逆数を比Rとする(ステップS103)。
R=1/(S2/S1)
次に、比Rが所定のしきい値Rthより大きいか否かを判断する(ステップS104)。比Rは、連続する演算画像1と演算画像2における白画素の積算値S1、S2の変動を示している。例えば、比Rが1であれば、白画素の積算値S1と積算値S2に全く変動がなかったことを意味する。比Rが0.5であれば、白画素の積算値S1と積算値S2に50%もの変動があったことを意味する。比Rが0.2であれば、白画素の積算値S1と積算値S2に80%もの変動があったことを意味する。
比Rの所定のしきい値Rthとしては、0.3(30%)であればよく、0.5(50%)であればなお望ましい。
監視対象10の異常により白煙又は黒鉛が発生すると、演算画像における白画像の積算値は大きくなる。また、監視対象10の前を自動車等の物体が通過した場合も、演算画像における白画像の積算値は大きくなる。
これらを識別するために、本実施形態では、連続する演算画像1と演算画像2における白画素の積算値S1、S2の変動を検出している。積算値S1と積算値S2に大きな変動があった場合には、監視対象10は正常であると判定して、誤検出を防止する。
次に、所定の時間間隔、例えば、1/6秒後における、監視対象10の画像1、画像2、画像3、画像4、画像5を取得して、監視対象10の新たな画像1、画像2、画像3、画像4、画像5に対して、上述したステップS11〜S104の処理を実行する。
そして、ステップS104において比Rが所定のしきい値Rth以下であると判断された場合には、正常、すなわち、異常なしと判断する。
しかし、ステップS104において比Rが所定のしきい値Rthより大きいと連続して2回以上判断された場合には、監視対象10の異常と判断する(ステップS105)。
なお、ステップS105における監視対象10の異常の判断は他の条件により判断してもよい。
例えば、連続して3回以上、比Rが所定のしきい値Rthより大きい場合に監視対象10が異常と判断してもよい。
また、ステップS11〜S104の処理を所定回数、例えば、10回実行し、ステップS104における10回の異常・正常の判断結果のパターンに基づいて、ステップS105において監視対象10の正常・異常を判断するようにしてもよい。
また、所定回数の積算値Sに対する平均値を取り、しきい値Sthより大きい場合に監視対象10が異常と判断してもよい。
図6は本実施形態の異常検知装置による異常検知方法の検知結果を示すグラフである。
本実施形態において、希薄白煙とは、カメラ撮影画像の輝度が0〜255階調の場合、おおよそ100以下程度の煙画像である。また、濃い白煙とはおおよそ200以上程度の煙画像である。
従来の技術では、輪郭が不明瞭な希薄な白煙を検出することができなかったが、図6に示すように、本実施形態によれば、輪郭が不明瞭な希薄な白煙に対しても、演算画像の白の画素数の積算値Sが所定のしきい値Sthより大きくなり、連続する積算値Sの比Rが所定のしきい値Rth(=0.5(50%))よりも大きくなり、濃い白煙が発生する前に異常を検知することができた。
(異常検知方法の第2の具体例)
本実施形態の異常検知装置による異常検知方法の第2の具体例について、図7のフローチャートを用いて説明する。
この異常検知方法の第2の具体例は、図5に示す異常検知方法の第1の具体例とは、演算画像1、演算画像2の生成方法が異なる。
監視対象10の画像1、画像2、画像3、画像4、画像5…を順次取得し(ステップS11〜S15)、取得した画像1、画像2、画像3、画像4、画像5に対して、それぞれ、所定のノイズ除去処理を実行し(ステップS21〜S25)、ノイズ除去処理された画像1、画像2、画像3、画像4、画像5から差分画像1、差分画像2、差分画像3、差分画像4を生成する(ステップS31〜S34)ステップまでは、図5に示す異常検知方法の第1の具体例と同じである。
次に、本具体例では、差分画像1と差分画像3とから所定の演算画像1を生成し(ステップS41)、差分画像2と差分画像4とから所定の演算画像2を生成する(ステップS42)。
ステップS41では、差分画像1の各画素の画素値DP1と差分画像3の各画素の画素値DP3とから、所定の演算式により演算して、演算画像1の各画素の演算値CP1を生成する。
ステップS42では、差分画像2の各画素の画素値DP2と差分画像4の各画素の画素値DP4とから、所定の演算式により演算して、演算画像2の各画素の演算値CP2を生成する。
所定の演算式としては、例えば、次式の通り、画素値DP1と画素値DP3の平均値である演算画像1の各画素の画素値CP1を生成する。
CP1=(DP1+DP3)/2
また、次式の通り、画素値DP2と画素値DP4の平均値である演算画像2の各画素の画素値CP2を生成する。
CP2=(DP2+DP4)/2
なお、差分画像1、差分画像2、差分画像3、差分画像4に所定のノイズ除去処理を行った後に、所定の演算を行ってもよい。
例えば、次式に示すように、ある画素の画素値DP1及び画素値DP3のいずれかが、例えば、5より小さい場合には、その画素の画素値CP1を0とする。
CP1=(DP1+DP3)/2
ただし、DP1<5、又は、DP3<5である場合には、CP1=0
また、次式に示すように、ある画素の画素値DP2及び画素値DP4のいずれかが、例えば、5より小さい場合には、その画素の画素値CP2を0とする。
CP2=(DP2+DP4)/2
ただし、DP2<5、又は、DP4<5である場合には、CP2=0
また、他の所定の演算式としては、次式の通り、画素値DP1と画素値DP3のいずれか大きい方を、演算画像の各画素の画素値CPとするようにしてもよい。ただし、ある画素の画素値DP1及び画素値DP3のいずれかが、例えば、5より小さい場合には、その画素の画素値CPを0とする。
CP=DP1又はDP3の大きい方
ただし、DP1<5、又は、DP3<5である場合には、CP=0
また、次式に示すように、画素値DP2と画素値DP4のいずれか大きい方を、演算画像の各画素の画素値CPとするようにしてもよい。ただし、ある画素の画素値DP2及び画素値DP4のいずれかが、例えば、5より小さい場合には、その画素の画素値CPを0とする。
CP=DP2又はDP4の大きい方
ただし、DP2<5、又は、DP4<5である場合には、CP=0
また、他の所定の演算式としては、次のような式であってもよい。
CP1=(DP1×DP3)1/2
CP2=(DP2×DP4)1/2
なお、差分画像1、差分画像2、差分画像3、差分画像4に所定のノイズ除去処理を行った後に、所定の演算を行ってもよい。
例えば、次式に示すように、ある画素の画素値DP1及び画素値DP3のいずれかが、例えば、5より小さい場合には、その画素の画素値CP1を0とする。
CP1=(DP1×DP3)1/2
ただし、DP1<5、又は、DP3<5である場合には、CP1=0
また、次式に示すように、ある画素の画素値DP2及び画素値DP4のいずれかが、例えば、5より小さい場合には、その画素の画素値CP2を0とする。
CP2=(DP2×DP4)1/2
ただし、DP2<5、又は、DP4<5である場合には、CP2=0
次に、演算画像1にヒストグラム均一化処理を実行し(ステップS51)、演算画像2にヒストグラム均一化処理を実行する(ステップS52)。ステップS51、S52以降の処理については、異常検知方法の第1の具体例と同様であるので、説明を省略する。
[変形実施形態]
本発明は上記実施形態に限らず種々の変形が可能である。
例えば、上記実施形態では、カメラ12は監視対象10を連続的に撮像し、所定の時間間隔である(1/30)×5=1/6秒毎に、監視対象10の画像を順次取得したが、所定の時間間隔は、これより長くてもよい。白煙のような輪郭の薄い像を確実に検出するためには、1/6秒よりも長い時間間隔、例えば、(1/30)×20=2/3秒毎に、監視対象10の画像を取得するようにしてもよい。
また、差分画像を生成するために用いる画像としては、上記実施形態の記載した態様に限らない。撮像手段により連続的に取得した複数の画像から任意の2つの画像を選択し、選択した2つの画像から差分画像を生成してもよい。
また、演算画像を生成するために用いる差分画像としては、上記実施形態の記載した態様に限らない。撮像手段により連続的に取得した画像から生成された複数の差分画像から任意の2つの差分画像を選択し、選択した2つの差分画像から演算画像を生成してもよい。
10…監視対象
12…カメラ
14、16…無線中継局
18…PC
20…画像処理装置
22…画像メモリ
24…ディスプレイ
26…アラーム表示装置

Claims (8)

  1. 撮像手段により撮像された監視対象の画像から異常を検知する異常検知方法において、
    前記撮像手段により撮像された画像を連続的に取得する第1のステップと、
    前記第1のステップにより取得された複数の画像の各画素値の差からなる差分画像を生成する第2のステップと、
    前記第2のステップにより生成された連続する第1の差分画像と第2の差分画像について、前記第1の差分画像の各画素の画素値DP1と前記第2の差分画像の各画素の画素値DP2とから次の演算式
    CP=(DP1×DP2) 1/2
    により演算した各画素の演算値CPからなる演算画像を生成する第3のステップと、
    前記第3のステップにより生成された演算画像のヒストグラムの累積度数のグラフの傾きが一定になるように変換するヒストグラム均一化処理を行う第4のステップと、
    前記第4のステップによりヒストグラム均一化された前記演算画像における所定値以上の画素値の画素数を計数する第のステップと、
    前記第のステップにより計数された画素数が所定のしきい値以上であるか否かにより前記監視対象が異常であると判断する際に、連続して複数回以上、計数された画素数が所定のしきい値以上であると判断された場合に、前記監視対象が異常であると判断する第のステップと
    を有することを特徴とする異常検知方法。
  2. 撮像手段により撮像された監視対象の画像から異常を検知する異常検知方法において、
    前記撮像手段により撮像された画像を連続的に取得する第1のステップと、
    前記第1のステップにより取得された複数の画像の各画素値の差からなる差分画像を生成する第2のステップと、
    前記第2のステップにより生成された連続する第1の差分画像と第2の差分画像について、前記第1の差分画像の各画素の画素値DP1と前記第2の差分画像の各画素の画素値DP2とから次の演算式
    CP=(DP1×DP2) 1/2
    により演算した各画素の演算値CPからなる演算画像を生成する第3のステップと、
    前記第3のステップにより生成された演算画像のヒストグラムの累積度数のグラフの傾きが一定になるように変換するヒストグラム均一化処理を行う第4のステップと、
    前記第4のステップによりヒストグラム均一化された前記演算画像における所定値以上の画素値の画素数を計数する第のステップと、
    前記第のステップにより計数された演算画像の画素数が所定のしきい値以上であるか否かを判断する第のステップと、
    前記第のステップにより所定のしきい値以上であると判断された連続する複数の演算画像の画素数の変動が所定の範囲内であるか否かにより前記監視対象が異常であると判断する際に、連続して複数回以上、前記連続する複数の演算画像の画素数の変動が所定の範囲内であると判断された場合に、前記監視対象が異常であると判断する第のステップと
    を有することを特徴とする異常検知方法。
  3. 請求項2記載の異常検知方法において、
    前記第のステップでは、連続する複数の演算画像の画素数の変動が50%以内であるか否かを判断する
    ことを特徴とする異常検知方法。
  4. 請求項1乃至3のいずれか1項に記載の異常検知方法において、
    前記第1のステップは、前記撮像手段により所定の時間間隔毎に撮像された画像を連続的に取得し、前記所定の時間間隔は1/6秒以上である
    ことを特徴とする異常検知方法。
  5. 監視対象を撮像する撮像手段と、前記撮像手段により撮像された監視対象の画像を処理する画像処理手段とを有し、監視対象の異常を検知する異常検知装置において、
    前記画像処理手段は、
    前記撮像手段により撮像された画像を連続的に取得する第1の手段と、
    前記第1の手段により取得された複数の画像の各画素値の差からなる差分画像を生成する第2の手段と、
    前記第2の手段により生成された連続する第1の差分画像と第2の差分画像について、前記第1の差分画像の各画素の画素値DP1と前記第2の差分画像の各画素の画素値DP2とから次の演算式
    CP=(DP1×DP2) 1/2
    により演算した各画素の演算値CPからなる演算画像を生成する第3の手段と、
    前記第3の手段により生成された演算画像のヒストグラムの累積度数のグラフの傾きが一定になるように変換するヒストグラム均一化処理を行う第4の手段と、
    前記第4の手段によりヒストグラム均一化された前記演算画像における所定値以上の画素値の画素数を計数する第の手段と、
    前記第の手段により計数された演算画像の画素数が所定のしきい値以上であるか否かにより前記監視対象が異常であると判断する際に、連続して複数回以上、計数された画素数が所定のしきい値以上であると判断された場合に、前記監視対象が異常であると判断する第の手段と
    を有することを特徴とする異常検知装置。
  6. 監視対象を撮像する撮像手段と、前記撮像手段により撮像された監視対象の画像を処理する画像処理手段とを有し、監視対象の異常を検知する異常検知装置において、
    前記画像処理手段は、
    前記撮像手段により撮像された画像を連続的に取得する第1の手段と、
    前記第1の手段により取得された複数の画像の各画素値の差からなる差分画像を生成する第2の手段と、
    前記第2の手段により生成された連続する第1の差分画像と第2の差分画像について、前記第1の差分画像の各画素の画素値DP1と前記第2の差分画像の各画素の画素値DP2とから次の演算式
    CP=(DP1×DP2) 1/2
    により演算した各画素の演算値CPからなる演算画像を生成する第3の手段と、
    前記第3の手段により生成された演算画像のヒストグラムの累積度数のグラフの傾きが一定になるように変換するヒストグラム均一化処理を行う第4の手段と、
    前記第の手段により生成された演算画像における所定値以上の画素値の画素数を計数する第の手段と、
    前記第の手段により計数された演算画像の画素数が所定のしきい値以上であるか否かを判断する第の手段と、
    前記第の手段により所定のしきい値以上であると判断された連続する複数の演算画像の画素数の変動が所定の範囲内であるか否かにより前記監視対象が異常であると判断する際に、連続して複数回以上、前記連続する複数の演算画像の画素数の変動が所定の範囲内であると判断された場合に、前記監視対象が異常であると判断する第の手段と
    を有することを特徴とする異常検知装置。
  7. 請求項6記載の異常検知装置において、
    前記第6の手段は、連続する複数の演算画像の画素数の変動が50%以内であるか否かを判断する
    ことを特徴とする異常検知装置。
  8. 請求項5乃至7のいずれか1項に記載の異常検知装置において、
    前記第1の手段は、前記撮像手段により所定の時間間隔毎に撮像された画像を連続的に取得し、前記所定の時間間隔は1/6秒以上である
    ことを特徴とする異常検知装置。
JP2012080002A 2012-03-30 2012-03-30 異常検知方法及び異常検知装置 Active JP5792671B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012080002A JP5792671B2 (ja) 2012-03-30 2012-03-30 異常検知方法及び異常検知装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012080002A JP5792671B2 (ja) 2012-03-30 2012-03-30 異常検知方法及び異常検知装置

Publications (2)

Publication Number Publication Date
JP2013210798A JP2013210798A (ja) 2013-10-10
JP5792671B2 true JP5792671B2 (ja) 2015-10-14

Family

ID=49528580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012080002A Active JP5792671B2 (ja) 2012-03-30 2012-03-30 異常検知方法及び異常検知装置

Country Status (1)

Country Link
JP (1) JP5792671B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3469434B1 (en) 2016-06-08 2023-07-19 ExxonMobil Technology and Engineering Company Automatic visual and acoustic analytics for event detection
JP7306204B2 (ja) * 2019-10-02 2023-07-11 日新電機株式会社 水路監視装置、及び水路監視方法
CN114663429B (zh) * 2022-05-17 2022-08-30 陕西欧卡电子智能科技有限公司 镜头污染物检测方法、装置、计算机设备及存储介质
CN115171328B (zh) * 2022-06-30 2023-11-10 国网北京市电力公司 基于视频压缩编码的烟火识别方法、装置、设备及介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3289456B2 (ja) * 1993-12-27 2002-06-04 石川島播磨重工業株式会社 画像による異常検出方法
JP4623402B2 (ja) * 2000-07-13 2011-02-02 富士通株式会社 火災検出装置
JP3436519B2 (ja) * 2000-09-21 2003-08-11 国際航業株式会社 噴煙等の観測システム
JP2005258724A (ja) * 2004-03-10 2005-09-22 Rohm Co Ltd 製品検査装置
JP2006268200A (ja) * 2005-03-22 2006-10-05 Nagasaki Univ 炎・ガス煙検出システムおよび炎・ガス煙検出方法
JP5328327B2 (ja) * 2008-12-08 2013-10-30 キヤノン株式会社 ワークフローシステム、画像処理装置及び画像処理装置の制御方法
JP5518359B2 (ja) * 2009-03-31 2014-06-11 能美防災株式会社 煙検出装置

Also Published As

Publication number Publication date
JP2013210798A (ja) 2013-10-10

Similar Documents

Publication Publication Date Title
JP4718253B2 (ja) 監視カメラの画像異常検出装置
WO2021036636A1 (zh) 升降设备的振动检测方法、装置、服务器及存储介质
JP4803376B2 (ja) カメラ妨害検知方式
CN102348128B (zh) 具有摄像机异常检测装置的监视用摄像机***
US20170195556A1 (en) Monitoring system and camera device
JP4729610B2 (ja) 煙検出装置
WO2020073686A1 (zh) 基于图像识别的基坑自动监测数据筛选方法及***
JP5792671B2 (ja) 異常検知方法及び異常検知装置
JP2015028753A (ja) 画像処理装置、画像処理方法
JP2012089929A (ja) 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
JP5235718B2 (ja) 映像監視システム
JP2009290542A (ja) 監視カメラの遠隔監視システム
JP5710230B2 (ja) 監視システムおよび監視方法
CN109977962B (zh) 一种光缆故障隐患自动识别方法与***
CN104378629A (zh) 一种摄像机故障的检测方法
JP2015169618A (ja) 可視煙判定装置及び可視煙判定方法
JP2008244812A (ja) 不審物監視装置
JP2016099633A (ja) 携帯端末を利用した保全点検システム
JP7336979B2 (ja) 監視用テレビモニタ装置の故障予兆検知システム
JP2018180714A (ja) 動体検知システム、動体検知装置、動体検知方法、およびプログラム
JP2011061651A (ja) 不審物検知システム
CN105825619B (zh) 一种基于图像处理的高压线漂浮物报警方法
CN110930362A (zh) 一种螺钉安全检测方法、装置及***
WO2019082474A1 (ja) 3次元侵入検知システムおよび3次元侵入検知方法
TWI512638B (zh) Intelligent area method and automatic camera state judgment method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150806

R150 Certificate of patent or registration of utility model

Ref document number: 5792671

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250