JP4140159B2 - 監視カメラの監視エリア設定装置及びその方法 - Google Patents
監視カメラの監視エリア設定装置及びその方法 Download PDFInfo
- Publication number
- JP4140159B2 JP4140159B2 JP2000009688A JP2000009688A JP4140159B2 JP 4140159 B2 JP4140159 B2 JP 4140159B2 JP 2000009688 A JP2000009688 A JP 2000009688A JP 2000009688 A JP2000009688 A JP 2000009688A JP 4140159 B2 JP4140159 B2 JP 4140159B2
- Authority
- JP
- Japan
- Prior art keywords
- monitoring
- camera
- monitoring area
- area setting
- straight line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、監視カメラの監視エリア設定装置及びその方法に関する。詳しくは、監視カメラの映像をもとに遠隔地にてカメラ設置場所の状況監視を行う映像監視システムに関するもので、特にカメラの映像を画像処理することにより映像中の特定のエリアの状況を連続的に自動監視する画像処理装置において、映像中の監視エリアを自動的に設定する監視カメラの監視エリア設定装置に関するものである。
【０００２】
【背景技術】
監視対象場所に監視カメラを設置し、遠隔地の監視室において監視対象場所の状況監視を行う映像監視システムが多く運用されている。
例えば、鉄道駅構内の通路や広場での人の流れの監視、プラットホームでの乗降客と進入する電車との接触等の監視、デパートやコンビニの店内での客の挙動の監視、美術館や博物館の展示室の展示品の監視、建物や施設の出入り口の人の出入り状況の監視、あるいは生産現場における産業用ロボットの動作範囲内への作業員の立ち入り監視など、室内はもとより、浄水場や変電所における運転状況や侵入者監視、ダムサイトや農業用水路の取水口近辺へのボートや倒木などの接近の監視、工事現場における作業状況や危険区域内への侵入者の監視、高速道路を中心とした道路における車両走行状況の監視など、屋外にも監視カメラが多く設置されている。
【０００３】
これらの監視カメラの利用方法は主として２つの方法がある。
一つは、監視員による目視での監視で、監視室のモニタに映る監視カメラの映像を監視員が目視にて観察するものである。
もう一つの利用方法は、監視カメラの映像を常時又は間欠的にＶＴＲに保存しておき何らかの異常が発生したときに再生し異常の原因を調査分析するのに使用する方法である。
またこれらの２つの方法を同時に実施する例もある。
つまり、監視カメラの映像をＶＴＲに保存しながらモニタでの監視も行うものである。
【０００４】
ところで、目視による監視が行われている施設において、監視カメラが多数設置されており、監視室に設置されたモニタが多い場合に、監視員の疲労軽減と見落としの予防のために、画像処理による自動監視が行われている。
これは、監視カメラの映像を画像処理装置に入力し、背景差分法、時間差分法、領域差分法などの画像処理手法を用いて映像中の異常状況を検出し監視員に警告するものである。
【０００５】
背景差分法は、正常なときの監視場所の映像を保存しておき、監視カメラの映像がこれと異なる場合に異常と判断する方法で、ドアや門の前に障害物や侵入者がいることの検出に使用される。
時間差分法は、時間的に連続する２枚の画像の異なる部分を検出し、この部分に移動する物体があると判断する方法で、夜間のビル内の通路の侵入者や爆発などの異常検出に使用される。
領域差分法は、入力画像のエッジ検出を行い、本来検出されるべきでない場所にエッジ成分が抽出された場合にこれを異常と判断するもので、道路上の障害物の検出などに使用される。
【０００６】
これらの方法は独立に使用されることもあるが、これ以外の方法を含む複数の手法を組み合わせて使用することもある。
また、一般に上述の画像処理は入力画像の全範囲に対して行うことは少なく、図９、図１０に示すように、異常が発生する可能性のあるエリア０１，０２を設定して、そのエリア０１，０２のみに対して画像処理を行い異常状況を監視することが行われている。
【０００７】
理由は、監視カメラの映像中の監視対象は一般に限定されており、異常が発生する場所が決まっているので特定の監視エリア以外の異常状況をノイズとして排除できることと、画像処理の対象範囲を小さくすることで画像処理装置による画像処理の時間が短縮できることである。
この監視エリアの設定は、カメラが固定で監視場所が決まっている場合は手動で設定が実施される。
【０００８】
即ち、オペレータが監視カメラの映像を見て監視エリアをマウス操作やキー操作により設定する。
画像処理装置はオペレータにより設定された監視エリアのみを対象に画像処理を行い、異常検出を行うものである。
これら、従来の映像 監視システムにおける監視エリアの設定には以下に示す問題点が存在する。
第一に、監視カメラを移動させる監視を行う場合、監視カメラに映る場所が時々刻々変化するので、監視エリアが設定できない。
監視カメラが固定、即ち監視カメラの設置位置が固定でカメラの向きも固定でレンズも焦点距離が固定のレンズを使用する場合は、監視カメラの映像に映る場所と範囲は同一であり、従って映像中の監視エリアも一旦設定すればこれを利用できる。
しかしながら、近年の監視カメラは設置位置こそ固定だが、電動雲台のパンチルト機構によりカメラ本体の旋回と上下振り動作が可能で、さらに電動ズームレンズを使用して望遠から広角まで映像の範囲を変化させることができるものが使用されている。
【０００９】
この場合、カメラの移動によって監視カメラの映像が大きく変化するため手動により設定した監視エリアが保持できない。
電動雲台の旋回角度や仰角の動作と電動ズームレンズの焦点距離をセンシングして画像処理装置にフィードバックすれば、監視カメラの向きの変化に対応した監視エリアの再計算は可能だが（カメラパラメータに関しては参考文献：除、辻著、「三次元ビジヨン」，共立出版，１９９８（以下「文献１」と呼ぶ）によれば、カメラ座標系と三次元空間座標系の変換行列に１１のパラメータがあり、カメラに映る４点のカメラ座標（ｕ，ｖ）と三次元空間座標（ｘ，ｙ，ｚ）、又はカメラパラメータ（カメラ設置位置、カメラ旋回角度、カメラ仰角、レンズ焦点距離など）が既知であれば計算（キャリブレーション）することが可能である。）、センサの設置もセンサ信号の伝送もコストがかかるもので一般には行われていない。
【００１０】
第二に、オペレータが監視カメラの映像中にマウス操作などで監視エリアを設定するので、現場の位置や距離との対応が不明である。
例えば、ダムサイトの取水口から１０ｍ以内を危険区域として設定したいときでも監視カメラの映像ではどこが１０ｍなのかがオペレータにはわからないため、正確に１０ｍ以内の監視エリアを設定できない。
第三に、複数の監視カメラを使用した遠隔自動監視を行う場合、個々の監視カメラ毎に監視場所と監視エリアが異なるので、個々の監視カメラに対してそれぞれ個別に監視エリアを設定する必要がある。
【００１１】
また、カメラやレンズを交換した後には、厳密には監視カメラに映る場所が変わるので、監視カメラの映像の確認と監視エリアの再設定が必要である。
大きな施設の多数の出入り口の監視を行う場合や長大トンネルの多数の監視カメラの設定を行う作業は煩雑である。
これらの問題点を解決する手段として我々は、「監視カメラの監視エリア設定装置及び方法」（特願平１１−３２７７０４号）を提案した（以下、「前回提案」と呼ぶ）。
【００１２】
この提案は、映像入力部と、画像処理部と、カメラパラメータ計算部と、監視エリア設定部とで構成し、映像入力部で監視カメラの映像を入力し、画像処理部で画像処理により監視対象水平面上の３点のマーカを検出し、カメラパラメータ計算部において３点が水平面上で等間隔に設置されていることを利用したカメラパラメータ計算を行い、計算されたカメラパラメータを使用して監視エリア設定部で３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定することを特徴とする監視カメラの監視エリア設定装置及びその方法である。
【００１３】
この提案による利点は、▲１▼従来は出来なかったパンチルトズーム動作を行う監視カメラを使用した画像処理による自動監視が可能である、▲２▼従来は監視カメラが複数設置されているときは個々の監視カメラ毎に個別に監視エリアを設定する必要があったが、複数のカメラで同一の間隔の監視エリアを設定する場合はパラメータの設定を一括して行うことが可能であり監視エリア設定の煩雑さが解消される、▲３▼従来は監視エリアの設定はオペレータが映像中の位置を指定して行っており、現場における監視エリアの絶対値を設定できなかったが、カメラの仰角を何らかの方法で設定する実施例によれば、平行線で構成する監視エリアの幅を現場における絶対値で設定可能である、の３点に集約される。
また、前回提案では１４の実施例を示し、様々な監視対象におけるその有用性を説明した。
【００１４】
【発明が解決しようとする課題】
しかしながら、前回提案の映像監視システムにおける監視エリアの設定には以下に示す問題点が存在する。
第一に、カメラ仰角の情報を使用しない場合は、オペレータが監視カメラの映像中にマウス操作などで監視エリアを設定するので、現場の位置や距離との対応が不明である。
例えば、ダムサイトの取水口から１０ｍ以内を危険区域として設定したいときでも監視カメラの映像ではどこが１０ｍなのかがオペレータにはわからないため、正確に１０ｍ以内の監視エリアを設定できない。
【００１５】
第二に、カメラ仰角の情報を電動雲台の仰角の動作をセンシングして画像処理装置にフィードバックする場合は、センサの設置もセンサ信号の伝送もコストがかかるので適用しにくい。
第三に、カメラ仰角の情報をオペレータが手動で設定する場合は、複数の監視カメラを使用した遠隔自動監視を行う場合、個々の監視カメラ毎に監視場所と監視エリアが異なるので、個々の監視カメラに対してそれぞれ個別にカメラ仰角を設定する必要がある。
【００１６】
また、カメラやレンズを交換した後には、厳密には監視カメラに映る場所が変わるので、監視カメラの映像の確認とカメラ仰角の再設定が必要である。
大きな施設の多数の出入り口の監視を行う場合や長大トンネルの多数の監視カメラの設定を行う作業は煩雑である。
本発明は、監視カメラの映像中に監視エリアを設定し、画像処理により監視エリアの画像の変化を検出して異常の検出を行う映像自動監視システムに関するもので、特に監視カメラの映像中の監視エリアの設定を行う装置及び方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
斯かる目的を達成する本発明の請求項１に係る監視カメラの監視エリア設定装置及びその方法は、映像入力部と、画像処理部と、カメラパラメータ計算部と、監視エリア設定部とで構成し、映像入力部で監視カメラの映像を入力し、画像処理部で画像処理により監視対象水平面上の３点のマーカを検出し、カメラパラメータ計算部において３点が水平面上で等間隔に設置されていること及びカメラ高さ情報を利用したカメラパラメータ計算を行い、計算されたカメラパラメータを使用して監視エリア設定部で３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定することを特徴とする。
【００１８】
上記目的を達成する本発明の請求項２に係る監視カメラの監視エリア設定装置は、請求項１記載の監視カメラの監視エリア設定装置において、本装置が計算して設定した監視エリアを入力した監視カメラの映像と共にモニタにオーバレイ表示することを特徴とする。
【００１９】
上記目的を達成する本発明の請求項３に係る監視カメラの監視エリア設定装置は、請求項１記載の監視カメラの監視エリア設定装置において、監視エリア設定部では３点のマーカを結ぶ直線とこれと一定間隔で平行な一本又は複数の直線を監視エリアとして設定し、監視カメラの映像と共にモニタにオーバレイ表示することを特徴とする。
【００２０】
上記目的を達成する本発明の請求項４に係る監視カメラの監視エリア設定装置は、請求項２又は３記載の監視カメラの監視エリア設定装置において、表示する監視エリア又は平行な直線をオペレータの操作指示に基づき保持する機能を有することを特徴とする。
【００２１】
上記目的を達成する本発明の請求項５に係る監視カメラの監視エリア設定装置は、請求項１記載の監視カメラの監視エリア設定装置において、監視カメラの映像を表示したモニタ上でオペレータにより指定された３点を使用してカメラパラメータ計算を行い、３点を結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリア、又は３点を結ぶ直線とこれと一定間隔で平行な一本又は複数の直線を設定又はモニタ表示することを特徴とする。
【００２２】
上記目的を達成する本発明の請求項６に係る監視カメラの監視エリア設定装置は、請求項１記載の監視カメラの監視エリア設定装置において、監視エリア設定部では何らかの方法で監視カメラ高さを計測するセンサを設置し、監視エリア設定部はこれを入力し、これをもとに３点のマーカを結ぶ直線と、これに水平面上で平行で指定された間隔の一本又は複数の直線を計算し監視エリアとして設定することを特徴とする。
【００２３】
【発明の実施の形態】
１）基本的な考え方（第一の実施例）
本発明の装置が設定する監視カメラと監視エリアは以下の条件を満たすものとする。
ただし、これらの条件は特別なものではなく一般的な電動雲台ズームレンズ付監視カメラがこれにあたる。
【００２４】
▲１▼監視カメラは水平面に対して水平に設置される。
▲２▼監視カメラの雲台が旋回動作する。ただし旋回動作は水平面内で行われる。
▲３▼監視カメラの雲台が上下振り動作する。ただしの上下振り動作は鉛直面内で行われる。
▲４▼監視カメラは電動ズームレンズの動作によりレンズ焦点距離が変化する。
▲５▼ただし監視カメラの旋回角度、仰角、レンズ焦点距離は検出できない。
▲６▼監視カメラで自動監視する監視エリアは実世界では水平面上に存在する。
▲７▼監視カメラの監視対象の水平面上からの高さが既知で変わらないものとする。
【００２５】
さらに、本発明による監視エリアの自動設定のために、監視カメラの映像に映る範囲内で監視エリアと同一の水平面上に等間隔に直線的に３点以上のマーカを設定するものとし、監視エリアはこのマーカがのる直線と平行な範囲とする。
ここで使用するマーカは、本発明の目的のために特別に着色したペイントでも良いし、特別に設置した円盤やパイロンでも良いし、他の目的のために設置されている工事現場や道路脇の杭やポストマークでも良いし、道路の車線マークや建造物の柱や土台石でも良い。
【００２６】
本発明の監視エリア設定装置１０は、図１に示すように、映像入力部１１と画像処理部１２と、カメラパラメータ計算部１３と、監視エリア設定部１４とで構成し、映像入力部１１で監視カメラ２０の映像を入力し、画像処理部１２で画像処理により３点のマーカを検出し、カメラパラメータ計算部１３において３点が水平面上で等間隔に設置されていること及び、オペレータにより予め設定されたマーカ間隔とカメラ高さ情報を利用したカメラパラメータ計算を行い、監視エリア設定部１４でこのパラメータを使用して３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定する。
【００２７】
遠隔監視システムは、設定された監視エリアに対して画像処理を行い異常の検出などを行うものである。
カメラパラメータの計算手順の例を説明する。
図２に示すような監視の映像中の位置（ｕ，ｖ）と実世界の空間位置（ｘ，ｙ，ｚ）との関係を決定するカメラパラメータは、カメラの設置位置（Ｘ，Ｙ，Ｚ）とカメラ姿勢（θ，φ，ψ）に関する６つの外部パラメータとカメラ自体レンズ焦点距離ｆと画像中心（ｕ０，ｖ０）とＣＣＤ素子単位長比と軸の交差角度の５つの内部パラメータの合計１１のパラメータが存在する（文献１）。
【００２８】
これらのうち、通常の工業用監視カメラではＣＣＤ素子単位長比が１：１、軸の交差角度が９０度に調整されている。
また、監視カメラが水平に設置されているのでψ＝０とすることができ、マーカと監視エリアが同一の水平面上にあり、雲台の動作が水平面に水平又は鉛直であれば水平面上の平行線の計算に関してφは無関係であるので、φ＝０と置くことが出来る。
【００２９】
さらに、カメラ座標系の原点をカメラのレンズ中心においてｕ０＝ｖ０＝０とし、空間座標系の原点も同じくカメラのレンズ中心において、Ｘ＝Ｙ＝Ｚ＝０とすれば、図３に示すように、残るパラメータはレンズ焦点距離とＣＣＤサイズの比を表すαとカメラの仰角θの２つになる。
ある計測点をＭ（Ｘ，Ｙ，Ｚ）、ＭのＣＣＤ上の画像点をｍ（ｕ，ｖ）とするとＭとｍの関係は、
【００３０】
【数１】
【００３１】
で表される変換行列である。ここで、Ａはカメラ内部パラメータで、
【００３２】
【数２】
【００３３】
Ｒはθのみのカメラの回転行列で、
【００３４】
【数３】
【００３５】
であるから（１）式は、
【００３６】
【数４】
【００３７】
となり、これを展開すると、
【００３８】
【数５】
【００３９】
となる。Ｘは監視対象の水平面からのカメラ高さで一定であるから、ｍとＭは一対一に対応し、
【００４０】
【数６】
【００４１】
で表される。いま、カメラ映像中にある３点ｍ１（ｕ１，ｖ１）、ｍ２（ｕ２，ｖ２）、ｍ３（ｕ３，ｖ３）が水平面上のＭ１（Ｘ１，Ｙ１，Ｚ１）、Ｍ２（Ｘ２，Ｙ２，Ｚ２）、Ｍ３（Ｘ３，Ｙ３，Ｚ３）に対応し、これらが等間隔で直線上にあるとすれば、
【００４２】
【数７】
【００４３】
であるから、（９）式を利用して、
【００４４】
【数８】
【００４５】
であり、これを解くと、
【００４６】
【数９】
【００４７】
のカメラパラメータが求められる。次に、図４に示すように、等間隔に設置されたマーカの間隔をｄとすれば、
【００４８】
【数１０】
【００４９】
なので、（９）（１０）式を使い、カメラ高さをｈとして整理すると、
【００５０】
【数１１】
【００５１】
となる。ここで、
【００５２】
【数１２】
【００５３】
とした。この場合のｋは（１３）式により計算される。さらに、
【００５４】
【数１３】
【００５５】
を（１５）式に代入して整理したあとにｔについて展開すると、
【００５６】
【数１４】
【００５７】
となる。ここで、
【００５８】
【数１５】
【００５９】
とした。（１７）式をｔ2について解くと、
【００６０】
【数１６】
【００６１】
となり、カメラ仰角θを求めることができる。
同様に（１６）式からズーム倍率に相当するカメラパラメータαを求めることができる。
これにより、（９）（１０）式によりカメラ画像中の点（ｕｉ，ｖｉ）と水平面上の点（Ｙｉ，Ｚｉ）の相互の座標変換を行うことが可能で、即ち、水平面上のマーカＭ１−Ｍ２に平行な直線に対応する画像中の直線をカメラ画像中に描画することが可能である。
【００６２】
本発明は、監視対象の水平面上に等間隔で設置されたマーカを画像中に検出しこれらの画像中の座標及びカメラ高さとマーカ間隔の情報から水平面上でマーカが構成する直線と平行な直線を画像中に描画するものであり、本発明の特徴は、３点のマーカが画像中にあれば、これと水平面上で平行で一定間隔の直線を決定することが可能でこれらに囲まれた監視エリアを計算により決定できることである。
【００６３】
特に、本発明の方法によれば前回提案の方法では実施していなかった、カメラ仰角θとズーム倍率に関係するカメラパラメータαを計算するので、監視対象水平面上の仮想的な平行線に対応する直線のカメラ画像中の位置をオペレータが指定する間隔で正確に計算することが可能である。
例えば、正確に１０ｍ以内の監視エリアをカメラ画像中に設定可能である。
本発明による監視エリア設定を逐次行うことにより、監視カメラの雲台とズームレンズをを操作し時々刻々と映像が変化しても、３点のマーカが映像に映っていれば、これをもとに監視エリアの更新がなされ、連続的な自動監視が可能となる。
【００６４】
２）検知すべきマーカとその検出方法の実施例
本発明の装置は、水平面上に等間隔で直線上に設置された３点のマーカを画像処理により検出し、カメラパラメータ計算を行い、３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定するもので、遠隔監視システムがこの監視エリアに対して画像処理を行い異常の検出などを行うものである。
本発明で使用するマーカの例とその検出方法の実施例については前回提案のマーカとその検出方法がそのまま使用できる。
【００６５】
３）監視エリア設定の第二の実施例
図５に示すように、水平面上に等間隔で直線上に設置された３点のマーカ１を画像処理により検出し、カメラパラメータ計算を行い、３点のマーカ１を結ぶ直線とこれと一定間隔で平行な直線（平行線）２に囲まれた監視エリア３を設定する監視カメラの監視エリア設定装置において、設定した監視エリア３を入力した監視カメラの映像と共にモニタにオーバレイ表示することを特徴とする監視カメラの監視エリア設定装置である。
本実施例の特徴は、本装置が計算して設定した監視エリア３をオペレータが確認できる点である。
これにより、画像処理装置による自動監視と同時にオペレータによる目視による監視が可能になる利点がある。
【００６６】
４）監視エリア設定の第三の実施例
図６に示すように、水平面上に等間隔で直線上に設置された３点のマーカ１を画像処理により検出し、カメラパラメータ計算を行い、３点のマーカ１を結ぶ直線とこれと一定間隔で平行な一本又は複数の直線（平行線）２を監視エリアとして設定し、監視カメラの映像と共にモニタにオーバレイ表示することを特徴とする監視カメラの監視エリア設定装置である。
本実施例の特徴は、監視エリアを領域でなく直線２で表現することである。
これにより、道路の特定車線の走行状況の監視、ダムサイトの上面の縁部分の監視、工事現場の側溝の境界部分の監視などに適用可能である。
また、この直線２をオペレータが確認できるので、画像処理装置による自動監視と同時にオペレータによる目視による監視が可能になる利点がある。
【００６７】
５）監視エリア設定の第四の実施例
水平面上に等間隔で直線上に設置された３点のマーカを画像処理により検出し、カメラパラメータ計算を行い、３点のマーカを結ぶ直線とこれと一定間隔で平行な一本又は複数の直線又はこれらにより囲まれるエリアを監視エリアとして設定し、監視カメラの映像と共にモニタにオーバレイ表示する監視カメラの監視エリア設定装置において、表示する監視エリア又は平行な直線をオペレータの操作指示に基づき保持する機能を有することを特徴とする監視カメラの監視エリア設定装置である。
【００６８】
本実施例の特徴は、監視カメラの雲台を操作して３点のマーカが映る雲台位置を決定したあとに、カメラを移動させないことを前提条件として、一度計算した監視エリアを保持するものである。
これにより、監視エリアの設定後に何らかの理由でマーカが隠れたり移動しても同一の監視エリアを使用することが可能になる。
現場の状況の変化や人の移動などによりマーカが隠れたり移動したりする可能性のある、建物の出入り口や工事現場の監視のときに効果がある。
【００６９】
６）監視エリア設定の第五の実施例
図７に示すように、監視カメラの映像を表示したモニタ上にオペレータがマウス操作で３点をマーカ４として指定し、この３点のマーカ４を使用してカメラパラメータ計算を行い、３点のマーカ４を結ぶ直線とこれと一定間隔で平行な直線（平行線）２に囲まれた監視エリア、又は３点のマーカ４を結ぶ直線とこれと一定間隔で平行な一本又は複数の直線２を設定又はモニタ表示することを特徴とする監視カメラの監視エリア設定装置である。
本実施例の特徴は、３点のマーカ４を画像処理により検出する替わりに、監視カメラの映像中の３点をオペレータがマウスで指定することである。
マウスで指定するマーカの位置はタイルの目地や橋の欄干など、一定間隔であることが保証されているものであることが条件である。
これにより、画像処理により検出すべきマーカがない場合、マーカが検出しにくい場合、専用のマーカを設置できない場合にも監視エリアを設定することが可能となる。
【００７０】
７）カメラ高さが変化する場合の実施例
ところで、本発明の実現の条件としてカメラ高さが一定で既知であることとしたが、監視カメラの使用方法によってはこの条件が確保できない場合がある。
例えば、図８に示すように、前回提案でマーカの例として説明したダムサイト５における取水口６の付近の危険区域の監視の場合は、ダムの水位の変動に対応してダム湖水面とカメラの相対的な高さが変動する。
また、監視カメラをクレーンなど高さが変化する個所に設置する場合もある。
これらの場合も、何らかの方法でカメラ高さｈをオペレータが知ることができれば、そのデータを入力することにより、本発明によるカメラパラメータの計算が可能で、監視エリアの設定が可能である。
しかしながら、時々刻々にカメラ高さが変化するようなときは、カメラ高さを計測すること自体もこれを入力することも煩雑な作業であり、場合によっては困難である。
【００７１】
そこで、この場合の本発明の実施例として、第一の実施例の構成要素に加えて、カメラ高さを何らかの方法で計測する手段を設置し、カメラ高さを逐次計測し、これを監視エリア設定装置に入力し、このデータを使用してカメラパラメータ計算を行い、監視エリア設定部でこのパラメータを使用して３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定する方法及び装置を提案する。
カメラ高さの計測方法の例を説明する。
監視対象の水平面の高さが変化する場合、図８に示すように、例えば、前述したダムサイト５における取水口６の付近の危険区域の監視などの場合は、地上におけるカメラの設置場所が変わらないとすれば、水平面の高さを計測する測定器、ダム湖の場合は水位計を設置し（一般的なダムでは設置されていることが多い）、水位計の計測値を元に水面とカメラ高さを計算してカメラパラメータを計算することができる。
【００７２】
クレーンで吊り上げる場合などカメラの高さ自体が変化する場合は、監視対象の水平面からカメラまでの高さを、レーザー距離計、超音波距離計、ディジタル巻尺、ステレオカメラ、などを使用して直接又は間接的に計測して入力することで、カメラパラメータを計算することができる。
本実施例の特徴は、監視対象水平面からのカメラ高さを何らかの手段で知ることにより監視エリアを設定することである。
【００７３】
これにより、監視対象水平面からのカメラ高さが一定でなく変化する場合にも、監視エリアの設定が行われる利点がある。
従って、例えば、複数のカメラに対して同一の間隔で監視エリアを設定する場合はパラメータの設定を一括して行うことが可能であり、カメラ毎に個別に設定する必要がないため作業が簡便である。
また、カメラやレンズを交換したあとの調整が不要である。
【００７４】
【発明の効果】
以上、詳細に説明したように、本発明は、監視カメラの映像中に監視エリアを設定し、画像処理により監視エリアの画像の変化を検出して異常の検出を行う映像自動監視システムに関するもので、特に監視カメラの映像中の監視エリアの設定を行うことができる。
更に、本発明の装置は、水平面上に等間隔で直線上に設置された３点のマーカを画像処理により検出し、カメラ高さの情報を使用してカメラパラメータ計算を行い、３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定するもので、この監視エリアに対して遠隔監視システムが画像処理を行い異常の検出などを行うことができる。
▲１▼従来は監視エリアの設定はオペレータが映像中の位置を指定して行っており、現場における監視エリアの絶対値を設定できなかったが、本発明によれば、マーカの間隔をもとにカメラパラメータを計算するので、平行線で構成する監視エリアの幅を現場における絶対値で設定可能である。例えばホームの縁から５０ｃｍ以内の範囲を監視エリアとして設定可能である。
▲２▼従来は監視エリアの設定はオペレータが映像中の位置を指定して行っており、監視カメラが複数設置されているときは個々の監視カメラ毎に個別に監視エリアを設定する必要があったが、本発明によれば、複数のカメラで同一の間隔の監視エリアを設定する場合はパラメータの設定を一括して行うことが可能である。これにより監視エリア設定の煩雑さが解消される。例えば、ホームに沿って設置された複数の監視カメラの監視エリアをホームの縁から５０ｃｍ以内の範囲とする場合は、監視エリアをー括して設定可能である。
▲３▼従来はパンチルトズーム操作を行う監視カメラについては画像処理による自動監視が出来なかった。その理由は監視カメラの映像範囲が変化することにより監視エリアが変わるのでこれを設定することが出来なかったからであるが、本発明によれば水平面上に直線的に等間隔で設置されたマーカを検出してこれを基準とした平行直線を計算することにより監視エリアの計算が可能であるので、パンチルトズーム動作を行う監視カメラを使用した画像処理による自動監視が可能である。
▲４▼本装置が計算して設定した画像監視エリアを入力した監視カメラの映像と共にモニタにオーバレイ表示することにより監視エリアをオペレータが確認できる利点がある。これにより、画像処理装置による自動監視と同時にオペレータによる目視による監視が可能になる。
▲５▼３点のマーカを結ぶ直線とこれと一定間隔で平行な一本又は複数の直線を監視エリアとして設定し、監視カメラの映像と共にモニタにオーバレイ表示し、監視エリアを領域でなく直線で表現するので、道路の特定車線の走行状況の監視、ダムサイトの上面の縁部分の監視、工事現場の側溝の境界部分の監視などに適用可能である。また、この直線をオペレータが確認できるので、画像処理装置による自動監視と同時にオペレータによる目視による監視が可能である。
▲６▼監視カメラの雲台を操作して３点のマーカが映る雲台位置を決定したあとに、一度計算した監視エリアを保持することにより、監視エリアの設定後に何らかの理由でマーカが隠れたり移動しても同一の監視エリアを使用することが可能になる。現場の状況の変化や人の移動などによりマーカが隠れたり移動したりする可能性のある、建物の出入り口や工事現場の監視のときに効果がある。
▲７▼３点のマーカを画像処理により検出する替わりに、監視カメラの映像中の３点をオペレータがマウスで指定することにより、画像処理により検出すべきマーカがない場合、マーカが検出しにくい場合、専用のマーカを設置できない場合にも監視エリアを設定することが可能となる。
▲８▼カメラ仰角を何らかの手段で計測して入力することにより、カメラの高さが変化する場合にも監視エリアの設定が可能である。
【図面の簡単な説明】
【図１】本発明の監視エリア設定装置の構成図である。
【図２】空間座標系とカメラ座標系の関係を示す説明図である。
【図３】監視カメラのカメラパラメータを示す説明図である。
【図４】３点マーカ映像とカメラとの関係を示す説明図である。
【図５】設定された領域の監視エリアを示す表示図である。
【図６】設定された平行線の監視エリアを示す表示図である。
【図７】マーカの位置をモニタ上でマウスで設定する様子を示す説明図である。
【図８】ダムサイトにおける取水口の監視を示す説明図である。
【図９】通用門の映像と監視エリアの例を示す説明図である。
【図１０】道路の映像と追い越し車線の監視エリアを示す説明図である。
【符号の説明】
１０ 監視エリア設定装置
１１ 映像入力部
１２ 画像処理部
１３ カメラパラメータ計算部
１４ 監視エリア設定部
２０ 監視カメラ
【発明の属する技術分野】
本発明は、監視カメラの監視エリア設定装置及びその方法に関する。詳しくは、監視カメラの映像をもとに遠隔地にてカメラ設置場所の状況監視を行う映像監視システムに関するもので、特にカメラの映像を画像処理することにより映像中の特定のエリアの状況を連続的に自動監視する画像処理装置において、映像中の監視エリアを自動的に設定する監視カメラの監視エリア設定装置に関するものである。
【０００２】
【背景技術】
監視対象場所に監視カメラを設置し、遠隔地の監視室において監視対象場所の状況監視を行う映像監視システムが多く運用されている。
例えば、鉄道駅構内の通路や広場での人の流れの監視、プラットホームでの乗降客と進入する電車との接触等の監視、デパートやコンビニの店内での客の挙動の監視、美術館や博物館の展示室の展示品の監視、建物や施設の出入り口の人の出入り状況の監視、あるいは生産現場における産業用ロボットの動作範囲内への作業員の立ち入り監視など、室内はもとより、浄水場や変電所における運転状況や侵入者監視、ダムサイトや農業用水路の取水口近辺へのボートや倒木などの接近の監視、工事現場における作業状況や危険区域内への侵入者の監視、高速道路を中心とした道路における車両走行状況の監視など、屋外にも監視カメラが多く設置されている。
【０００３】
これらの監視カメラの利用方法は主として２つの方法がある。
一つは、監視員による目視での監視で、監視室のモニタに映る監視カメラの映像を監視員が目視にて観察するものである。
もう一つの利用方法は、監視カメラの映像を常時又は間欠的にＶＴＲに保存しておき何らかの異常が発生したときに再生し異常の原因を調査分析するのに使用する方法である。
またこれらの２つの方法を同時に実施する例もある。
つまり、監視カメラの映像をＶＴＲに保存しながらモニタでの監視も行うものである。
【０００４】
ところで、目視による監視が行われている施設において、監視カメラが多数設置されており、監視室に設置されたモニタが多い場合に、監視員の疲労軽減と見落としの予防のために、画像処理による自動監視が行われている。
これは、監視カメラの映像を画像処理装置に入力し、背景差分法、時間差分法、領域差分法などの画像処理手法を用いて映像中の異常状況を検出し監視員に警告するものである。
【０００５】
背景差分法は、正常なときの監視場所の映像を保存しておき、監視カメラの映像がこれと異なる場合に異常と判断する方法で、ドアや門の前に障害物や侵入者がいることの検出に使用される。
時間差分法は、時間的に連続する２枚の画像の異なる部分を検出し、この部分に移動する物体があると判断する方法で、夜間のビル内の通路の侵入者や爆発などの異常検出に使用される。
領域差分法は、入力画像のエッジ検出を行い、本来検出されるべきでない場所にエッジ成分が抽出された場合にこれを異常と判断するもので、道路上の障害物の検出などに使用される。
【０００６】
これらの方法は独立に使用されることもあるが、これ以外の方法を含む複数の手法を組み合わせて使用することもある。
また、一般に上述の画像処理は入力画像の全範囲に対して行うことは少なく、図９、図１０に示すように、異常が発生する可能性のあるエリア０１，０２を設定して、そのエリア０１，０２のみに対して画像処理を行い異常状況を監視することが行われている。
【０００７】
理由は、監視カメラの映像中の監視対象は一般に限定されており、異常が発生する場所が決まっているので特定の監視エリア以外の異常状況をノイズとして排除できることと、画像処理の対象範囲を小さくすることで画像処理装置による画像処理の時間が短縮できることである。
この監視エリアの設定は、カメラが固定で監視場所が決まっている場合は手動で設定が実施される。
【０００８】
即ち、オペレータが監視カメラの映像を見て監視エリアをマウス操作やキー操作により設定する。
画像処理装置はオペレータにより設定された監視エリアのみを対象に画像処理を行い、異常検出を行うものである。
これら、従来の映像 監視システムにおける監視エリアの設定には以下に示す問題点が存在する。
第一に、監視カメラを移動させる監視を行う場合、監視カメラに映る場所が時々刻々変化するので、監視エリアが設定できない。
監視カメラが固定、即ち監視カメラの設置位置が固定でカメラの向きも固定でレンズも焦点距離が固定のレンズを使用する場合は、監視カメラの映像に映る場所と範囲は同一であり、従って映像中の監視エリアも一旦設定すればこれを利用できる。
しかしながら、近年の監視カメラは設置位置こそ固定だが、電動雲台のパンチルト機構によりカメラ本体の旋回と上下振り動作が可能で、さらに電動ズームレンズを使用して望遠から広角まで映像の範囲を変化させることができるものが使用されている。
【０００９】
この場合、カメラの移動によって監視カメラの映像が大きく変化するため手動により設定した監視エリアが保持できない。
電動雲台の旋回角度や仰角の動作と電動ズームレンズの焦点距離をセンシングして画像処理装置にフィードバックすれば、監視カメラの向きの変化に対応した監視エリアの再計算は可能だが（カメラパラメータに関しては参考文献：除、辻著、「三次元ビジヨン」，共立出版，１９９８（以下「文献１」と呼ぶ）によれば、カメラ座標系と三次元空間座標系の変換行列に１１のパラメータがあり、カメラに映る４点のカメラ座標（ｕ，ｖ）と三次元空間座標（ｘ，ｙ，ｚ）、又はカメラパラメータ（カメラ設置位置、カメラ旋回角度、カメラ仰角、レンズ焦点距離など）が既知であれば計算（キャリブレーション）することが可能である。）、センサの設置もセンサ信号の伝送もコストがかかるもので一般には行われていない。
【００１０】
第二に、オペレータが監視カメラの映像中にマウス操作などで監視エリアを設定するので、現場の位置や距離との対応が不明である。
例えば、ダムサイトの取水口から１０ｍ以内を危険区域として設定したいときでも監視カメラの映像ではどこが１０ｍなのかがオペレータにはわからないため、正確に１０ｍ以内の監視エリアを設定できない。
第三に、複数の監視カメラを使用した遠隔自動監視を行う場合、個々の監視カメラ毎に監視場所と監視エリアが異なるので、個々の監視カメラに対してそれぞれ個別に監視エリアを設定する必要がある。
【００１１】
また、カメラやレンズを交換した後には、厳密には監視カメラに映る場所が変わるので、監視カメラの映像の確認と監視エリアの再設定が必要である。
大きな施設の多数の出入り口の監視を行う場合や長大トンネルの多数の監視カメラの設定を行う作業は煩雑である。
これらの問題点を解決する手段として我々は、「監視カメラの監視エリア設定装置及び方法」（特願平１１−３２７７０４号）を提案した（以下、「前回提案」と呼ぶ）。
【００１２】
この提案は、映像入力部と、画像処理部と、カメラパラメータ計算部と、監視エリア設定部とで構成し、映像入力部で監視カメラの映像を入力し、画像処理部で画像処理により監視対象水平面上の３点のマーカを検出し、カメラパラメータ計算部において３点が水平面上で等間隔に設置されていることを利用したカメラパラメータ計算を行い、計算されたカメラパラメータを使用して監視エリア設定部で３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定することを特徴とする監視カメラの監視エリア設定装置及びその方法である。
【００１３】
この提案による利点は、▲１▼従来は出来なかったパンチルトズーム動作を行う監視カメラを使用した画像処理による自動監視が可能である、▲２▼従来は監視カメラが複数設置されているときは個々の監視カメラ毎に個別に監視エリアを設定する必要があったが、複数のカメラで同一の間隔の監視エリアを設定する場合はパラメータの設定を一括して行うことが可能であり監視エリア設定の煩雑さが解消される、▲３▼従来は監視エリアの設定はオペレータが映像中の位置を指定して行っており、現場における監視エリアの絶対値を設定できなかったが、カメラの仰角を何らかの方法で設定する実施例によれば、平行線で構成する監視エリアの幅を現場における絶対値で設定可能である、の３点に集約される。
また、前回提案では１４の実施例を示し、様々な監視対象におけるその有用性を説明した。
【００１４】
【発明が解決しようとする課題】
しかしながら、前回提案の映像監視システムにおける監視エリアの設定には以下に示す問題点が存在する。
第一に、カメラ仰角の情報を使用しない場合は、オペレータが監視カメラの映像中にマウス操作などで監視エリアを設定するので、現場の位置や距離との対応が不明である。
例えば、ダムサイトの取水口から１０ｍ以内を危険区域として設定したいときでも監視カメラの映像ではどこが１０ｍなのかがオペレータにはわからないため、正確に１０ｍ以内の監視エリアを設定できない。
【００１５】
第二に、カメラ仰角の情報を電動雲台の仰角の動作をセンシングして画像処理装置にフィードバックする場合は、センサの設置もセンサ信号の伝送もコストがかかるので適用しにくい。
第三に、カメラ仰角の情報をオペレータが手動で設定する場合は、複数の監視カメラを使用した遠隔自動監視を行う場合、個々の監視カメラ毎に監視場所と監視エリアが異なるので、個々の監視カメラに対してそれぞれ個別にカメラ仰角を設定する必要がある。
【００１６】
また、カメラやレンズを交換した後には、厳密には監視カメラに映る場所が変わるので、監視カメラの映像の確認とカメラ仰角の再設定が必要である。
大きな施設の多数の出入り口の監視を行う場合や長大トンネルの多数の監視カメラの設定を行う作業は煩雑である。
本発明は、監視カメラの映像中に監視エリアを設定し、画像処理により監視エリアの画像の変化を検出して異常の検出を行う映像自動監視システムに関するもので、特に監視カメラの映像中の監視エリアの設定を行う装置及び方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
斯かる目的を達成する本発明の請求項１に係る監視カメラの監視エリア設定装置及びその方法は、映像入力部と、画像処理部と、カメラパラメータ計算部と、監視エリア設定部とで構成し、映像入力部で監視カメラの映像を入力し、画像処理部で画像処理により監視対象水平面上の３点のマーカを検出し、カメラパラメータ計算部において３点が水平面上で等間隔に設置されていること及びカメラ高さ情報を利用したカメラパラメータ計算を行い、計算されたカメラパラメータを使用して監視エリア設定部で３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定することを特徴とする。
【００１８】
上記目的を達成する本発明の請求項２に係る監視カメラの監視エリア設定装置は、請求項１記載の監視カメラの監視エリア設定装置において、本装置が計算して設定した監視エリアを入力した監視カメラの映像と共にモニタにオーバレイ表示することを特徴とする。
【００１９】
上記目的を達成する本発明の請求項３に係る監視カメラの監視エリア設定装置は、請求項１記載の監視カメラの監視エリア設定装置において、監視エリア設定部では３点のマーカを結ぶ直線とこれと一定間隔で平行な一本又は複数の直線を監視エリアとして設定し、監視カメラの映像と共にモニタにオーバレイ表示することを特徴とする。
【００２０】
上記目的を達成する本発明の請求項４に係る監視カメラの監視エリア設定装置は、請求項２又は３記載の監視カメラの監視エリア設定装置において、表示する監視エリア又は平行な直線をオペレータの操作指示に基づき保持する機能を有することを特徴とする。
【００２１】
上記目的を達成する本発明の請求項５に係る監視カメラの監視エリア設定装置は、請求項１記載の監視カメラの監視エリア設定装置において、監視カメラの映像を表示したモニタ上でオペレータにより指定された３点を使用してカメラパラメータ計算を行い、３点を結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリア、又は３点を結ぶ直線とこれと一定間隔で平行な一本又は複数の直線を設定又はモニタ表示することを特徴とする。
【００２２】
上記目的を達成する本発明の請求項６に係る監視カメラの監視エリア設定装置は、請求項１記載の監視カメラの監視エリア設定装置において、監視エリア設定部では何らかの方法で監視カメラ高さを計測するセンサを設置し、監視エリア設定部はこれを入力し、これをもとに３点のマーカを結ぶ直線と、これに水平面上で平行で指定された間隔の一本又は複数の直線を計算し監視エリアとして設定することを特徴とする。
【００２３】
【発明の実施の形態】
１）基本的な考え方（第一の実施例）
本発明の装置が設定する監視カメラと監視エリアは以下の条件を満たすものとする。
ただし、これらの条件は特別なものではなく一般的な電動雲台ズームレンズ付監視カメラがこれにあたる。
【００２４】
▲１▼監視カメラは水平面に対して水平に設置される。
▲２▼監視カメラの雲台が旋回動作する。ただし旋回動作は水平面内で行われる。
▲３▼監視カメラの雲台が上下振り動作する。ただしの上下振り動作は鉛直面内で行われる。
▲４▼監視カメラは電動ズームレンズの動作によりレンズ焦点距離が変化する。
▲５▼ただし監視カメラの旋回角度、仰角、レンズ焦点距離は検出できない。
▲６▼監視カメラで自動監視する監視エリアは実世界では水平面上に存在する。
▲７▼監視カメラの監視対象の水平面上からの高さが既知で変わらないものとする。
【００２５】
さらに、本発明による監視エリアの自動設定のために、監視カメラの映像に映る範囲内で監視エリアと同一の水平面上に等間隔に直線的に３点以上のマーカを設定するものとし、監視エリアはこのマーカがのる直線と平行な範囲とする。
ここで使用するマーカは、本発明の目的のために特別に着色したペイントでも良いし、特別に設置した円盤やパイロンでも良いし、他の目的のために設置されている工事現場や道路脇の杭やポストマークでも良いし、道路の車線マークや建造物の柱や土台石でも良い。
【００２６】
本発明の監視エリア設定装置１０は、図１に示すように、映像入力部１１と画像処理部１２と、カメラパラメータ計算部１３と、監視エリア設定部１４とで構成し、映像入力部１１で監視カメラ２０の映像を入力し、画像処理部１２で画像処理により３点のマーカを検出し、カメラパラメータ計算部１３において３点が水平面上で等間隔に設置されていること及び、オペレータにより予め設定されたマーカ間隔とカメラ高さ情報を利用したカメラパラメータ計算を行い、監視エリア設定部１４でこのパラメータを使用して３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定する。
【００２７】
遠隔監視システムは、設定された監視エリアに対して画像処理を行い異常の検出などを行うものである。
カメラパラメータの計算手順の例を説明する。
図２に示すような監視の映像中の位置（ｕ，ｖ）と実世界の空間位置（ｘ，ｙ，ｚ）との関係を決定するカメラパラメータは、カメラの設置位置（Ｘ，Ｙ，Ｚ）とカメラ姿勢（θ，φ，ψ）に関する６つの外部パラメータとカメラ自体レンズ焦点距離ｆと画像中心（ｕ０，ｖ０）とＣＣＤ素子単位長比と軸の交差角度の５つの内部パラメータの合計１１のパラメータが存在する（文献１）。
【００２８】
これらのうち、通常の工業用監視カメラではＣＣＤ素子単位長比が１：１、軸の交差角度が９０度に調整されている。
また、監視カメラが水平に設置されているのでψ＝０とすることができ、マーカと監視エリアが同一の水平面上にあり、雲台の動作が水平面に水平又は鉛直であれば水平面上の平行線の計算に関してφは無関係であるので、φ＝０と置くことが出来る。
【００２９】
さらに、カメラ座標系の原点をカメラのレンズ中心においてｕ０＝ｖ０＝０とし、空間座標系の原点も同じくカメラのレンズ中心において、Ｘ＝Ｙ＝Ｚ＝０とすれば、図３に示すように、残るパラメータはレンズ焦点距離とＣＣＤサイズの比を表すαとカメラの仰角θの２つになる。
ある計測点をＭ（Ｘ，Ｙ，Ｚ）、ＭのＣＣＤ上の画像点をｍ（ｕ，ｖ）とするとＭとｍの関係は、
【００３０】
【数１】
で表される変換行列である。ここで、Ａはカメラ内部パラメータで、
【００３２】
【数２】
Ｒはθのみのカメラの回転行列で、
【００３４】
【数３】
であるから（１）式は、
【００３６】
【数４】
となり、これを展開すると、
【００３８】
【数５】
となる。Ｘは監視対象の水平面からのカメラ高さで一定であるから、ｍとＭは一対一に対応し、
【００４０】
【数６】
で表される。いま、カメラ映像中にある３点ｍ１（ｕ１，ｖ１）、ｍ２（ｕ２，ｖ２）、ｍ３（ｕ３，ｖ３）が水平面上のＭ１（Ｘ１，Ｙ１，Ｚ１）、Ｍ２（Ｘ２，Ｙ２，Ｚ２）、Ｍ３（Ｘ３，Ｙ３，Ｚ３）に対応し、これらが等間隔で直線上にあるとすれば、
【００４２】
【数７】
であるから、（９）式を利用して、
【００４４】
【数８】
であり、これを解くと、
【００４６】
【数９】
のカメラパラメータが求められる。次に、図４に示すように、等間隔に設置されたマーカの間隔をｄとすれば、
【００４８】
【数１０】
なので、（９）（１０）式を使い、カメラ高さをｈとして整理すると、
【００５０】
【数１１】
となる。ここで、
【００５２】
【数１２】
とした。この場合のｋは（１３）式により計算される。さらに、
【００５４】
【数１３】
を（１５）式に代入して整理したあとにｔについて展開すると、
【００５６】
【数１４】
となる。ここで、
【００５８】
【数１５】
とした。（１７）式をｔ2について解くと、
【００６０】
【数１６】
となり、カメラ仰角θを求めることができる。
同様に（１６）式からズーム倍率に相当するカメラパラメータαを求めることができる。
これにより、（９）（１０）式によりカメラ画像中の点（ｕｉ，ｖｉ）と水平面上の点（Ｙｉ，Ｚｉ）の相互の座標変換を行うことが可能で、即ち、水平面上のマーカＭ１−Ｍ２に平行な直線に対応する画像中の直線をカメラ画像中に描画することが可能である。
【００６２】
本発明は、監視対象の水平面上に等間隔で設置されたマーカを画像中に検出しこれらの画像中の座標及びカメラ高さとマーカ間隔の情報から水平面上でマーカが構成する直線と平行な直線を画像中に描画するものであり、本発明の特徴は、３点のマーカが画像中にあれば、これと水平面上で平行で一定間隔の直線を決定することが可能でこれらに囲まれた監視エリアを計算により決定できることである。
【００６３】
特に、本発明の方法によれば前回提案の方法では実施していなかった、カメラ仰角θとズーム倍率に関係するカメラパラメータαを計算するので、監視対象水平面上の仮想的な平行線に対応する直線のカメラ画像中の位置をオペレータが指定する間隔で正確に計算することが可能である。
例えば、正確に１０ｍ以内の監視エリアをカメラ画像中に設定可能である。
本発明による監視エリア設定を逐次行うことにより、監視カメラの雲台とズームレンズをを操作し時々刻々と映像が変化しても、３点のマーカが映像に映っていれば、これをもとに監視エリアの更新がなされ、連続的な自動監視が可能となる。
【００６４】
２）検知すべきマーカとその検出方法の実施例
本発明の装置は、水平面上に等間隔で直線上に設置された３点のマーカを画像処理により検出し、カメラパラメータ計算を行い、３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定するもので、遠隔監視システムがこの監視エリアに対して画像処理を行い異常の検出などを行うものである。
本発明で使用するマーカの例とその検出方法の実施例については前回提案のマーカとその検出方法がそのまま使用できる。
【００６５】
３）監視エリア設定の第二の実施例
図５に示すように、水平面上に等間隔で直線上に設置された３点のマーカ１を画像処理により検出し、カメラパラメータ計算を行い、３点のマーカ１を結ぶ直線とこれと一定間隔で平行な直線（平行線）２に囲まれた監視エリア３を設定する監視カメラの監視エリア設定装置において、設定した監視エリア３を入力した監視カメラの映像と共にモニタにオーバレイ表示することを特徴とする監視カメラの監視エリア設定装置である。
本実施例の特徴は、本装置が計算して設定した監視エリア３をオペレータが確認できる点である。
これにより、画像処理装置による自動監視と同時にオペレータによる目視による監視が可能になる利点がある。
【００６６】
４）監視エリア設定の第三の実施例
図６に示すように、水平面上に等間隔で直線上に設置された３点のマーカ１を画像処理により検出し、カメラパラメータ計算を行い、３点のマーカ１を結ぶ直線とこれと一定間隔で平行な一本又は複数の直線（平行線）２を監視エリアとして設定し、監視カメラの映像と共にモニタにオーバレイ表示することを特徴とする監視カメラの監視エリア設定装置である。
本実施例の特徴は、監視エリアを領域でなく直線２で表現することである。
これにより、道路の特定車線の走行状況の監視、ダムサイトの上面の縁部分の監視、工事現場の側溝の境界部分の監視などに適用可能である。
また、この直線２をオペレータが確認できるので、画像処理装置による自動監視と同時にオペレータによる目視による監視が可能になる利点がある。
【００６７】
５）監視エリア設定の第四の実施例
水平面上に等間隔で直線上に設置された３点のマーカを画像処理により検出し、カメラパラメータ計算を行い、３点のマーカを結ぶ直線とこれと一定間隔で平行な一本又は複数の直線又はこれらにより囲まれるエリアを監視エリアとして設定し、監視カメラの映像と共にモニタにオーバレイ表示する監視カメラの監視エリア設定装置において、表示する監視エリア又は平行な直線をオペレータの操作指示に基づき保持する機能を有することを特徴とする監視カメラの監視エリア設定装置である。
【００６８】
本実施例の特徴は、監視カメラの雲台を操作して３点のマーカが映る雲台位置を決定したあとに、カメラを移動させないことを前提条件として、一度計算した監視エリアを保持するものである。
これにより、監視エリアの設定後に何らかの理由でマーカが隠れたり移動しても同一の監視エリアを使用することが可能になる。
現場の状況の変化や人の移動などによりマーカが隠れたり移動したりする可能性のある、建物の出入り口や工事現場の監視のときに効果がある。
【００６９】
６）監視エリア設定の第五の実施例
図７に示すように、監視カメラの映像を表示したモニタ上にオペレータがマウス操作で３点をマーカ４として指定し、この３点のマーカ４を使用してカメラパラメータ計算を行い、３点のマーカ４を結ぶ直線とこれと一定間隔で平行な直線（平行線）２に囲まれた監視エリア、又は３点のマーカ４を結ぶ直線とこれと一定間隔で平行な一本又は複数の直線２を設定又はモニタ表示することを特徴とする監視カメラの監視エリア設定装置である。
本実施例の特徴は、３点のマーカ４を画像処理により検出する替わりに、監視カメラの映像中の３点をオペレータがマウスで指定することである。
マウスで指定するマーカの位置はタイルの目地や橋の欄干など、一定間隔であることが保証されているものであることが条件である。
これにより、画像処理により検出すべきマーカがない場合、マーカが検出しにくい場合、専用のマーカを設置できない場合にも監視エリアを設定することが可能となる。
【００７０】
７）カメラ高さが変化する場合の実施例
ところで、本発明の実現の条件としてカメラ高さが一定で既知であることとしたが、監視カメラの使用方法によってはこの条件が確保できない場合がある。
例えば、図８に示すように、前回提案でマーカの例として説明したダムサイト５における取水口６の付近の危険区域の監視の場合は、ダムの水位の変動に対応してダム湖水面とカメラの相対的な高さが変動する。
また、監視カメラをクレーンなど高さが変化する個所に設置する場合もある。
これらの場合も、何らかの方法でカメラ高さｈをオペレータが知ることができれば、そのデータを入力することにより、本発明によるカメラパラメータの計算が可能で、監視エリアの設定が可能である。
しかしながら、時々刻々にカメラ高さが変化するようなときは、カメラ高さを計測すること自体もこれを入力することも煩雑な作業であり、場合によっては困難である。
【００７１】
そこで、この場合の本発明の実施例として、第一の実施例の構成要素に加えて、カメラ高さを何らかの方法で計測する手段を設置し、カメラ高さを逐次計測し、これを監視エリア設定装置に入力し、このデータを使用してカメラパラメータ計算を行い、監視エリア設定部でこのパラメータを使用して３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定する方法及び装置を提案する。
カメラ高さの計測方法の例を説明する。
監視対象の水平面の高さが変化する場合、図８に示すように、例えば、前述したダムサイト５における取水口６の付近の危険区域の監視などの場合は、地上におけるカメラの設置場所が変わらないとすれば、水平面の高さを計測する測定器、ダム湖の場合は水位計を設置し（一般的なダムでは設置されていることが多い）、水位計の計測値を元に水面とカメラ高さを計算してカメラパラメータを計算することができる。
【００７２】
クレーンで吊り上げる場合などカメラの高さ自体が変化する場合は、監視対象の水平面からカメラまでの高さを、レーザー距離計、超音波距離計、ディジタル巻尺、ステレオカメラ、などを使用して直接又は間接的に計測して入力することで、カメラパラメータを計算することができる。
本実施例の特徴は、監視対象水平面からのカメラ高さを何らかの手段で知ることにより監視エリアを設定することである。
【００７３】
これにより、監視対象水平面からのカメラ高さが一定でなく変化する場合にも、監視エリアの設定が行われる利点がある。
従って、例えば、複数のカメラに対して同一の間隔で監視エリアを設定する場合はパラメータの設定を一括して行うことが可能であり、カメラ毎に個別に設定する必要がないため作業が簡便である。
また、カメラやレンズを交換したあとの調整が不要である。
【００７４】
【発明の効果】
以上、詳細に説明したように、本発明は、監視カメラの映像中に監視エリアを設定し、画像処理により監視エリアの画像の変化を検出して異常の検出を行う映像自動監視システムに関するもので、特に監視カメラの映像中の監視エリアの設定を行うことができる。
更に、本発明の装置は、水平面上に等間隔で直線上に設置された３点のマーカを画像処理により検出し、カメラ高さの情報を使用してカメラパラメータ計算を行い、３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定するもので、この監視エリアに対して遠隔監視システムが画像処理を行い異常の検出などを行うことができる。
▲１▼従来は監視エリアの設定はオペレータが映像中の位置を指定して行っており、現場における監視エリアの絶対値を設定できなかったが、本発明によれば、マーカの間隔をもとにカメラパラメータを計算するので、平行線で構成する監視エリアの幅を現場における絶対値で設定可能である。例えばホームの縁から５０ｃｍ以内の範囲を監視エリアとして設定可能である。
▲２▼従来は監視エリアの設定はオペレータが映像中の位置を指定して行っており、監視カメラが複数設置されているときは個々の監視カメラ毎に個別に監視エリアを設定する必要があったが、本発明によれば、複数のカメラで同一の間隔の監視エリアを設定する場合はパラメータの設定を一括して行うことが可能である。これにより監視エリア設定の煩雑さが解消される。例えば、ホームに沿って設置された複数の監視カメラの監視エリアをホームの縁から５０ｃｍ以内の範囲とする場合は、監視エリアをー括して設定可能である。
▲３▼従来はパンチルトズーム操作を行う監視カメラについては画像処理による自動監視が出来なかった。その理由は監視カメラの映像範囲が変化することにより監視エリアが変わるのでこれを設定することが出来なかったからであるが、本発明によれば水平面上に直線的に等間隔で設置されたマーカを検出してこれを基準とした平行直線を計算することにより監視エリアの計算が可能であるので、パンチルトズーム動作を行う監視カメラを使用した画像処理による自動監視が可能である。
▲４▼本装置が計算して設定した画像監視エリアを入力した監視カメラの映像と共にモニタにオーバレイ表示することにより監視エリアをオペレータが確認できる利点がある。これにより、画像処理装置による自動監視と同時にオペレータによる目視による監視が可能になる。
▲５▼３点のマーカを結ぶ直線とこれと一定間隔で平行な一本又は複数の直線を監視エリアとして設定し、監視カメラの映像と共にモニタにオーバレイ表示し、監視エリアを領域でなく直線で表現するので、道路の特定車線の走行状況の監視、ダムサイトの上面の縁部分の監視、工事現場の側溝の境界部分の監視などに適用可能である。また、この直線をオペレータが確認できるので、画像処理装置による自動監視と同時にオペレータによる目視による監視が可能である。
▲６▼監視カメラの雲台を操作して３点のマーカが映る雲台位置を決定したあとに、一度計算した監視エリアを保持することにより、監視エリアの設定後に何らかの理由でマーカが隠れたり移動しても同一の監視エリアを使用することが可能になる。現場の状況の変化や人の移動などによりマーカが隠れたり移動したりする可能性のある、建物の出入り口や工事現場の監視のときに効果がある。
▲７▼３点のマーカを画像処理により検出する替わりに、監視カメラの映像中の３点をオペレータがマウスで指定することにより、画像処理により検出すべきマーカがない場合、マーカが検出しにくい場合、専用のマーカを設置できない場合にも監視エリアを設定することが可能となる。
▲８▼カメラ仰角を何らかの手段で計測して入力することにより、カメラの高さが変化する場合にも監視エリアの設定が可能である。
【図面の簡単な説明】
【図１】本発明の監視エリア設定装置の構成図である。
【図２】空間座標系とカメラ座標系の関係を示す説明図である。
【図３】監視カメラのカメラパラメータを示す説明図である。
【図４】３点マーカ映像とカメラとの関係を示す説明図である。
【図５】設定された領域の監視エリアを示す表示図である。
【図６】設定された平行線の監視エリアを示す表示図である。
【図７】マーカの位置をモニタ上でマウスで設定する様子を示す説明図である。
【図８】ダムサイトにおける取水口の監視を示す説明図である。
【図９】通用門の映像と監視エリアの例を示す説明図である。
【図１０】道路の映像と追い越し車線の監視エリアを示す説明図である。
【符号の説明】
１０ 監視エリア設定装置
１１ 映像入力部
１２ 画像処理部
１３ カメラパラメータ計算部
１４ 監視エリア設定部
２０ 監視カメラ
Claims (6)
- 映像入力部と、画像処理部と、カメラパラメータ計算部と、監視エリア設定部とで構成し、映像入力部で監視カメラの映像を入力し、画像処理部で画像処理により監視対象水平面上の３点のマーカを検出し、カメラパラメータ計算部において３点が水平面上で等間隔に設置されていること及びカメラ高さ情報を利用したカメラパラメータ計算を行い、計算されたカメラパラメータを使用して監視エリア設定部で３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定することを特徴とする監視カメラの監視エリア設定装置及びその方法。
- 請求項１記載の監視カメラの監視エリア設定装置において、本装置が計算して設定した監視エリアを入力した監視カメラの映像と共にモニタにオーバレイ表示することを特徴とする監視カメラの監視エリア設定装置。
- 請求項１記載の監視カメラの監視エリア設定装置において、監視エリア設定部では３点のマーカを結ぶ直線とこれと一定間隔で平行な一本又は複数の直線を監視エリアとして設定し、監視カメラの映像と共にモニタにオーバレイ表示することを特徴とする監視カメラの監視エリア設定装置。
- 請求項２又は３記載の監視カメラの監視エリア設定装置において、表示する監視エリア又は平行な直線をオペレータの操作指示に基づき保持する機能を有することを特徴とする監視カメラの監視エリア設定装置。
- 請求項１記載の監視カメラの監視エリア設定装置において、監視カメラの映像を表示したモニタ上でオペレータにより指定された３点を使用してカメラパラメータ計算を行い、３点を結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリア、又は３点を結ぶ直線とこれと一定間隔で平行な一本又は複数の直線を設定又はモニタ表示することを特徴とする監視カメラの監視エリア設定装置。
- 請求項１記載の監視カメラの監視エリア設定装置において、監視エリア設定部では何らかの方法で監視カメラ高さを計測するセンサを設置し、監視エリア設定部はこれを入力し、これをもとに３点のマーカを結ぶ直線と、これに水平面上で平行で指定された間隔の一本又は複数の直線を計算し監視エリアとして設定することを特徴とする監視カメラの監視エリア設定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000009688A JP4140159B2 (ja) | 2000-01-19 | 2000-01-19 | 監視カメラの監視エリア設定装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000009688A JP4140159B2 (ja) | 2000-01-19 | 2000-01-19 | 監視カメラの監視エリア設定装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001204007A JP2001204007A (ja) | 2001-07-27 |
| JP4140159B2 true JP4140159B2 (ja) | 2008-08-27 |
Family
ID=18537802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000009688A Expired - Lifetime JP4140159B2 (ja) | 2000-01-19 | 2000-01-19 | 監視カメラの監視エリア設定装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4140159B2 (ja) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8711217B2 (en) | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
| US9892606B2 (en) | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
| US8564661B2 (en) | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
| US7424175B2 (en) | 2001-03-23 | 2008-09-09 | Objectvideo, Inc. | Video segmentation using statistical pixel modeling |
| JP2003050107A (ja) * | 2001-08-07 | 2003-02-21 | Matsushita Electric Ind Co Ltd | カメラ校正装置 |
| JP4311107B2 (ja) * | 2003-08-08 | 2009-08-12 | オムロン株式会社 | 三次元物体認識装置およびその設定方法 |
| JP4846203B2 (ja) * | 2004-03-24 | 2011-12-28 | パナソニック株式会社 | 画像領域設定装置及び画像領域設定方法 |
| TWI244624B (en) * | 2004-06-04 | 2005-12-01 | Jin-Ding Lai | Device and method for defining an area whose image is monitored |
| KR100727827B1 (ko) | 2006-02-07 | 2007-06-13 | (주)아이디스 | 영상 감시 장치 및 이의 동작 방법 |
| KR101392294B1 (ko) | 2006-04-17 | 2014-05-27 | 오브젝트비디오 인코퍼레이티드 | 통계적인 픽셀 모델링을 이용한 비디오 분할 |
| SM200800017B (it) * | 2008-03-18 | 2010-11-12 | Saulle Mattei | Sistema di controllo interattivo di una rete stradale urbana ed extraurbana soggetta a norme e/o limitazioni di sicurezza e funzionalità. |
| JP5077066B2 (ja) * | 2008-05-26 | 2012-11-21 | 株式会社明電舎 | 映像監視装置 |
| JP5421597B2 (ja) * | 2009-01-14 | 2014-02-19 | 三菱電機株式会社 | 画像監視装置 |
| JPWO2013058093A1 (ja) * | 2011-10-18 | 2015-04-02 | 日立建機株式会社 | 作業機械の周囲監視装置 |
| JP6185779B2 (ja) * | 2013-07-16 | 2017-08-23 | 株式会社ネクスコ東日本エンジニアリング | 侵入抑止装置、侵入抑止方法、プログラム、および侵入抑止システム |
| JP6486596B2 (ja) * | 2014-03-07 | 2019-03-20 | 株式会社中電工 | 指定範囲監視システム |
| JP6282498B2 (ja) | 2014-03-19 | 2018-02-21 | 株式会社東芝 | 画像処理装置、その方法、及び、そのプログラム |
| JP6417302B2 (ja) * | 2015-09-02 | 2018-11-07 | 株式会社中電工 | 指定範囲監視システム |
| JP6417300B2 (ja) * | 2015-09-02 | 2018-11-07 | 株式会社中電工 | 指定範囲監視システム |
| JP6365906B1 (ja) * | 2017-03-01 | 2018-08-01 | パナソニックＩｐマネジメント株式会社 | ３次元侵入検知システムおよび３次元侵入検知方法 |
| JP6339259B1 (ja) * | 2017-03-24 | 2018-06-06 | 東芝エレベータ株式会社 | 画像処理システム及びマーカー |
| CN108222085B (zh) * | 2018-01-25 | 2020-08-28 | 东北大学 | 一种地下综合管廊墙体损伤监测装置及方法 |
| JP7057169B2 (ja) * | 2018-03-13 | 2022-04-19 | 新明和工業株式会社 | 塵芥収集車 |
| WO2021049018A1 (ja) * | 2019-09-13 | 2021-03-18 | ニューラルポケット株式会社 | 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法 |
| JP7042508B2 (ja) * | 2019-12-19 | 2022-03-28 | ニューラルポケット株式会社 | 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法 |
| CN113299073B (zh) * | 2021-04-28 | 2023-05-23 | 北京百度网讯科技有限公司 | 识别车辆违章停车的方法、装置、设备和存储介质 |
| CN113188463A (zh) * | 2021-05-25 | 2021-07-30 | 上海同禾工程科技股份有限公司 | 一种尾矿库坝体变形监测***及监测方法 |
| WO2024048210A1 (ja) * | 2022-09-02 | 2024-03-07 | 富士フイルム株式会社 | 視点画像生成装置、視点画像生成方法、及びプログラム |
| JP7221445B1 (ja) | 2022-11-04 | 2023-02-13 | 西日本技術開発株式会社 | 水位計測装置および水位計測方法、並びにプログラム |
| CN117782226B (zh) * | 2024-02-23 | 2024-05-14 | 四川省能源地质调查研究所 | 矿山安全预警*** |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08240421A (ja) * | 1995-03-06 | 1996-09-17 | Meidensha Corp | カメラパラメータの推定方法およびそのパラメータ利用の物体認識方法 |
| JPH11322247A (ja) * | 1998-05-13 | 1999-11-24 | Hitachi Ltd | マンコンベアの監視装置 |
| JP3976900B2 (ja) * | 1998-07-23 | 2007-09-19 | キヤノン株式会社 | 視点位置姿勢の決定方法及びカメラ装置 |
| JP3785880B2 (ja) * | 1999-11-18 | 2006-06-14 | 株式会社明電舎 | 映像監視システムおよび映像監視方法 |
-
2000
- 2000-01-19 JP JP2000009688A patent/JP4140159B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001204007A (ja) | 2001-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4140159B2 (ja) | 監視カメラの監視エリア設定装置及びその方法 | |
| JP3785880B2 (ja) | 映像監視システムおよび映像監視方法 | |
| EP1341383B1 (en) | Composite camera system, zoom camera image display control method, zoom camera control method, control program, and computer readable recording medium | |
| US6816186B2 (en) | Automatic zone monitoring | |
| JP5566281B2 (ja) | 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム | |
| CN100465999C (zh) | 基于激光扫描的沉箱三维场景重建与挖掘机避碰*** | |
| US20210185279A1 (en) | Systems and methods for personnel location at a drilling site | |
| US9639760B2 (en) | Methods and apparatus for establishing exit/entry criteria for a secure location | |
| CN106291539A (zh) | 一种基于定位滤波算法的相控阵雷达目标识别***及方法 | |
| CN110703760B (zh) | 一种用于安防巡检机器人的新增可疑物体检测方法 | |
| US11410526B2 (en) | Dynamic rollover zone detection system for mobile machinery | |
| JP5079547B2 (ja) | カメラキャリブレーション装置およびカメラキャリブレーション方法 | |
| JP6671852B2 (ja) | 情報設定システム及びシミュレーションシステム | |
| CN105600693A (zh) | 一种塔式起重机的监控*** | |
| CN102970514A (zh) | 映像监视装置、映像监视方法以及程序 | |
| CN104063863A (zh) | 用于河道监控的下俯式双目视觉***及图像处理方法 | |
| CN112906674A (zh) | 一种基于双目视觉的矿井火灾识别与火源定位方法 | |
| JP2009278300A (ja) | 映像監視システムの監視エリア設定装置 | |
| CN115695736A (zh) | 基于三维模型分析的智慧安防指挥***及安防指挥方法 | |
| CN116630872A (zh) | 一种基于三维建模的建筑工地的安全监测方法 | |
| JPH06347220A (ja) | 画像監視装置とその使用方法 | |
| JP3384033B2 (ja) | 駐車場空きスペ−ス監視方法 | |
| CN113989335A (zh) | 一种对厂房内工人自动定位的方法 | |
| JP5077066B2 (ja) | 映像監視装置 | |
| TWI833130B (zh) | 軌道入侵偵測系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080516 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080520 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080602 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4140159 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| EXPY | Cancellation because of completion of term |