JP6797860B2

JP6797860B2 - 水上侵入検知システムおよびその方法

Info

Publication number: JP6797860B2
Application number: JP2018088946A
Authority: JP
Inventors: 純一富樫; 伊藤　渡; 渡伊藤; 正也岡田; 一成岩永; 藤井　幸; 幸藤井
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2018-05-02
Filing date: 2018-05-02
Publication date: 2020-12-09
Anticipated expiration: 2036-12-09
Also published as: JP2018152106A

Description

本発明は、沿岸に設置された監視カメラの映像から、水上の船舶、泳者、漂流物等を検知する監視システムに関する。

近年、感度や解像度に優れたビデオカメラが安価に入手できるようになり、海上のような広範囲な領域を、現実的な台数のカメラで撮影し、物体の像を捉えることができる。

海上において、波の影響を受けることなく、監視エリアに侵入してきた船舶等を検知する技術が知られる（例えば、特許文献１乃至６参照。）。

なお、本発明に関連する技術として、カメラ映像から、水面の波の位相速度、周期、波高などを推定するものが知られる（例えば非特許文献２及び３参照。）。

特開２０１３-１８１７９５号公報特許４１１７０７３号公報特許３９９７０６２号公報国際公開第１０/０８４９０２号パンフレット特開２００２-２７９４２９号公報特許４３０２８０１号公報特許５７０９２５５号公報特許４４７６５１７号公報特許４９２１８５７号公報特許５０２１９１３号公報

Gunnar Farneback, "Two-frame motion estimation based on polynomial expansion", Scandinavian Conference on Image Analysis, 2003, インターネット＜URL：http://www.diva-portal.org/smash/get/diva2:273847/FULLTEXT01.pdf＞ Benetazzo, Alvise, et al, "Observation of extreme sea waves in a space-time ensemble", Journal of Physical Oceanography Vol.45, No.9, 11 September 2015, インターネット＜http://journals.ametsoc.org/doi/pdf/10.1175/JPO-D-15-0017.1＞原浩気，藤田一郎、「時空間画像を用いた河川表面流解析における二次元高速フーリエ変換の適用」，水工学論文集,第54巻,2010年2月、インターネット＜URL：http://library.jsce.or.jp/jsce/open/00028/2010/54-0185.pdf＞稲葉徹、外３名、「波浪場画像の解析による水深分布推定」、土木学会第55回年次学術講演会、２−５、（2000年9月）、インターネット＜http://library.jsce.or.jp/jsce/open/00035/2000/55-2/55-2-0005.pdf＞

しかし上述の従来技術では、例えば船舶と遊泳者(ヒト)や浮遊物(物体)が侵入した際、どの物体が船舶なのか、ヒトなのか、もしくは物体なのかを区別する能力が限定的であった。例えば、物体の大きさやおおよその形、速度からその種別を想定する方法では、精度が不足する。このため、船舶、ヒト、物体検知の同時実現は難しいと考えられてきた。
また、侵入した物体が陸からどの程度離れたところにいるか、つまり陸への侵入度合は、映像だけでは推定できない。正確なカメラの設置位置や撮影画角が入手できる場合に、それらを参照して計算するしかなかった。

本発明の目的は、上記問題点に鑑み、海上から侵入しうる様々な物体を統合的に検知し警報する監視システムを提供することにある。

一実施例にかかる海上侵入検知システムは、海上を監視する可視カメラ映像から侵入する物体の候補を検知し、さらに大きさ、速度、侵入する方向および直線性等を導き、ある程度の物体識別を行う。同時に遠赤外線カメラ映像からも侵入する物体を検知すると同時に、輝度の違いから、船舶(高輝度)、ヒト(中輝度)、浮遊物(海と同輝度)を区別する。さらに同時に物体が無い通常状態の波の動きを分析する。波の動きを分析するために、フーリエ変換を用いて、輝度の時間的変化の周期性を観測する。その通常状態の波の動きとの対比で、例えば船舶であれば、波の動きと連動性がほぼ認められず、ヒトは波とは別の動きのため、連動性は比較的低く、ドラム缶などの物体においては、ほぼ波に漂うため、波との連動性が比較的高くなる。これらを用いて、物体の識別精度を上げる。他の実施例にかかる海上侵入検知システムは、旋回カメラを用いることで自動的に物体を追跡する。ただし、追跡する場合、画角が常に変化するため、検知した物体の位置が割り出せない。どこが陸かあらかじめ設定する必要なく陸への距離を測るため、波の周期性を用いて、物体のある程度の位置を導く。波の周期性は沖に比べると陸に近い場所では、水深が浅くなるため周期性が乱れ、弱くなる等の変化がみられる。この変化をもって、物体の陸への距離を概算し、侵入度合を自動的に導く。

本発明によれば、船舶、ヒト、浮遊物を、高い信頼性で検知することが出来る。

実施例１の監視システム１の論理的な構成の例を示したブロック図。本実施例の海面状況取得器３の機能ブロック図。本実施例の差分法ベース検知器４の機能ブロック図。本実施例のシルエット状況下の検知器５の機能ブロック図。本実施例の特徴量ベースの検知器６の機能ブロック図。本実施例の追跡器７の機能ブロック図。本実施例の脅威評価器８の機能ブロック図。

本発明の実施形態の監視システムは、海上を監視する可視カメラ映像から侵入する物体の候補を検知し、さらに大きさ、速度、侵入する方向および直線性等を導き、ある程度の物体識別を行う。同時に遠赤外線カメラ映像からも侵入する物体を検知すると同時に、輝度の違いから、船舶(高輝度)、ヒト(中輝度)、浮遊物(海と同輝度)を区別する。さらに同時に物体が無い通常状態の波の動きを分析する。波の動きを分析するために、フーリエ変換を用いて、輝度の時間的変化の周期性を観測する。その通常状態の波の動きとの対比で、例えば船舶であれば、波の動きと連動性がほぼ認められず、ヒトは波とは別の動きのため、連動性は比較的低く、ドラム缶などの物体においては、ほぼ波に漂うため、波との連動性が比較的高くなる。これらを用いて、物体の識別精度を上げる。

他の実施例にかかる海上侵入検知システムは、旋回カメラを用いることで自動的に物体を追跡する。
ただし、追跡する場合、画角が常に変化するため、検知した物体の位置が割り出せない。どこが陸かあらかじめ設定する必要なく陸への距離を測るため、波の周期性を用いて、物体のある程度の位置を導く。波の周期性は沖に比べると陸に近い場所では、水深が浅くなるため周期性が乱れ、弱くなる等の変化がみられる。この変化をもって、物体の陸への距離を概算し、侵入度合を自動的に導く。

図１は本発明の第１実施例の監視システム１の論理的な構成の例を示したブロック図である。本例の監視システム１は、映像ソース２、海面状況取得器３、差分法ベースの検知器４、シルエット状況下の検知器５、特徴量ベースの検知器６、それらの結果を統合して追跡する追跡器７、および脅威評価器８とを備える。
映像ソース２は、沿岸に設置され、海面を撮影する監視カメラ、或いは、その録画映像を再生する装置である。監視カメラは、電動雲台や電動ズームレンズを装備されうる。また映像は、可視光域、近赤外、遠赤外域のいずれから得られるものでもよく、１チャンネル（グレースケール）や多チャンネル（カラー）の何れでもよい。更に、揺れ補正、陽炎補正、自動ホワイトバランス、階調補正、高ダイナミックレンジ（HDR）合成などが施されうる。また映像ソース２は、後続の３つ検出器のために、空間領域若しくは時間領域フィルタを施した複数のバージョンの映像を出力しうる。また、後段の処理で入力映像が再度必要とされる場合に備え、過去の複数フレームの入力映像を自由に読出し可能に保持することができる。

海面状況取得器３は、一例として、入力映像に基づいて、背景である海面の波の時間的周期、空間的周期、振幅（上下動）を自動的に推定する。これらの推定には、粒子画像流速測定法（PIV）のような古典的な方法、非特許文献２のステレオ画像法や、非特許文献３の時空間画像法など、各種の手法が利用できる。処理は、常時行う必要は無く、一部又は全部に人の操作が介在してもよい。また画像フレーム全体について行う必要は無く、海面の領域のうちの代表的な数か所のみで行ってもよい。逆に、海面状況取得器３による取得の試行を通じて、フレーム内の海面の領域を推定することもできる。

波の時間的周期、振幅、波数（位相速度）の間に成り立つ法則を利用して、それらが正しく得られているか検証したり、補完し合ったりできるが、非特許文献２には、複数の波が重なっている場合に必ずしも法則に単純には従わないことが示唆されている。実際の海岸付近の波の観察では、波形勾配（有義波高/有義波の波長）は0.05以下であり、稀な高波を除けば多くが0.01付近にピークを持つ分布となることが知られる。本例では、低俯角画像から直接的に求めた振幅を用いることで、精度を高める。すなわち、波の画像を、明部と暗部に分類し、それらの見かけの高さ（画像での縦方向の画素数）のうちの一方、例えば、平均値或いは分散値が小さい方を採用する。この方法で得られる振幅は、画像上での見かけの振幅であり、カメラ画像と実世界の間の座標変換に伴う誤差の影響は受けない。

差分法ベース検知器４は、基準画像（背景）に比べて値が高速に変化する画素を検出するもので、特許文献２から６に記載されたものと類似したものである。数１０メートルから数キロメートルの視界の範囲で撮影される海面で観察される波は、その周期が数秒程度と想定される。上記文献では、波の周期変動に追従する様態で、入力映像を移動平均することで背景画像を生成し、画素毎に、最新の入力画像と背景画像の差の絶対値をしきい値処理することで、高速移動物体を検出していた。本例では、波由来の数Hzの周期の画素値の変動のみを抑圧することに特化した短時間背景画像と、数分から数時間の平均によって、背景構造物以外の動きのあるものが可能な限り全て除去された長時間背景画像を作成し、短時間背景画像と長時間背景画像の差分から、船舶等の候補領域（Region of interest）を取り出す。候補領域は、上記論理値からなるビットマップそのもの、或いは、各候補領域の属性によって、表現されうる。候補領域の属性は、ビットマップ中において１の値を持つ画素の塊の外接矩形に関連して、各種のものが定義され、例えば、塊の重心の座標、最下点の座標、外接矩形の縦サイズ、横サイズ、縦横比、平均輝度、エッジ量、画素数（面積）、充填度、周囲長、円形度、複雑度等である。ここで、外接矩形の辺は常に画像フレームと水平又は垂直に設定される。平均輝度やエッジ量は、短時間背景画像若しくは入力画像における、注目する塊に対応する各画素から算出されるものである。また充填度とは、外接矩形内で１の値を持つ画素の割合である。また、候補領域の属性の１つとして、領域の最下端と水平線との見かけの距離を追加するとよい。

差分法において、背景の更新速度としきい値は、重要な制御可能なパラメータである。更新速度は、海面状況取得器３で得られた時間的周期や、候補領域の検出数などに応じて自動的に調整されうる。特に短時間背景画像の更新速度（生成フィルタの特性）は、泳者や浮遊物が短時間背景画像に残り、検知できるように、注意深く調整されることが望ましい。

しきい値処理では、短時間背景画像の画素毎に、その画素が属するであろう分布モデルの長時間背景画像における、対応画素（ブロック）の画素値との差分を算出する。そしてその差分値の絶対値を、対応画素の分散に基づくしきい値と比較することで達成され、０又は１の論理値が出力される。入力映像における画素をモデル化した場合、短時間背景画像では、異なる分布モデルに属する画素が時間的に重なりあったものとなる。そのためしきい値は、当該分布モデルの分散に、当該モデルと隣接モデルのそれぞれの平均の差の１／２を加えた値を基準として調整されうる。入力映像がカラーの場合、色毎に存在するしきい値が用いられ、１色でもしきい値を越えている場合に１としたり（つまり論理和）、しきい値の超過分の和を更にしきい値処理したりすることができる。また、しきい値は、検知漏れが少ない反面誤検知が多いものと、誤検知が多い反面検知漏れが多いものの２種類を用いて、それぞれの処理結果が出力されるようにしてもよい。

なお短時間と長時間の両背景画像は、入力映像に、波の空間周期に対応する特性の空間ローパスフィルタやダウンサンプル処理をしてから、それぞれの時間領域処理により生成してもよい。

シルエット状況下の検知器５は、ほぼ飽和した輝度を有する背景の中にほぼ暗黒の輝度を有する物体が映った映像から、暗黒領域を物体候補として検出するものであり、特許文献３に記載されたものと同様である。このような映像は、特に太陽の位置が低くなる時刻で、太陽光が直接若しくは海面に反射してカメラに入射する状況下で撮影される。検出結果は、差分法ベース検知器４と同様に、ビットマップ、或いは、候補領域の属性として出力される。

特徴量ベース検知器６は、差分法よりも高度な処理によって、物体を検知したり、その物体の種別を識別したりする。本例の特徴量ベース検知器５は、差分法ベース検知器４やシルエット状況下の検知器５が検出した候補領域の情報を取得し、入力映像における当該領域の近傍で特徴量を抽出する。そして、機械学習手法を用いて、その特徴量が、船舶、泳者、浮遊物、それ以外（海面、外乱等）のいずれに該当するか判別する。

特徴量は、１枚の画像から得られるものに限らず、直近の複数フレームの映像から得られる時空間特徴であってもよく、周知のあらゆる特徴量が利用できるかもしれない。同様に、機械学習手法も、周知のあらゆる特徴量が利用できる可能性があり、教師なし学習（クラスタリング）であるk-means、線形判別分析(LDA)、EMアルゴリズムなどや、教師あり学習であるロジスティック判別、サポートベクターマシン、決定木、制限付きボルツマンマシンなどが利用できる。ただし用途によって、特徴量と学習器の好ましい組合せがある。本例では、学習器にランダムフォレストを用い、特徴量としてはtexton特徴(Semantic Texton Forests)、色ヒストグラム、ＨＯＧ（Histograms of Oriented Gradients）、ＨＯＦ（Histograms of Optical Flow）、ＤＯＴ(Dominant Orientation Templates)、ＭＢＨ（Motion Boundary Histogram）、分離型格子隠れマルコフモデル等を用いる。入力画像からこれらの特徴量を得る前に、空間領域や時間領域でのローパスフィルタや、非特許文献１に記載のオプティカルフロー処理などが適用され得る。

追跡器７は、各フレーム毎に上記の検知器によって検知された候補領域にラベル付けをし、更に時間方向に関連付けする。これにより、波の谷間に見え隠れする泳者などを持続的に追跡し、また単発的に誤検知された領域を除去する。本例の追跡器７には、カルマンフィルタ、パーティクルフィルタ、ベイズフィルタ、ミーンシフト等の周知の手法が適用されうる。それらの処理に必要であれば、追跡器７には候補領域における元の画像が提供される。追跡器は、近未来の位置を予測することもできる。海上の所定の位置に設置されたブイや標識等は、その位置に基づいて除去される。追跡器７は、画像座標で表される位置で追跡することもできるが、カメラの設置高さ、俯角、画角（ズーム倍率）等に基づいて、実世界に対応するグローバル座標系の位置で追跡することが望ましい。画像座標とグローバル座標とは、投影行列若しくはホモグラフィ行列（物***置を１つの平面上に限定する場合）によって変換可能である。追跡器７は、異なる検知器からの候補領域の座標を統合して追跡することができるが、その際は、軌跡の生成に利用された候補領域がどの検知器から提供されたかを示す情報、またその候補領域の他の属性を収集し保持する。また、追跡を通じて、前フレームからの位置の変化などの新たな属性が追加されうる。

脅威評価器８は、候補領域が何によるものかを識別したうえで、その移動（特に陸への接近）の傾向を考慮して、総合的に脅威を評価し多段的な発報を行う。例えば、候補領域が、５秒以上存在する、海面の外乱ではない何らかの物体として最初に認識され、その後の物体の接近に伴い２０ピクセル程度の大きさになった候補領域は、その種類の識別に成功する。また、追跡を続けることで陸への接近の傾向が判別できるようになる。つまり、脅威の程度は変化しうるので、脅威評価器８は、脅威が高まる度に、それに応じた警報を発する。これにより、海上警備の利便性および安全性を向上させることが期待できる。

候補領域の識別は、追跡器７が収集した候補領域の属性と、もし利用可能であれば特徴量ベース検知器６の判別結果に基づいて、人によって設定されたルールベースの手法や周知の機械学習手法を用いて達成される。ここで、船舶、泳者、浮遊物が呈するであろう属性を考えると、下表の様になる。

エッジを評価する対象が短時間背景画像である場合、動きの度合いによって像の輪郭の明瞭度が異なることに注意する。つまり、動きが多いとエッジが薄くなり、動きが少ないとエッジが本来のエッジに近くなる。実際には、表１よりも複雑な（例えば、昼夜で別のテーブルを参照する）判断が必要な場合がある。候補領域の識別の結果は、差分法ベース検知器４、シルエット状況下の検知器５、特徴量ベースの検知器６にフィードバックされ、パラメータの調整や、オンライン学習（強化学習）に利用される。

脅威の程度は、明確な侵入の意図が推定される状況において、特に高くなる。たとえば、10秒間に10m以上岸に近づいたと判断された場合、それが推定される。

海面状況取得器３から脅威評価器８までの構成は、DSP(Digital Signal Processor)、FPGA(Field-Programmable Gate Array)、その他の画像信号処理に特化したプロセッサを用いて実装されうる。実質的に10000 MMACS（Million Multiply-Accumulates Per Second）以上の演算性能を得るため、DSPとFPGAの協調設計、特にDSPではメモリ帯域を消費するような処理群をFPGA上でパイプライン化した構成が好ましい。

図２に、本実施例の海面状況取得器３の機能ブロック図が示される。水平線推定器３１は、映像ソース２からの任意の映像若しくは短時間背景画像等に、Canny エッジ検出フィルタとハフ変換を適用し、略水平の線分の位置を決定する。ここで得られた水平線の位置は、差分法ベース検知器４から追跡器７に適宜提供され、水平線より上の領域（マスク領域）で検知を行わないようにする。また水平線の位置は、追跡器７等で、候補領域と水平線との見かけの距離を算出する際に用いられる。

簡易推定器３２は、映像ソースからの入力映像中の所定の複数の評価領域（画素ブロック）内で、画素のモデルを推定し、領域毎に２つのしきい値を出力する。海面の画像は、一般的な差分法における背景画像と同様に、混合ガウス分布モデルによって表現されうる。本例では海面を想定しており、波の起伏に対応して明るい部分と暗い影の部分があり、更に太陽光が直接反射しているハイライト部分も想定して、２から３の分布の存在が推定される。

しきい値の決定には、ヒストグラムの谷の濃度値を用いるモード法、分別されるべき領域の面積比に従って、ヒストグラムの濃度の低い方からの画素数を決定するP−タイル法、微分ヒストグラムの値が最大となる濃度値を用いる微分ヒストグラム法、大津のしきい値決定法、画像中の部分ごとの性質に合わせてしきい値を変化させる変動しきい値法などが利用できる。
本例では、大津の方法と変動しきい値法を組合せる。すなわち、最初に適当なしきい値を設定し、各画素を画素値に応じていずれの分布モデル（クラス）に振り分け、十分な数のフレームに亘って蓄積した後、画素数や平均と分散を算出する。初期のしきい値に関して、ハイライト部分は飽和した輝度値の画素からできているのでこれを識別するしきい値は容易に決定でき、また、明るい部分と暗い部分に分けるしきい値は、全平均を用いることができる。その後、大津の方法に従い、クラス内分散とクラス間分散の比を最大化するようにしきい値を更新する。これらの処理は領域毎に行われる。また色情報を用いることなく輝度値のみを用いて行うことができる。海面の画像は比較的なだらかであるので、分布モデルは、離散的に設定された評価領域毎に行い、領域の間は補間により推定することができる。或いは、評価領域毎ではなく、画素単位でも算出できる。

暗部/明部抽出器３３は、推定された分布モデルを簡易推定器３２から受取ると、明部、暗部に相当するクラスの一方を選択する。一例として、分散または画素数が小さい方のクラスを選択する。そして、入力映像の各評価領域およびその付近において、選択したクラスに属する画素の塊の縦方向の画素数（高さ）を算出する。この値は、海面を斜めから俯瞰したときの波の影若しくは照らされた部分の高さと奥行きを含んでおり、実際の高さではない。ここで、小さい方のクラスを選んだ理由は、大きなクラスでは複数の波が連結している可能性が高く、そのような領域を誤って評価しないようにするためである。

見かけの波高推定器３４は、暗部/明部抽出器３３から受取った塊の高さを、所定の換算式を用いて、波高に換算する。換算式は俯角の関数であり、さらに経験的に補正されうるが、俯角が小さくなるほどその影響は小さい。俯角は、予め設定されているか、或いはキャリブレーション実行器７２（後述）から提供される。波高には本質的にばらつきがあるため、複数のサンプルを取得してソートし、上位何％〜何％の間を平均化する等の処理を行うことが望ましい。

波数及び周期推定器３５は、映像ソース２からの映像を元に、各領域付近での波数と周期を推定するとともに、もし可能であれば、それらに基づいて、より信頼性の高い波高を算出する。また、脅威評価器８から要求があった時には、その場所における波の波高や周期等を算出して提供する。各領域の間の場所の波高は、見かけの波高推定器３４が推定した波高を補間して算出する。波数等の推定には様々な方法があるが、方向や周期の異なる複数の波が重なっている場合、特に浅い俯角の映像からの推定は容易ではない。必要に応じて、沖から岸に向かってくる1方向の波のみの存在を想定する。周期は、領域内のある画素について、時系列の画素値若しくはクラス分け結果をＦＦＴしピークを検出することで得られる。より簡易的には、暗部/明部抽出器３３で検出された塊の上端や下端の位置を時系列に収集し、平均値との交差回数で、収集時間を除算する方法でも得られる。

水深推定器３６は、波の特性に基づいて、その場所の水深を推定する。例えば非特許文献４のように、下記の微小振幅波の分散関係式を用いて算出することができる。

ここで、Tは波の周期、ｇは重力加速度、ｈは水深である。水深が浅くなるほど波高が高く波長が短くなる現象は浅水変形と呼ばれ、複雑な不規則波においても同様の傾向がみられる。浅水変形が顕著に観察されるのは、水深が（沖での）波長の１／２よりも浅い場所に限られる。水深推定器３６は、水深の絶対値を得る必要は無く、波高が沖合に比べて何倍になっているかを示す浅水計数を算出するだけでもよい。

図３に、本実施例の差分法ベース検知器４の機能ブロック図が示される。差分法ベース検知器４は、短時間背景画像生成器４１、長時間背景画像生成器４２、更新係数設定器４３、絶対差分器４４、２値化器４５、しきい値設定器４６、時間フィルタ（真値保持器）４７、ラベリング器４８を備える。

短時間背景画像生成器４１は、内部にフレームメモリを有し、映像ソース２から所定のレートで画像フレームが入力されるたびに、その画像フレームとフレーメモリ内の画像とを所定の重み（更新係数ρ_１）で合成し、短時間背景画像として出力するとともに、フレームメモリに上書きする。この処理は時間フィルタ、リカーシブフィルタ、IIRフィルタ、指数移動平均などとも呼ばれ、一例として０．数秒程度の時定数を有する。

長時間背景画像生成器４２は、内部にフレームメモリを有し、映像ソース２から所定のレートで画像フレームが入力されるたびに、その画像フレームとフレームメモリ内の画像とを所定の重み（更新係数ρ_２）で合成し、長時間背景画像として出力するとともに、フレーメモリに上書きする。一例として、長時間背景画像生成器４２は、短時間背景画像生成器４１と同等の構成を有するが、削減されたフレームレート、若しくは、比較的小さな更新係数のもとで動作し、一例として数秒程度若しくはそれ以上の時定数を有する。

長時間背景画像生成器４２は、映像ソース２からの画像に代えて、短時間背景画像生成器４１が出力する短時間背景画像を用いることができる。長時間背景画像生成器４２は、単純に１フレームの長時間背景画像を生成するものに限らず、混合分布モデルに基づいて、複数のフレームの背景画像（平均値画像）や分散値画像を生成してもよい。これは周知のコードブック法を用いて実装されうる。モデル化には簡易推定器３２の結果を流用できる。

更新係数設定器４３は、更新係数（更新速度）ρ_１、ρ_２を、海面状況取得器３で得られた時間的周期や、候補領域の検出数などに応じて自動的に調整する。更新係数ρ_１は、波の周期（数秒〜１０数秒）と同程度の時定数で更新が行われるように、例えばρ_１＝β・ｆにより設定される。ここで、ｆは波の周波数、βは所定の係数であり、追跡器７で追跡に失敗する候補領域の割合に応じて常に調整されうる。一方更新係数ρ_２は、２０〜３０分程度と言われる波の状態の持続性を基準にして、その持続性よりも短く且つ波の周期よりも長い時定数で更新が行われるように設定される。

絶対差分器４４は、短時間背景画像と長時間背景画像の間で、対応する画素の値の差分の絶対値を算出し、差分画像として出力する。入力映像がカラーの場合、色毎にこの処理が行われる。なお、画素毎の差分に代えて、注目する画素近傍のヒストグラムの差分を算出してもよい。

２値化器４５は、絶対差分器４４からの差分画像をしきい値と比較して２値化し、２値化画像を出力する。しきい値入力映像がカラーの場合、色毎に存在するしきい値が用いられ、１色でもしきい値を越えている場合に１としたり（つまり論理和）、しきい値の超過分の和を更にしきい値処理したりすることができる。また、しきい値は、検知漏れが少ない反面誤検知が多いものと、誤検知が多い反面検知漏れが多いものの２種類を用いて、それぞれの処理結果が出力されるようにしてもよい。

モデルベースの長時間背景画像を利用できる場合、２値化器４５は、短時間背景画像の画素毎に、その画素が属するであろう分布モデルの長時間背景画像における、対応画素（ブロック）の画素値との差分を算出する。そしてその差分値の絶対値を、対応画素の分散に基づくしきい値と比較することで達成され、０又は１の論理値が出力される。入力映像における画素をモデル化した場合、短時間背景画像では、厳密には、異なる分布モデルに属する画素が時間的に重なりあったものとなる。そのためしきい値は、当該分布モデルの分散に、当該モデルと隣接モデルのそれぞれの平均の差の１／２を加えた値を基準として調整されうる。

しきい値設定器４６は、候補領域の検出に適したしきい値を適応的に設定する。一例として、差分画像中の所定の複数の領域毎に、画素値（絶対差分）を平均することで、絶対値化する前の分布における標準偏差を得て、この標準偏差に所定の係数を乗じてしきい値とする。領域に属しない画素の位置では、近傍の領域で得られたしきい値を補間して適用する。係数は人によって設定されるほか、候補領域の検出状況に応じて調整されうる。なお、入力映像の画素を正規混合モデル化している場合、短時間背景画像では、異なる分布モデルに属する画素が時間的に重なっている可能性がある。そのためしきい値は、当該分布モデルの分散に、当該モデルと隣接モデルのそれぞれの平均の差の１／２を加えた値を基準として調整されうる。

時間フィルタ４７は、内部にフレームメモリを有し、画素毎に、その画素が真値となった直近のフレームのインデックスを保持し、２値化画像を受取る都度、そのインデックスを更新しながら、そのインデックスが直近の過去ｎフレーム以内であれば真値となるような画像（平滑化２値画像）を出力する。この処理により、一度真値となった画素はその値を最低ｎフレーム維持することとなり、真値画素の塊の形が、物体の形に近づく。なお、時間領域に限らず、メディアンフィルタ等の空間領域フィルタを施してもよい。

ラベリング器４８は、時間フィルタ４７からの２値化画像の中から、８近傍法や輪郭追跡法などを用いて、真値を持つ画素の塊を候補領域として抽出し、それらにインデックスを与えるとともにそれらの属性を取得して出力する。なおこの処理を追跡器７で集中的に行う場合、ラベリング器４６は不要である。ラベリング器４６は、直前のフレームからの抽出結果（インデックステーブル）を利用して現在のフレームから抽出を行う場合、簡易的な追跡も成し得る。

映像ソ―ス２が、別体に設けられた可視領域カメラと遠赤外線カメラからそれぞれ得られる映像である場合、差分法ベース検知器４は、両映像について独立に処理を行うことができる。もし必要であれば、短時間背景画像生成器４１からラベリング器４８までの構成を２セット設けてもよい。ただし、２セットは同一構成である必要は無く、遠赤外線映像を処理する側では、短時間背景画像生成器４１や時間フィルタ４７等を省略することができる。

図４に、本実施例のシルエット状況下の検知器５の機能ブロック図が示される。シルエット状況下の検知器５は、２値化器５１、しきい値設定器５２、ラベリング器５３、時間フィルタ５４を備える。２値化器５１は、映像ソース２からの映像を、２値化器４５と同様に２値化し、２値化画像を出力する。ただし、画素値がしきい値より小さい時に真、しきい値以上の時に偽とする様態で２値化する。２値化器５１は、画素の輝度値のみを２値化できれば十分である。

しきい値設定器５２は、２値化器５１で用いるしきい値を提供する。このしきい値は、飽和（ハイライト）と暗黒を弁別するだけなので、固定的に与えることができ、或いは簡易推定器３２で生成されたしきい値を利用してもよく、ラベリング器５３で検出した候補領域のサイズに応じて、例えば想定される物体のサイズに比べて大きすぎる領域が検出されたときにしきい値をより小さくするような様態で、調整してもよい。

ラベリング器５３は、２値化器５１からの２値化画像を、ラベリング器４６と同様に処理してラベリングする。必須ではないが、ラベリング器５３は、縦横比や充填率、輪郭画素数などの、候補領域の輪郭の複雑さを示す属性を取得することが望ましい。

時間フィルタ５４は、ラベリング器５３によるフレーム間の簡易的な対応付け、もしくは追跡器７の追跡結果を利用して、フレーム間で対応する候補領域の２値化画像を、重心を一致させて平均化し、候補領域の画像として出力する。シルエット映像では、物体は黒く映り、物体自身から輝度や色情報が得られないため、２値化画像の輪郭のみから物体認識しようとすると、精度の低下が危惧される。一方、時間フィルタ５４で得られる画像に含まれるモーションブラーは、追加的な特徴量を与え、精度の改善に役立つことが期待される。なお２値化画像に代えて、候補領域の原画像を平均化してもよく、平均化以外の時間領域操作を施してもよい。候補領域の原画像は、映像ソース２からの映像フレームと、候補領域の２値化画像との論理積演算によって得られる。時間フィルタ５４は、必須ではない。

図５に、本実施例の特徴量ベースの検知器６の機能ブロック図が示される。特徴量ベースの検知器６は、周知のランダムフォレストを利用して物体を識別するもので、パッチ指定器６１、サイズ正規化器６２、決定木実行器６３、確率統合器６４、クラス判別器６５、オンライン学習器６６、を備える。

パッチ指定器６１は、差分法ベース検知器４やシルエット状況下の検知器５で検出された候補領域を適切に含む画像パッチを適用して、映像ソース２の映像から部分画像を取り出す。パッチの形状は通常、正方形である。パッチ指定器６１は、特徴量ベースの検知器６の処理能力を超えない限りで、複数の画像パッチを任意に生成できる。例えば１つの候補領域に基づいて、位置や大きさを少し異ならせた複数のバージョンのパッチを適用してもよく、あるいは候補領域が無くても、海面状況取得器３で検出した海面領域内でパッチを順次走査して適用してもよい。そのときのパッチのサイズは、追跡器７で得られたカメラパラメータに基づいて、パッチの場所に船舶等が存在した場合に映るであろうサイズ（ただし後述の正規化サイズを下回らない）に設定する。逆に、１つの映像フレームから検出された候補領域が多すぎる場合、領域の大きさに応じた優先度、脅威評価器８からの要求、或いはラウンドロビンなどの基準で、候補領域を選別する必要がある。また、決定木実行器６３が、異なる時刻のフレームもしくは異なる時間領域操作を受けたフレームから特徴量を取り出すものである場合、同一の画像パッチをそれぞれフレームに対して適用する。

サイズ正規化器６２は、パッチ指定器６１が切り出した部分画像を、決定木実行器６３が受け取ることができる所定のサイズに正規化する。サイズは、各画素が完全なカラー情報を有する４：４：４フォーマットであれば、例えば７×７画素で足りる。

決定木実行器６３は、事前の学習により作成されたT個の決定木をそれぞれトラバースし、たどり着いた葉ノードに対応するクラスの確率を出力する。決定木の分岐は、分岐関数を評価することにより行う。分岐関数は、一例として、画像パッチ内の特定の１乃至４つの画素の値の加減算の結果をしきい値処理するものであり、Semantic Texton Forestsなどが知られる。各葉ノードには、学習に用いたサンプルに関して、そのクラスの事後確率ｐ（c|v）＝|Sc|/|S|が保持されており、その値を読み出すだけで良い。なおｐ（c|v）は、ｖを入力したときにクラスｃに識別される確率であり、|S|は学習に用いたサンプル集合Sにおけるサンプルの数、|Sc|はSのうちクラスcに属するサンプルの数である。本例では、クラスは、船舶、人、浮遊物、海面、その他からなる５つ若しくはそれ以上とする。本例の決定木実行器６３の特徴として、いくつかの決定木において、分岐関数が使用する値（説明変数）は、画像パッチに由来するものに限らず、候補領域の属性、例えば位置（距離）、大きさ、輪郭の複雑さ、平均輝度等を含む。

確率統合器６４は、クラス毎に、各決定木から得られた事後確率ｐを統合する。あるクラスｃにたどり着いた木が１つもなければ確率は０であり、複数の木があれば、それぞれの事後確率ｐを算術平均、幾何平均、最大値等によって統合する。

クラス判別器６５は、統合された事後確率ｐの内、最大の１つに対応するクラスを、決定し、識別結果として出力する。

オンライン学習器６６は、運用中のデータを用いて、能動学習、半教師あり学習、トランスダクティブ学習等を行い、あるいはラベル伝搬によって事前のオフライン学習と同じアルゴリズムによる学習を継続し、性能を向上させる。能動学習では、何らかの発報が為され操作者が目視で物体を識別した結果を、学習機械に与える。例えば、発報の信頼性（クラス判別器の出力する確率）が低いもの、識別が間違っていたもの或いは目視でも紛らわしいと思われるもの、操作者の主観で特に覚えさせたいと思うもの、その他、識別境界の決定に貢献すると期待できるデータが、フィードバックされうる。なおAdaboostなどの、マージンの大きい訓練データで学習させたほど汎化誤差が小さくなるアルゴリズムでは、それに適したデータをフィードバックさせるべきである。

トランスダクティブ学習は、操作者によるラベルをテストデータとして集積し、このテストデータでの分類誤りを最小化するコンセプト及び手法である。決定木実行器６３での分岐関数や事後確率の学習、確率統合器６４でのアンサンブル学習には、例えばBrownBoost等の様々な周知の手法が利用できる。ブースティングは、既存のバージョンの識別器で誤認識された訓練データに大きな重みを与えて新たなバージョンの識別器を生成するメタアルゴリズムである。ラベル伝搬では、現在のクラス判別器６５の識別結果を仮のラベルとして使用する。単純な例では、葉ノードが保持する事後確率ｐを更新する。

図６に、本実施例の追跡器７の機能ブロック図が示される。追跡器７は、座標系変換器７１、キャリブレーション実行器７２、潮位取得器７３、属性統合器７４、カルマンフィルタ７５を備える。

座標系変換器７１は、差分法ベース検知器４乃至特徴量ベース検知器６から、候補領域の属性を受取り、候補領域の座標や大きさを、画像（シーン）座標の値から、グローバル座標の値に変換する。一般には、投影行列Ｐの逆行列Ｖを用いることで、同次座標（斉次座標）表現された画像座標は、グローバル座標に変換される。

ここで、sは、画像座標における奥行の逆数に相当する値で、候補領域のグローバル座標における海抜ｚ_Ｒをｚ_{ｗｏｒｌｄ}に与えることで、下記の様に算出される。

海上監視の場合、物体の位置はグローバル座標においてＺ＝０（つまり海抜０）と仮定することができる。なお、上式における同次座標表現のグローバル座標は、最下行の値ｗ＝ｈ_４１・ｕ_{ｉｍａｇｅ}＋ｈ_４１・ｖ_{ｉｍａｇｅ}＋ｈ_４３・sで除算することで、ユークリッド座標となる。このようにｚ_{ｗｏｒｌｄ}に定数を与えることは、結果的に、下記のホモグラフィ変換もしくはDirect Linear Transformと等価である。

ここで、(ｕ_１,ｖ_１)..(ｕ_ｎ,ｖ_ｎ)は、校正用のｎ個の点の画像座標、(ｘ_１,ｙ_１)..(ｘ_ｎ,ｙ_ｎ)はそれらの点のグローバル座標（メトリック）、ｎは４以上の自然数である。

なお、物体との距離が遠い場合、物体と水平線との見かけの距離から推定される、カメラと物体との距離Dを用いて、グローバル座標での位置を補正することができる。例えば、カメラの位置をグローバル座標の原点としている場合、以下のように元の座標の距離情報をDに置き換える様態で補正する。

キャリブレーション実行器７２は、グローバル座標への変換に必要な投影行列P若しくはホモグラフィ行列H或いはカメラパラメータを算出する。投影行列Pは、内部カメラパラメータ行列Aと、外部カメラパラメータ（運動パラメータ）行列Mの積で与えられる。内部カメラパラメータ行列Aは、焦点距離、画素ピッチの縦横比などによって決まり、外部カメラパラメータ行列Mは、カメラの設置位置や撮影方向によって決まる。投影行列Pは、１１の自由度を有し、良く知られたZ. ZhangやTsaiの方法を用いて６以上の既知の点から推定できる。

潮位取得器７３は、キャリブレーション実行器７２内に設けられ、もし利用可能であれば、より正確な海面水位を取得してキャリブレーション実行器７２に提供する。水位は、海面の規定の場所に設けられた浮遊するブイや標識の高さ位置に基づいて推定したり、映像ソース２の映像に映りこんだ海岸線の位置や人工構造物に対する水面の位置などから画像処理技術を用いて推定したりすることができる。或いは、潮位情報を外部から随時取得したり、潮汐（天文潮）データを内部に保持し暦に応じて読み出すようにしてもよい。

属性統合器７４は、差分法ベース検知器４乃至特徴量ベース検知器６で得られた複数の候補領域を、過去に得られた対応する候補領域と関連付け、各候補領域を追跡しているカルマンフィルタ７５に渡すとともに、カルマンフィルタ７５から追跡結果を受取り、同一であると推定された候補領域の属性を統合、追加或いは更新する。関連付けは、候補領域の属性、特にグローバル座標で表現された位置座標や大きさ、速度が互いに類似するものを対応付ける様態で行われる。複数の検知器から同一の物体に由来する候補領域がそれぞれ得られたとしても、属性の類似性に基づいてそれらは統合される。また少なくとも１回追跡に成功すると、位置の変化に基づいて、軌跡や速度等の新たな属性が追加され、以後追跡が成功するたびに、その他の属性と同様に更新もしくは追加される。あるフレームから、単一の物体に由来する候補領域が複数に***して得られていたとしても、軌跡の共通性やサイズなどを考慮して、それらを統合することができる。候補領域は、追跡の継続によって、存在することが確からしい物体へと変わっていく。追跡が中断した場合、属性統合器７４は現在の想定位置付近での候補物体の検知の試行を、特徴量ベース検知器６に要求することができる。物体が映像ソース２の視界の外に出ることによる追跡の中断を避けるため、現在の想定位置が視野外であるかもしくは視野外に近づいているかどうかを、画像座標もしくはグローバル座標で判断し、カメラを搭載している電動雲台を制御することができる。

カルマンフィルタ７５は、属性統合器７４から候補領域の位置座標を受取り、候補領域毎にカルマンフィルタ処理を行い、推定された位置を出力する。推定された位置は、低減されたノイズを有する。カルマンフィルタ７５は、内部的にモデルの推定を行うため、算出された位置の分散は、属性統合器７４における関連付けのしきい値として利用され得る。

図７に、本実施例の脅威評価器８の機能ブロック図の一例が示される。脅威評価器８は、遠赤画像輝度評価器８１、位置変化評価器８２、大きさ評価器８３、縦横比評価器８４、輝度変動評価器８５、エッジ評価器８６、重点度評価器８７、その他の評価器８８、識別器８９、及び、発報制御器９０を有する。遠赤画像輝度評価器８１から充填度評価器８７までの構成は、分類器８８が使用する特徴量（説明変数）もしくは確率等の定量的な数値を算出するものである。

遠赤画像輝度評価器８１は、追跡器７が蓄積した候補領域（物体）の属性の内、遠赤線画像の候補領域における輝度を評価し、それを説明する数値を出力する。一例として、候補領域中の輝度の平均値に所定の係数を乗じた値を出力する。係数は、各特徴量の分散を正規化する意味を含む。或いは、その平均輝度が得られたときにそれが船舶、浮遊物、もしくは遊泳者である事後確率をそれぞれ出力してもよい。以降の他の評価器でも同様である。

位置変化評価器８２は、蓄積した候補領域の属性の１つである重心位置の時系列から、変動の周期や幅（波高）を算出し、海面上取得器３により得られた周期や波高との一致度、又は、位置変化の直線性や等速性の程度を数値化して出力する。波高は見かけの波高、実際の波高のいずれで比較してもよく、比較のために必要であれば適宜座標変換を行う。或いは候補領域の付近で、暗部/明部抽出器３３が抽出している明部又は暗部の縦方向位置の時系列と、上記重心位置の時系列との、統計的な相関値を計算してもよい。一方、直線性や等速性の程度は、一例として、加速度の大きさ（絶対値もしくは速度に垂直な成分）の平均値を平均速度で除算することにより数値化できる。このときに用いる候補領域の位置は、カルマンフィルタ７５で処理される前のものや、画像座標におけるものでもよい。

大きさ評価器８３は、蓄積した候補領域の属性の１つである大きさ（ワールド座標）を時間平均化して評価した値を出力する。なお時間平均化に代えて、中央値を用いてもよい。他の評価器でも同様である。

縦横比評価器８４は、蓄積した候補領域の属性の１つである縦横比を時間平均化して評価した値を出力する。

輝度変動評価器８５は、蓄積した候補領域の属性の１つである平均輝度の時系列から、統計上の分散や偏差のような、ばらつきの度合いを評価した値を出力する。

エッジ評価器８６は、蓄積した候補領域の属性の１つであるエッジ量を時間平均化して評価した値を出力する。

充填度評価器８７は、蓄積した候補領域の属性の１つである充填度を時間平均化して評価した値を出力する。

その他の評価器８８は、候補領域の属性等に基づいて、その他の特徴量もしくは識別器８９のパラメータを出力する。例えば、映像ソースの種類（可視/遠赤）や、日照（昼/夜）に関わる特徴量、もしくはそれに応じて識別器を切替える信号を出力する。

識別器８９は、事例ベース推論（k近傍法）、決定木、ロジスティック回帰、ベイズ推論（隠れマルコフモデルを含む）、パーセプトロン等の周知技術を用いて構成された学習済みの識別器であり、候補領域の識別（分類）結果及び/または各分類の確率を出力する。評価器８９の内部では、その他の評価器８８の出力に応じて、パラメータや学習機械が切り替えられうる。もし、特徴量ベース検知器６による識別結果が利用できるときは、その結果と統合してもよく、ある候補領域について遠赤画像と可視画像の双方で各評価値が得られている場合、それぞれについて識別した結果統合してもよい。遠赤画像輝度評価器８１から重点度評価器８７が、各分類の確率を出力するものである場合、識別器８９はそれらを統合するアンサンブル学習器で構成され得る。

侵入度評価器９０は、蓄積した候補領域の属性の１つである、カルマンフィルタで処理された位置座標の系列から、領海への侵入度もしくは陸への接近度、或いはそれらの意図もしくは可能性に関する評価値を出力する。簡易な例では、現在の位置（グローバル座標）を、予め保持している地図の海岸線（基線）や領海線との最短距離を評価値とすることができる。しかし岬の先を通過するような侵入意図のない船に対して発報する可能性がある。そのため、周知の機械学習手法を用いて多数の軌跡を学習させ、平常時から観察される軌跡とは異なる軌跡に反応するような外れ値（異常値）検知を行ったり、行き先推定を行ったりして、それらの値に応じて評価値が変化することが望ましい。

発報制御器９１は、識別器８９による物体の識別結果と、侵入度評価器９０による評価値とに基づいて、侵入の脅威の程度を表わす連続的な或いは十分に多段階の評価値を出力するとともに、その評価値が設定されたしきい値を跨ぐ変化をするたびに、アラームを出力する。識別器８９の識別結果は通常、確率を示しているが、もし１つの選ばれたクラスを指し示すだけの結果であっても、カルマンフィルタ７５による追跡期間が長いほど、もしくは、候補領域の見かけのサイズが大きいほど高まるような信頼性を用いることができる。

本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。例えば短時間背景画像を用いず、映像フレームと長時間背景画像を差分処理してもよく、波による差分が多数生じるものの、特徴量ベースの検知器６等における機械学習によってそれらを分別できる可能性がある。

また、本発明は、例えば、本発明に係る処理を実行する方法或いは装置や、そのような方法をコンピュータに実現させるためのプログラムや、当該プログラムを記録する一過性ではない有形の媒体などとして提供することもできる。

本発明は、ＣＣＴＶ（Closed-Circuit Television）システム等に適用できる。

１監視システム
２監視カメラ装置
３海面状況取得器
４差分法ベース検知器
５シルエット状況下の検知器
６特徴量ベース検知器
７追跡器
８脅威評価器

Claims

映像ソース（２）からの入力映像に基づいて、前記入力映像の背景である水面の波の振幅と周期を含む波の属性を自動的に推定する海面状況取得器（３）と、
前記入力映像から基準画像を生成し、前記基準画像に比べて値が高速に変化する画素を前記入力映像から検出する差分法ベースの検知器（４）と、
実質的に飽和した輝度を有する背景と、実質的に暗黒の輝度を有する物体が映った前記入力映像から、暗黒領域を物体候補として検出する、シルエット状況下の検知器（５）と、
前記入力映像から画像特徴量を抽出し、予め機械学習した物体の種類に該当する前記画像特徴量を発見したときに、前記物体の種類を出力する特徴量ベースの検知器（６）と、
を備え、
前記特徴量ベースの検出器（６）が、前記差分法ベースの検知器（４）や前記シルエット状況下の検知器（５）が検出した候補領域の情報を取得し、前記入力映像における前記暗黒領域の近傍で前記画像特徴量を抽出する、水上侵入検知システム。
映像ソース（２）からの入力映像に基づいて基準画像を生成し、前記基準画像に比べて値が高速に変化する画素を前記入力映像から検出する差分法ベースの検知器（４）と、
実質的に飽和した輝度を有する背景と、実質的に暗黒の輝度を有する物体が映った前記入力映像から、暗黒領域を物体候補として検出する、シルエット状況下の検知器（５）と、
前記入力映像から画像特徴量を抽出し、予め機械学習した物体の種類に該当する前記画像特徴量を発見したときに、前記物体の種類を出力する特徴量ベースの検知器（６）と、
前記差分法ベースの検知器、前記シルエット状況下の検知器及び前記特徴量ベースの検知器によって検出された前記物体候補の前記暗黒領域にラベル付け、及び時間方向の関連付けをし、統合された前記物体候補の前記暗黒領域の属性を更新する追跡器（７）と、
を備え、
前記特徴量ベースの検出器（６）が、前記差分法ベースの検知器（４）や前記シルエット状況下の検知器（５）が検出した候補領域の情報を取得し、前記入力映像における前記暗黒領域の近傍で前記画像特徴量を抽出する、水上侵入検知システム。
映像ソース（２）からの入力映像に基づいて、基準画像を生成し、前記基準画像に比べて値が高速に変化する画素を前記入力映像から検出する差分法ベースの検知器（４）と、
実質的に飽和した輝度を有する背景と、実質的に暗黒の輝度を有する物体が映った前記入力映像から、暗黒領域を物体候補として検出する、シルエット状況下の検知器（５）と、
前記入力映像から画像特徴量を抽出し、予め機械学習した物体の種類に該当する前記画像特徴量を発見したときに、前記物体の種類を出力する特徴量ベースの検知器（６）と、
前記物体を識別し、前記物体の追跡を続けて陸への接近の傾向を考慮して、総合的に脅威を評価し多段的な発報を行う脅威評価器（８）と、
を備え、
前記特徴量ベースの検出器（６）が、前記差分法ベースの検知器（４）や前記シルエット状況下の検知器（５）が検出した候補領域の情報を取得し、前記入力映像における前記暗黒領域の近傍で前記画像特徴量を抽出する、水上侵入検知システム。
映像ソース（２）からの入力映像に基づいて、前記入力映像の背景である水面の波の振幅と周期を含む波の属性を自動的に推定する海面状況取得器（３）と、
前記入力映像から基準画像を生成し、前記基準画像に比べて値が高速に変化する画素を前記入力映像から検出する差分法ベースの検知器（４）と、
実質的に飽和した輝度を有する背景と、実質的に暗黒の輝度を有する物体が映った前記入力映像から、暗黒領域を物体候補として検出する、シルエット状況下の検知器（５）と、
前記入力映像から画像特徴量を抽出し、予め機械学習した物体の種類に該当する前記画像特徴量を発見したときに、前記物体の種類を出力する特徴量ベースの検知器（６）と、
前記差分法ベースの検知器、シルエット状況下の検知器及び特徴量ベースの検知器によって検知された前記物体候補の前記暗黒領域にラベル付け、及び時間方向の関連付けをし、統合された前記物体候補の前記暗黒領域の属性を更新する追跡器（７）と、
を備え、
前記特徴量ベースの検出器（６）が、前記差分法ベースの検知器（４）や前記シルエット状況下の検知器（５）が検出した候補領域の情報を取得し、前記入力映像における前記暗黒領域の近傍で前記画像特徴量を抽出する、水上侵入検知システム。
映像ソース（２）からの入力映像に基づいて、前記入力映像の背景である水面の波の振幅と周期を含む波の属性を自動的に推定する海面状況取得器（３）と、
前記入力映像から基準画像を生成し、前記基準画像に比べて値が高速に変化する画素を前記入力映像から検出する差分法ベースの検知器（４）と、
実質的に飽和した輝度を有する背景と、実質的に暗黒の輝度を有する物体が映った前記入力映像から、暗黒領域を物体候補として検出する、シルエット状況下の検知器（５）と、
前記入力映像から画像特徴量を抽出し、予め機械学習した物体の種類に該当する前記画像特徴量を発見したときに、前記物体の種類を出力する特徴量ベースの検知器（６）と、
物体を識別し、前記物体の移動の傾向を考慮して、総合的に脅威を評価し多段的な発報を行う脅威評価器（８）と、
を備え、
前記特徴量ベースの検出器（６）が、前記差分法ベースの検知器（４）や前記シルエット状況下の検知器（５）が検出した候補領域の情報を取得し、前記入力映像における前記暗黒領域の近傍で前記画像特徴量を抽出する、水上侵入検知システム。
映像ソース（２）からの入力映像に基づいて、基準画像を生成し、前記基準画像に比べて値が高速に変化する画素を前記入力映像から検出する差分法ベースの検知器（４）と、
実質的に飽和した輝度を有する背景と、実質的に暗黒の輝度を有する物体が映った前記入力映像から、暗黒領域を物体候補として検出する、シルエット状況下の検知器（５）と、
前記入力映像から画像特徴量を抽出し、予め機械学習した物体の種類に該当する前記画像特徴量を発見したときに、前記物体の種類を出力する特徴量ベースの検知器（６）と、
前記差分法ベースの検知器、前記シルエット状況下の検知器及び前記特徴量ベースの検知器によって検知された前記物体候補の前記暗黒領域にラベル付け、及び時間方向の関連付けをし、統合された前記物体候補の前記暗黒領域の属性を更新する追跡器（７）と、
前記物体候補の前記暗黒領域の原因となった物体を識別し、前記物体の移動の傾向を考慮して、総合的に脅威を評価し多段的な発報を行う脅威評価器（８）と、
を備え、
前記特徴量ベースの検出器（６）が、前記差分法ベースの検知器（４）や前記シルエット状況下の検知器（５）が検出した候補領域の情報を取得し、前記入力映像における前記暗黒領域の近傍で前記画像特徴量を抽出する、水上侵入検知システム。