以下、本発明の構成を図面に示す実施の形態の一例に基づいて詳細に説明する。
図1及び図2に、本発明の飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラムの実施形態の一例を示す。
本実施形態の飛来物体を検出する画像処理方法は、図1に示すように、撮像装置を用いて監視対象区域を撮影し(S1)、当該撮影によって得られた撮像画像のデータであって予め定められた処理単位時間に亘って時系列で連続する撮像画像のデータを用いて処理単位時間の間における画素座標(x,y)毎の輝度値の最大値を画素値H(x,y)とする高輝度画像H及び輝度値の最小値を画素値L(x,y)とする低輝度画像Lを作成し(S2−1)、また、低輝度画像Lの画素座標(x,y)毎の輝度値として選択された画素値を有する元の撮像画像の時刻識別子tの値を画素値T(x,y)に変換して記録した時刻画像Tを作成し(S2−2)、高輝度画像Hと低輝度画像Lとの画素座標(x,y)毎の画素値の差分値であるMax[H(x,y)−L(x,y),0]を画素値S(x,y)とする差分画像Sを作成し(S3)、当該差分画像Sを二値変換して移動体、具体的には撮像装置の撮影範囲の背景よりも輝度が低い飛来する移動体の移動軌跡基本画像Sbを作成し(S4)、さらに、時刻画像Tの画素座標(x,y)毎の画素値T(x,y)として出現する撮像画像の時刻識別子tの値別の出現頻度Hist[T(x,y)]に基づく所定の条件を時刻画像Tにおける画素値T(x,y)としての撮像画像の時刻識別子tの値が満たしている画素座標(x,y)は前記飛来する移動体の移動軌跡であるとして移動軌跡基本画像Sbに移動体の移動軌跡を追加して移動軌跡補完画像Scを作成し(S5)、当該移動軌跡補完画像Scのノイズを除去し(S6)、そして、ノイズ除去後の移動軌跡補完画像における移動体の移動軌跡の現出状況に応じて処理単位時間の間における監視対象区域への飛来する移動体の進入の有無を判断する(S7)ようにしている。
また、本実施形態の飛来物体を検出する画像処理装置は、撮像装置を用いての監視対象区域の撮影によって得られた撮像画像のデータであって予め定められた処理単位時間に亘って時系列で連続する撮像画像のデータを記憶装置としてのデータサーバ(16)から読み込む手段(11a)と、処理単位時間の間における画素座標(x,y)毎の輝度値の最大値を画素値H(x,y)とする高輝度画像H及び輝度値の最小値を画素値L(x,y)とする低輝度画像Lを作成すると共に低輝度画像Lの画素座標(x,y)毎の輝度値として選択された画素値を有する元の撮像画像の時刻識別子tの値を画素値T(x,y)に変換して記録した時刻画像Tを作成する手段(11b)と、高輝度画像Hと低輝度画像Lとの画素座標(x,y)毎の画素値の差分値であるMax[H(x,y)−L(x,y),0]を画素値S(x,y)とする差分画像Sを作成する手段(11c)と、差分画像Sを二値変換して移動体、具体的には撮像装置の撮影範囲の背景よりも輝度が低い飛来する移動体の移動軌跡基本画像Sbを作成する手段(11d)と、時刻画像Tの画素座標(x,y)毎の画素値T(x,y)として出現する撮像画像の時刻識別子tの値別の出現頻度Hist[T(x,y)]に基づく所定の条件を時刻画像Tにおける画素値T(x,y)としての撮像画像の時刻識別子tの値が満たしている画素座標(x,y)は前記飛来する移動体の移動軌跡であるとして移動軌跡基本画像Sbに移動体の移動軌跡を追加して移動軌跡補完画像Scを作成する手段(11e)と、移動軌跡補完画像Scのノイズを除去する手段(11f)と、ノイズ除去後の移動軌跡補完画像における移動体の移動軌跡の現出状況に応じて処理単位時間の間における監視対象区域への飛来する移動体の進入の有無を判断する手段(11g)とを有する。
さらに、本実施形態の飛来物体を検出する画像処理プログラムは、撮像装置を用いての監視対象区域の撮影によって得られた撮像画像のデータであって予め定められた処理単位時間に亘って時系列で連続する撮像画像のデータを記憶装置から読み込む手段(11a)、処理単位時間の間における画素座標(x,y)毎の輝度値の最大値を画素値H(x,y)とする高輝度画像H及び輝度値の最小値を画素値L(x,y)とする低輝度画像Lを作成する手段(11b)、低輝度画像Lの画素座標(x,y)毎の輝度値として選択された画素値を有する元の撮像画像の時刻識別子tの値を画素値T(x,y)に変換して記録した時刻画像Tを作成する手段(11b)と、高輝度画像Hと低輝度画像Lとの画素座標(x,y)毎の画素値の差分値であるMax[H(x,y)−L(x,y),0]を画素値S(x,y)とする差分画像Sを作成する手段(11c)と、差分画像Sを二値変換して移動体、具体的には撮像装置の撮影範囲の背景よりも輝度が低い飛来する移動体の移動軌跡基本画像Sbを作成する手段(11d)と、時刻画像Tの画素座標(x,y)毎の画素値T(x,y)として出現する撮像画像の時刻識別子tの値別の出現頻度Hist[T(x,y)]に基づく所定の条件を時刻画像Tにおける画素値T(x,y)としての撮像画像の時刻識別子tの値が満たしている画素座標(x,y)は前記飛来する移動体の移動軌跡であるとして移動軌跡基本画像Sbに移動体の移動軌跡を追加して移動軌跡補完画像Scを作成する手段(11e)と、移動軌跡補完画像Scのノイズを除去する手段(11f)と、ノイズ除去後の移動軌跡補完画像における移動体の移動軌跡の現出状況に応じて処理単位時間の間における監視対象区域への飛来する移動体の進入の有無を判断する手段(11g)としてコンピュータを機能させる。
そして、飛来物体を検出する画像処理方法の実行にあたっては、まず、撮像装置を用いて監視対象区域の撮影が行われる(S1)。
本発明では、撮像素子を備えて画素毎の少なくとも輝度値を時系列で連続して把握・出力することができる撮像装置(具体的には例えばCCD方式のデジタルビデオカメラやCMOS方式のデジタルビデオカメラ)を用い、当該撮像装置が適当な場所に固定されて監視対象区域の撮影が行われる。なお、本発明では画素毎の輝度値を利用するので、画素毎の少なくとも輝度値が把握(言い換えると、算出)できれば良く、撮像画像自体はグレースケール画像であっても、カラー画像であっても、どちらでも構わない。
なお、本発明の処理内容に鑑みると、撮像装置の撮影速度(フレームレート)は30〔fps〕以上であることが好ましいものの、例えば検出対象とする移動体の想定される移動速度がそれほど速くない場合などには30〔fps〕未満であっても構わない。
ここで、本発明は、撮像された画像において輝度が低い物体として記録されている移動体を抽出する処理を行う。このため、本発明では、検出対象として想定する移動体よりも輝度が低い面的な物体、例えば黒い壁や濃い影などの面的な黒い物体が撮影範囲に多く含まれないようにする。すなわち、監視対象区域の撮影に当たっては、検出対象として想定する移動体よりも輝度が高いものが背景として撮影範囲の多くの部分を占めることがないように撮像装置の固定位置及び撮影方向が調整される。また、太陽光によって明るさが確保されている時間帯に撮像された画像のデータを処理の対象とする。さらに、特に飛来物体を検出するためには、飛来物体の飛行経路と想定される若しくは飛行経路になり得る範囲が撮像されるように撮像装置の固定位置及び撮影方向が調整される。
次に、S1の処理によって得られた撮像画像のデータを用いて高輝度画像と低輝度画像との作成が行われる(S2−1)。
ここで、本発明の飛来物体を検出する画像処理方法におけるS2以降の処理は本発明の飛来物体を検出する画像処理装置によって実行され得る。
そして、本発明の飛来物体を検出する画像処理方法におけるS2以降の処理及びこれら処理を実行する画像処理装置は、本発明の飛来物体を検出する画像処理プログラムをコンピュータ上で実行することによっても実現され得る。本明細書では、飛来物体を検出する画像処理プログラムをコンピュータ上で実行することによってS2以降の処理を実行する画像処理装置が実現されると共に画像処理方法におけるS2以降の処理が実行される場合を説明する。
画像処理プログラム17を実行するためのコンピュータ10(本実施形態では、画像処理装置10でもある)の全体構成を図2に示す。このコンピュータ10(画像処理装置10)は、制御部11、記憶部12、入力部13、表示部14及びメモリ15を備え相互にバス等の信号回線によって接続されている。また、コンピュータ10には記憶装置としてのデータサーバ16がバス等の信号回線によって接続されており、その信号回線を介してデータや制御指令等の信号の送受信(即ち出入力)が相互に行われる。
制御部11は記憶部12に記憶されている画像処理プログラム17によってコンピュータ10全体の制御並びに撮像画像からの移動体の検出及び監視対象区域への移動体の進入回数の計測に係る演算を行うものであり、例えばCPU(中央演算処理装置)である。
記憶部12は少なくともデータやプログラムを記憶可能な装置であり、例えばハードディスクである。
メモリ15は制御部11が種々の制御や演算を実行する際の作業領域であるメモリ空間となるものであり、例えばRAM(Random Access Memory の略)である。
入力部13は少なくとも作業者の命令を制御部11に与えるためのインターフェイスであり、例えばキーボードである。
表示部14は制御部11の制御によって文字や図形等の描画・表示を行うものであり、例えばディスプレイである。
そして、本実施形態では、上述のS1の処理において撮像され取得された時系列で連続する撮像画像のデータであって画素毎の少なくとも輝度値を含むデータが画像データベース18としてデータサーバ16に格納(保存)される。
そして、コンピュータ10(本実施形態では、画像処理装置10でもある)の制御部11には、画像処理プログラム17を実行することにより、S1の処理において撮像された画像のデータであって予め定められた処理単位時間に亘って時系列で連続する撮像画像のデータを記憶装置としてのデータサーバ16から読み込む処理を行うデータ読込部11a、処理単位時間の間における画素座標(x,y)毎の輝度値の最大値を画素値H(x,y)とする高輝度画像H及び輝度値の最小値を画素値L(x,y)とする低輝度画像Lを作成する処理並びに低輝度画像Lの画素座標(x,y)毎の輝度値として選択された画素値を有する元の撮像画像の時刻識別子tの値を画素値T(x,y)に変換して記録した時刻画像Tを作成する処理を行う輝度別画像作成部11b、高輝度画像Hと低輝度画像Lとの画素座標(x,y)毎の画素値の差分値であるMax[H(x,y)−L(x,y),0]を画素値S(x,y)とする差分画像Sを作成する処理を行う差分画像作成部11c、差分画像Sを二値変換して移動体、具体的には撮像装置の撮影範囲の背景よりも輝度が低い飛来する移動体の移動軌跡基本画像Sbを作成する処理を行う移動軌跡画像作成部11d、時刻画像Tの画素座標(x,y)毎の画素値T(x,y)として出現する撮像画像の時刻識別子tの値別の出現頻度Hist[T(x,y)]に基づく所定の条件を時刻画像Tにおける画素値T(x,y)としての撮像画像の時刻識別子tの値が満たしている画素座標(x,y)は前記飛来する移動体の移動軌跡であるとして移動軌跡基本画像Sbに移動体の移動軌跡を追加して移動軌跡補完画像Scを作成する処理を行う補完画像作成部11e、移動軌跡補完画像Scのノイズを除去する処理を行うノイズ除去部11f、ノイズ除去後の移動軌跡補完画像における移動体の移動軌跡の現出状況に応じて処理単位時間の間における監視対象区域への飛来する移動体の進入の有無を判断する処理を行う進入回数計測部11gとが構成される。
画像処理プログラム17が実行されることによる具体的な処理としては、まず、コンピュータ10(画像処理装置10)の制御部11に構成されたデータ読込部11aが撮像画像のデータの読み込みを行う。
具体的には、データ読込部11aは、S1の処理において撮像され取得されてデータサーバ16に格納されている画像データベース18に記録されている時系列で連続する撮像画像のデータ(以下、連続画像データと呼ぶ)をデータサーバ16から読み込む。そして、データ読込部11aは読み込んだ連続画像データをメモリ15に記憶させる。なお、データ読込部11aは、時系列連続画像における画像毎の時刻識別子tとして1からの連続番号を時系列順に画像毎に付与するようにし、連続画像データを構成する各画像をこの時刻識別子tの値と対応づけてメモリ15に記憶させる。
続いて、制御部11の輝度別画像作成部11bが輝度別の画像として高輝度画像及び低輝度画像の作成を行う。
具体的には、輝度別画像作成部11bは、データ読込部11aによってメモリ15に記憶された連続画像データをメモリ15から読み込み、当該連続画像データを用い、予め定められた処理単位時間の間における画素毎に最も明るい(即ち、最も大きい)輝度値を記録した高輝度画像Hを数式1−1に従って作成すると共に画素毎に最も暗い(即ち、最も小さい)輝度値を記録した低輝度画像Lを数式1−2に従って作成する。
ここに、H(x,y):高輝度画像の画素座標(x,y)の画素値(輝度値),
L(x,y):低輝度画像の画素座標(x,y)の画素値(輝度値),
t:連続画像における画像毎の時刻識別子,
t
1:処理対象とする連続画像中の画像時刻識別子の開始値,
t
2:処理対象とする連続画像中の画像時刻識別子の終了値,
f(x,y,t):時刻識別子tの画像の画素座標(x,y)での輝度値
をそれぞれ表す。
また、Max[f(x,y,t)]は与えられたtの範囲内におけるf(x,y,t)の最大値を抽出する関数を表し、Min[f(x,y,t)]は与えられたtの範囲内におけるf(x,y,t)の最小値を抽出する関数を表す。
処理単位時間は、S2(即ち、S2−1及び2−2のこと。以下同じ)からS6までの処理を一連として適用する、連続画像群を区切るための時間区分である。処理単位時間の長さは、特定の長さに限定されるものではなく、具体的には例えば数十秒から数分間程度の範囲で設定されることが考えられる。
数式1−1によって算出される値を画素毎の画素値として有する画像は、処理単位時間中の画素座標(x,y)毎の最大輝度値を寄せ集め組み合わせて作成される画像であるので、輝度の低い移動体が処理単位時間中に撮影範囲に進入したとしても当該移動体の像が反映されない画像になる。
一方で、数式1−2によって算出される値を画素毎の画素値として有する画像は、処理単位時間中の画素座標(x,y)毎の最小輝度値を寄せ集め組み合わせて作成される画像であるので、輝度の低い移動体が処理単位時間中に撮影範囲に進入した場合には当該移動体の像が反映された画像になる。具体的には、輝度の低い移動体の移動状況が移動の軌跡として映り込んだ画像になる。
なお、S1の処理によって得られた撮像画像がグレースケール画像である場合もカラー画像である場合もそれら撮像画像のデータを適切な方法によって輝度値に変換して数式1によって高輝度画像H及び低輝度画像Lを作成する。なお、画像データ(画素毎の画素値)から輝度値を計算する方法自体は周知の技術であるのでここでは詳細については省略する。
また、処理対象とする連続画像中の画像時刻識別子の開始値t1及び終了値t2の値はS2からS6までの処理を一連として適用する連続画像群を区切るための時間区分である処理単位時間に関係する値であるところ、画像データベース18に記録されている連続画像データが処理単位時間で元より区切られて別々のデータファイルになっているのであればS1の処理においてファイル毎に読み込むと共にS2−S6の処理をファイル毎に行うようにすれば良く、或いは、画像データベース18に記録されている連続画像データが処理単位時間で区切られていないのであれば予め指定された処理単位時間分に該当する画像枚数を区切りとしてS1の処理においてデータを読み込むと共にS2−S6の処理を行うようにすれば良い。なお、S1の処理における監視対象区域の撮影で用いた撮像装置の撮影速度(フレームレート)をRF〔fps〕とすると共に処理単位時間(時間区分)をm秒間とすると、処理対象とする連続画像の枚数n=RF×mであり、画像の時刻識別子の開始値t1から終了値t2までの画像枚数が[RF×m]枚になるように画像の時刻識別子t1及びt2の値を指定しながらS1の処理においてデータを読み込むと共に、[RF×m]枚の連続画像群に対してS2からS6までの処理が一連として適用される。
そして、輝度別画像作成部11bは、画素座標(x,y)毎のH(x,y)の値を高輝度画像Hとしてメモリ15に記憶させると共に、画素座標(x,y)毎のL(x,y)の値を低輝度画像Lとしてメモリ15に記憶させる。
また、S2−1の処理と並行して時刻画像の作成が行われる(S2−2)。
具体的には、輝度別画像作成部11bは、数式1−2による低輝度画像Lの作成と同時に、数式2に従い、低輝度画像Lの画素座標(x,y)の輝度値として選択された画素値を有する(即ち、最小輝度値の画素値を有する)元の画像の時刻識別子tの値を画素値に変換して記録した時刻画像Tを作成する。
ここに、T(x,y):時刻画像の画素座標(x,y)の画素値を表す。
なお、時刻画像Tの画素毎の画素値は実際には連続画像における画像毎の時刻識別子tの値であるが、この時刻識別子tは、連続画像群の各画像に時系列で順番に付与される値であって時間に関係する値であり、また、画像が撮像された現実の時刻に対応する値であることを考慮し、画素座標(x,y)毎の時刻識別子tの値からなるデータ群のことを時刻画像Tと呼ぶ。
そして、輝度別画像作成部11bは、画素座標(x,y)毎のT(x,y)の値を時刻画像Tとしてメモリ15に記憶させる。
次に、S2−1の処理によって作成された高輝度画像Hと低輝度画像Lとを用いて差分画像の作成が行われる(S3)。ただし、差分が負の場合には0とする。
具体的には、差分画像作成部11cは、S2−1の処理においてメモリ15に記憶された高輝度画像Hとしての画素座標(x,y)毎のH(x,y)の値と低輝度画像Lとしての画素座標(x,y)毎のL(x,y)の値とをメモリ15から読み込み、数式3に従って画素座標(x,y)毎に高輝度画像Hにおける輝度値と低輝度画像Lにおける輝度値との差分を計算する。ただし、差分が負の場合には0とする。
ここに、S(x,y):差分画像の画素座標(x,y)の画素値,
H(x,y):高輝度画像の画素座標(x,y)の画素値(輝度値),
L(x,y):低輝度画像の画素座標(x,y)の画素値(輝度値)
をそれぞれ表す。
また、Max[H(x,y)−L(x,y),0]は「H(x,y)−L(x,y)」と「0」とのうちの大きい方を抽出する関数を表す。
数式3によって算出される値を画素毎の画素値として有する画像は、処理単位時間に亘って撮影範囲への移動体の進入がなく輝度値に大きな変化がない場合には高輝度画像Hにおける画素値H(x,y)と低輝度画像Lにおける画素値L(x,y)との間に大きな差がないのでこれらの画素値の差分値であるS(x,y)の値が小さくなる。
一方で、処理単位時間中に輝度の低い移動体が撮影範囲に進入して撮像されたことによって輝度値が一時的に低下した場合には撮像部分(画素)における高輝度画像Hにおける画素値H(x,y)と低輝度画像Lにおける画素値L(x,y)との間に大きな差が生じることになるのでこれらの画素値の差分値であるS(x,y)の値が大きくなる。すなわち、輝度の低い移動体の移動の軌跡にかかる画素座標(x,y)での差分値S(x,y)が他の画素座標での差分値Sよりも大きくなる。
そして、差分画像作成部11cは、画素座標(x,y)毎のS(x,y)の値を差分画像Sとしてメモリ15に記憶させる。
次に、S3の処理によって作成された差分画像Sを用いて移動体の移動軌跡についての基本画像の作成が行われる(S4)。
具体的には、移動軌跡画像作成部11dは、S3の処理においてメモリ15に記憶された差分画像Sとしての画素座標(x,y)毎のS(x,y)の値をメモリ15から読み込み、数式4に従って画素座標(x,y)毎にS(x,y)の値を二値に変換する。
ここに、S
b(x,y):移動軌跡基本画像の画素座標(x,y)の画素値,
S(x,y):差分画像の画素座標(x,y)の画素値,
α:二値変換の閾値
をそれぞれ表す。
ここで、二値変換の閾値αは、差分画像Sから低輝度の移動体のみを抽出するための基準となる値(具体的には輝度値)である。二値変換の閾値αの値は、特定の値に限定されるものではなく、S1の処理において撮像され取得された連続画像データにおける画像全体の傾向や検出対象とする移動体の特徴(具体的には、移動体の黒さの程度に基づいて想定される撮像された移動体の像の輝度)などに基づいて適宜設定される。例えば、S3までの処理によって得られた差分画像Sにおける画素座標(x,y)毎のS(x,y)の値の平均値や分布の特性などに基づいて検出対象とする移動体の検出に適切な値を適宜調節・設定することが考えられる。
数式4を用いた処理により、差分画像Sに基づき、処理単位時間に亘って移動体の映り込みがないために輝度値に大きな変化がなくS(x,y)の値が小さい画素の画素値は0となり、一方で、移動体の映り込みがあったために輝度値が大きく変化してS(x,y)の値が大きい画素(即ち、移動体の移動の軌跡にかかる画素)の画素値は1となる。
以上の処理により、撮影範囲に移動体が進入した場合には当該移動体の移動の軌跡が現出している画像が作成される。なお、上述の処理内容から明らかな通り、S4の処理の結果として得られる画像においては、移動体が抽出されている画像であって移動体の移動の軌跡が現出している画像では画素値として1が出現し、移動体が抽出されていない画像であって移動体の移動の軌跡が現出していない画像では全ての画素値が0(ゼロ)である。
そして、移動軌跡画像作成部11dは、画素座標(x,y)毎のSb(x,y)の値を移動軌跡基本画像Sbとしてメモリ15に記憶させる。
ここで、S4の処理における閾値αを用いた二値への変換処理では、撮像画像のうち輝度が低い(即ち、黒い)面的な背景がある部分(画素)では輝度の低い移動体と背景との輝度の差が小さくなり、移動体の移動軌跡を良好に検出することができない場合もある。
このため、必要に応じ、S4までの処理による移動軌跡の検出に特に大きく寄与した撮像画像の前後の撮像画像のデータを用いて移動体の移動軌跡を補完した画像を作成する(S5)ようにしても良い。
具体的には、補完画像作成部11eは、S2−2の処理においてメモリ15に記憶された時刻画像Tとしての画素座標(x,y)毎のT(x,y)の値をメモリ15から読み込み、数式5に従って画素座標(x,y)毎にS
b(x,y)の値の更新を行う。
ここに、S
c(x,y):移動軌跡補完画像の画素座標(x,y)の画素値,
S
b(x,y):移動軌跡基本画像の画素座標(x,y)の画素値,
T(x,y):時刻画像の画素座標(x,y)の画素値,
t
max:Hist[T(x,y)]の値が最大である画像毎の時刻識別子tの値,
δ
1,δ
2:補完範囲の閾値
をそれぞれ表す。
また、Hist[T(x,y)]は、時刻画像Tにおける画素座標(x,y)毎のT(x,y)の値(即ち、画像毎の時刻識別子tの値)の出現頻度を表す関数である。
ここで、補完範囲の閾値δ1,δ2は、移動軌跡基本画像としては抽出されなかった移動体の移動の軌跡に該当する画素(厳密には、移動体の移動の軌跡に該当する蓋然性が高い画素)を移動体の移動軌跡であるとして補完的に追加するか否かを判定するための指針となる値(具体的には撮像画像の枚数)である。補完範囲の閾値δ1,δ2の値は、特定の値に限定されるものではなく、画像毎の時刻識別子tの値別の出現頻度Hist[t]の分布特性や検出対象とする移動体の移動速度などに基づいて適宜設定される。例えば、検出対象とする移動体の移動速度を考慮すると撮影範囲を横切って通過するのに要する時間が3秒程度であると想定され、また、画像毎の時刻識別子tの値別の出現頻度Hist[t]の分布の拡がりを分析すると出現頻度Hist[t]が最大である画像識別値tmaxの前後1.5秒の範囲に出現頻度Hist[t]の大半が入っている場合には、実時間1.5秒に対応する撮像画像の枚数に基づいて補完範囲の閾値δ1,δ2の値を設定することが考えられる。なお、補完範囲の閾値δ1とδ2との間の関係は、δ1=δ2でも良いし、δ1≠δ2でも良い。
数式5を用いた処理により、撮像画像において実際に移動体の軌跡に該当する画素座標(x,y)における画素値(輝度値)であって低輝度画像Lの画素座標(x,y)の画素値L(x,y)として選択されているものの、当該画素座標(x,y)における背景の輝度値が低いことから高輝度画像Hにおける画素座標(x,y)の画素値H(x,y)との差分値S(x,y)が小さいためにS4の処理の結果として二値変換値Sb(x,y)=0になっている画素が、移動体の移動軌跡の画素であるとして補充されることが期待される。なお、数式5に示すように、移動体の移動軌跡の画素としての補充に関係のない画素については、S4の処理において決定された二値変換値Sb(x,y)のままである。
そして、補完画像作成部11eは、画素座標(x,y)毎のSc(x,y)の値を移動軌跡補完画像Scとしてメモリ15に記憶させる。
さらに、S5の処理によって作成された移動軌跡補完画像Scに対してノイズの除去を行う(S6)ようにしても良い。
具体的には、ノイズ除去部11fは、S5の処理においてメモリ15に記憶された移動軌跡補完画像Scとしての画素座標(x,y)毎のSc(x,y)の値をメモリ15から読み込み、孤立点などのノイズを除去する。孤立点などのノイズを除去する方法は特定の方法に限定されるものではなく、そして、ノイズ除去方法自体は種々のものが周知であるのでここでは詳細については省略する。具体的には例えば、画素値=0で囲まれている画素値=1の画素の画素値を0にする方法がある。
以上の処理により、処理対象とした処理単位時間における一枚の移動軌跡画像が作成される。そして、処理単位時間として区切られた時間区分に従ってS2からS6までの処理を繰り返すことによって処理単位時間として区切られた時間区分毎に一枚ずつの移動軌跡画像が作成される。
そして、ノイズ除去部11fは、画素座標(x,y)毎のSc(x,y)の値をベースとしてノイズを除去した後の画素座標(x,y)毎の画素値を、移動軌跡画像(移動軌跡補完処理及びノイズ除去処理後)として、処理対象とした処理単位時間(時間区分)の時刻識別子と対応づけてメモリ15に記憶させる。さらに、必要に応じ、ノイズ除去部11fは、移動軌跡画像(移動軌跡補完処理及びノイズの除去処理後)の画素値データを、例えば記憶部12やデータサーバ16に格納される移動軌跡画像データファイルに処理単位時間(時間区分)毎に蓄積するように記録して保存する。
続いて、本実施形態では更に、S6までの処理によって作成された移動軌跡画像を利用して監視対象区域への移動体の進入回数の計測が行われる(S7)。
本発明では、S6までの処理によって作成された処理単位時間(時間区分)毎の移動軌跡画像における画素値が1である画素の出現状況によって撮影範囲(言い換えると、監視対象区域)への移動体の進入の有無を判断する。
具体的には、或る処理単位時間の移動軌跡画像における画素値1の画素数が進入判断閾値γ未満である場合には当該処理単位時間には監視対象区域に移動体は進入していないと判断し、一方で、画素値1の画素数が進入判断閾値γ以上である場合には当該処理単位時間に監視対象区域に移動体が進入したと判断する。
したがって、例えば、処理単位時間を1分間としてS2からS6までの処理を60回繰り返すことによって得られた60枚の移動軌跡画像の各々について画素値1の画素数と進入判断閾値γとを対比して監視対象区域への移動体の進入の有無を判断することにより、1時間における監視対象区域への移動体の進入回数を計測することができる。
ここで、進入判断閾値γは、移動軌跡画像において移動体の移動軌跡が現出しているか否かを判断するための指針となる値(具体的には画素数)である。進入判断閾値γは、特定の値に限定されるものではなく、S1の処理において用いた撮像手段の解像度(即ち、撮像画像の画素数)を考慮すると共に撮像画像における移動体の像を構成する画素数の想定などに基づいて適宜設定される。例えば、監視対象区域を撮影した撮像画像における、当該監視対象区域内に存在する移動体が撮影された場合の当該移動体の像を構成する最小画素数(想定される画素数)の1.5倍や2倍などに設定することが考えられる。
また、上述のS7の処理である監視対象区域への移動体の進入回数の計測を行う場合には、当該監視対象区域を撮影している撮影範囲を移動体が横切って通過するのに要する時間と移動体の出現頻度とを考慮して処理単位時間を設定することが望ましい。
すなわち、移動体が撮影範囲を横切って通過するのに要する時間が例えば3秒程度が多いと想定される場合に処理単位時間を2秒間とすると、一つの移動体の通過が二回の処理単位時間に跨がる可能性が高まり、一回の進入であるにもかかわらず複数の移動軌跡画像に移動軌跡が現出することになり、結果的に移動体の進入回数を複数回とカウントしてしまい計測精度が低下する。
一方、移動体が撮影範囲を横切って通過するのに要する時間が例えば3秒程度が多いと想定され且つ移動体の出現頻度が例えば3分間に一回程度が多いと想定される場合に処理単位時間を10分間とすると、一つの処理単位時間内に複数の移動体が通過する可能性が高まり、複数回の進入であるにもかかわらず一枚のみの移動軌跡画像に移動軌跡が現出することになり、結果的に移動体の進入回数を一回とカウントしてしまい計測精度が低下する。
本実施形態では具体的な処理として、進入回数計測部11gは、S6の処理においてメモリ15に記憶された或いは記憶部12若しくはデータサーバ16に格納される移動軌跡画像データファイルに記録され保存された処理単位時間毎の移動軌跡画像データのうち監視対象区域への移動体進入回数の計測対象時間帯に該当する処理単位時間のデータをメモリ15或いは記憶部12若しくはデータサーバ16から読み込む。
続いて、進入回数計測部11gは、移動体の進入回数Nを初期化(即ち、N=0)した上で、処理単位時間毎の移動軌跡画像別に画素値1の画素数が進入判断閾値γ以上であるか否かを判断し、進入判断閾値γ以上である場合には移動体の進入回数Nに1を加える。この処理を、移動体進入回数の計測対象時間帯に該当するとして読み込んだ処理単位時間毎の移動軌跡画像の各々に対して繰り返し行う。
なお、計測対象時間帯が複数ある場合には、これら計測対象時間帯別に上述の処理を繰り返し行う。
そして、進入回数計測部11gは、S7の処理による計測結果として、移動体進入回数Nの値を、必要な場合には計測対象時間帯と対応づけて、表示部14に表示したり、例えば記憶部12やデータサーバ16に計測結果データファイルとして保存したりする。
そして、制御部11は、撮像画像からの移動体の検出及び監視対象区域への移動体の進入回数の計測の処理を終了する(END)。
以上の構成を有する本発明の飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラムによれば、予め定められた時間区分での時系列連続画像群における高輝度画像Hと低輝度画像Lとを対比することによって移動軌跡画像を作成するようにしているので、処理内容としては簡便に、したがって機器の計算負荷を抑えながらも撮像画像からの移動体の抽出を高い精度で行うことができ、処理時間を短縮して速報性を高めて画像処理技術としての汎用性の向上を図ることが可能になる。さらに、時刻画像Tを用いて移動軌跡画像を補完するようにすることもできるので、この場合には、高輝度画像Hと低輝度画像Lとの対比のみでは捉えきれない移動体の移動軌跡を検出することができるので、これも極端に複雑な処理ではなく処理時間の増大や速報性を損なうことを回避しながらも撮像画像からの移動体の抽出をより一層高い精度で行うことができ、画像処理技術としての信頼性の向上を図ることが可能になる。
また、本発明の飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラムによれば、従来の画像処理において見られるような時系列で連続する撮像画像のフレーム間差分やフレーム間隔をあけた時間差分を用いていないので、フレーム間差分や時間差分において生じる、雲による日射変化や監視対象区域(撮影範囲)における背景の僅かな変化などが原因となって背景に映り込んでいる物体等を数多く抽出してしまうという問題を回避することができ、撮像画像からの移動体の抽出精度を高めて画像処理技術としての汎用性を高めることが可能になる。他にも、本発明によれば、従来の画像処理において見られるような粒子追跡法による移動軌跡検出処理のように複数枚の画像を比較して粒子に見立てた画素の移動方向と速度とを計算するものでもないので、粒子追跡法において生じる、日射変化や背景変化の雑音で粒子に見立てた画素の輝度値がランダムに変化するために撮影条件を限定しなければ安定的に抽出することができないという問題も回避することができ、撮像画像からの移動体の抽出精度を高めて画像処理技術としての汎用性を高めることが可能になる。さらに、本発明では、一台の撮像装置で撮像した画像から移動体の検出及び監視対象区域への移動体の進入回数の計測を行うことができ、特別の撮像装置や複数台の撮像装置を用いる必要がないので、計測のために必要な機器の構築にかかる費用を低減させることが可能になり、画像処理技術としての汎用性を高めることが可能になる。
なお、上述の形態は本発明の好適な形態の一例ではあるが本発明の実施の形態がこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば、上述の実施形態では撮像画像のデータが蓄積される記憶手段をデータサーバ16としているが、記憶部12でも良いし、他の記憶装置を用いるようにしても良い。また、撮像画像のデータを記憶装置に一旦蓄積することなく、撮像装置からコンピュータ10(画像処理装置10)に直接入力し、入力されたデータから処理を順次行うようにしても良い。
また、上述の実施形態では時刻画像Tを作成し(S2−2)当該時刻画像Tを活用して移動軌跡補完画像Scを作成する(S5)ようにしているが、これら画像T,Scの作成は本発明において必須の処理ではない。すなわち、監視対象区域の撮影範囲に輝度が低い面的な物体が無い若しくは多くない場合には、輝度の低い移動体と背景との輝度の差が撮像画像全体に亘って大きく、高輝度画像Hと低輝度画像Lとの対比のみによって移動体の移動軌跡を良好に検出することができるので、時刻画像Tを活用しての移動軌跡補完画像の作成はしなくても良い。
また、上述の実施形態ではS5の処理において数式5に従って移動軌跡補完画像S
cを作成するようにしているが、下記の数式6に従って画素座標(x,y)毎にS
b(x,y)の値の更新を行って移動軌跡補完画像を作成するようにしても良い。
ここに、S
c(x,y):移動軌跡補完画像の画素座標(x,y)の画素値,
S
b(x,y):移動軌跡基本画像の画素座標(x,y)の画素値,
β:補完採否の閾値
をそれぞれ表す。
また、Hist[T(x,y)]は、時刻画像Tにおける画素座標(x,y)毎のT(x,y)の値(即ち、画像毎の時刻識別子tの値)の出現頻度を表す関数である。
ここで、補完採否の閾値βは、移動軌跡基本画像としては抽出されなかった移動体の移動の軌跡に該当する画素(厳密には、移動体の移動の軌跡に該当する蓋然性が高い画素)を移動体の移動軌跡であるとして補完的に追加するか否かを判定するための指針となる値(具体的には時刻画像Tにおける画素数)である。補完採否の閾値βの値は、特定の値に限定されるものではなく、画像毎の時刻識別子tの値別の出現頻度Hist[t]の傾向などに基づいて適宜設定される。例えば、画像毎の時刻識別子tの値別の出現頻度Hist[t]の平均値や最小値・最大値や中間値或いは分布の特性などに基づいて移動体の軌跡の補完に適切な値を適宜調節・設定することが考えられる。
また、上述の実施形態では移動軌跡補完画像Sc(上述のようにS5の処理を行わない場合には移動軌跡基本画像Sbである)に対してノイズを除去する(S6)ようにしているが、移動軌跡画像に対するノイズの除去は本発明において必須の処理ではない。すなわち、移動軌跡画像におけるノイズの存在が問題にならない場合などにはノイズの除去はしなくても良い。なお、監視対象区域への移動体の進入回数の計測(S7)を行う場合には、進入判断閾値γの値を適切に調整することによってノイズの影響を排除した移動体の進入回数の計測を行うようにすることもできるので、この場合には特に移動軌跡画像に対するノイズの除去はしなくても良い。
また、上述の実施形態では監視対象区域への移動体の進入回数を計測する(S7)ようにしているが、移動体の進入回数の計測は本発明において必須の処理ではない。すなわち、監視対象区域に移動体が進入したという事態の検出が目的である場合などには、移動体の進入回数の計測はしなくても良い。
本発明の飛来物体を検出する画像処理方法を実際の移動体の検出及び監視対象区域への移動体の進入回数の計測に適用した実施例を図3から図8を用いて説明する。なお、本実施例では、飛来物体を検出する画像処理プログラムをコンピュータ上で実行することによって画像処理装置が実現されると共に画像処理方法における処理が実行される場合を説明する。
本実施例では、撮影範囲を短時間で通過する黒い物体が烏であると仮定して監視対象区域に飛翔して進入する烏を検出対象とし、移動軌跡として烏の飛翔軌跡を検出するようにした。
なお、烏の巣が停電事故の原因となることから、電力会社では巡視によって無人変電所構内や営業所地域でカラスの営巣状況を監視している。無人変電所などの監視箇所は営業所から離れた場所に数多くあるため、巡視員が一箇所の監視に割り当てられる時間には制限がある。そのため、監視カメラによる画像を使ってカラスの飛来状況を連続的に把握して巡視の補助として活用することが望まれている。具体的には、巣の作成に先がけての烏の下見状況や枝等の運び込み頻度などを計測し、飛来頻度の高い場所を注意喚起箇所として巡視員に情報提供することが望まれている。しかしながら現在のところ、監視カメラで撮影した映像から烏の飛来を検出し、その検出結果を巡視に役立つ形で出力する仕組みは存在していない。以上の事情にも因り、監視対象区域を変電所とすると共に検出対象を烏として移動体の検出及び監視対象区域への移動体の進入回数の計測を機械的・自動的に行うことは意義が大きい。
本実施例では、撮像装置として解像度35万画素(横730×縦480画素)のCCD方式デジタルカラービデオカメラ(フレームレート:30〔fps〕)を用いて監視対象区域である変電所の撮影を行った(S1)。
ここで、烏は監視対象区域に飛翔して進入することが想定されると共に、変電所内の各種の施設や設備が撮影範囲に多く含まれると面的な黒い撮像が多くなって輝度の低い移動体の検出に影響を与えるので、カメラを固定した位置から仰角で、烏の飛翔高度と想定される範囲の空中を撮影範囲として撮影を行った。なお、撮影時間帯は午前6時から午後6時までとした。撮像画像の一例を図3に示す。
そして、本実施例では、上記撮影によって得られた連続画像データを、コンピュータの記憶装置としてのハードディスクに画像データベースとして保存した。
次に、S1の処理によって得られた撮像画像のデータを用いて数式1−1に従って高輝度画像Hを作成すると共に数式1−2に従って低輝度画像Lを作成し(S2−1)、さらに、数式2に従って時刻画像Tを作成した(S2−2)。
ここで、本実施例では、処理単位時間を1分とした。したがって、処理単位時間当たりの連続画像の枚数n=30〔fps〕×60〔秒〕=1800枚の連続画像群に対してS2からS6までの処理を一連として適用した。また、連続画像における画像毎の時刻識別子tの値は1〜1800である。
高輝度画像Hの一例を図4Aに示すと共に低輝度画像Lの一例を図4Bに示す。また、時刻画像Tの一例を図5に示す。
低輝度画像Lの一例である図4Bから、画像右端の下端寄りの位置から左へ進行してその後に上昇する烏の飛翔軌跡が低輝度画像Lの一部として選択されていることが確認される。
なお、図5に示す時刻画像Tの一例は、画像毎の時刻識別子tの値(具体的には1〜1800)を輝度値(具体的には0〜255)に変換して表示させたものである。そして、図5において烏の飛翔軌跡部分(画素)の輝度が高くなっているのは、処理単位時間の終盤に烏が飛翔したために烏の飛翔が撮像された画像の時刻識別子tの値が大きく、したがって輝度値が大きくなって輝度が高くなっているためである。
次に、S2−1の処理によって作成された高輝度画像Hと低輝度画像Lとを用いて数式3に従って差分画像Sを作成した(S3)。
差分画像Sの一例を図6に示す。
次に、S3の処理によって作成した差分画像Sを用いて烏の飛翔軌跡についての基本画像Sbを作成した(S4)。
本実施例では、差分画像Sの画素毎の輝度値を0〜255階調にすると共に二値変換の閾値α=50とし、差分画像Sの画素毎の輝度値を数式4に従って二値変換して飛翔軌跡の基本画像Sbを作成した。
また、本実施例では、S4までの処理による飛翔軌跡の検出に特に大きく寄与した撮像画像の前後の撮像画像のデータを用いて烏の飛翔軌跡を補完した画像Scを作成した(S5)。
本実施例では、数式6に従って飛翔軌跡補完画像Scを作成した。なお、補完採否の閾値β=50とした。
さらに、本実施例では、S5の処理によって作成された飛翔軌跡補完画像Scに対してノイズの除去を行った(S6)。
飛翔軌跡基本画像Sbに対して飛翔軌跡の補完処理(S5)及びノイズの除去処理(S6)を行った後の飛翔軌跡画像の一例を図7に示す。
人の目視による撮像画像の検分の結果、図7中の白い部分はいずれも烏の飛翔軌跡であることが確認された。なお、図7の下側の途切れ途切れの白い部分も、設備の間を低空で飛行した烏の飛翔軌跡であることが確認された。この結果から、本発明の飛来物体を検出する画像処理方法によって移動体の検出を非常に良好な精度で行えることが確認された。
本実施例では、続けて、S6までの処理によって作成された飛翔軌跡画像に基づいて監視対象区域である変電所への烏の進入回数を計測した(S7)。
本実施例では、撮影時間帯である午前6時から午後6時までに撮像された連続画像群に対して処理単位時間(時間区分)を1分として上述の処理を繰り返し行って処理単位時間毎の飛翔軌跡画像を作成し、これら飛翔軌跡画像別に画素値1の画素数が進入判断閾値γ以上である場合に烏の進入回数Nに1を加えることによって変電所への烏の進入回数を計測した。なお、進入判断閾値γ=100とした。
午前6時から午後6時までについて1時間毎に烏の進入回数Nを計測して図8に示す結果が得られた。図8に示す結果は人が手作業によって計測した回数と良好に合致しており、この結果から、本発明の飛来物体を検出する画像処理方法によって監視対象区域への移動体の進入回数の計測を非常に良好な精度で行えることが確認された。
なお、本実施例では監視対象区域を変電所としているために電線等が撮影範囲に含まれて当該電線等の風による揺れが撮像され、また、午前6時から午後6時までの日射変化や天候変化による設備壁面の明暗変化が撮像されるものの、本発明の処理によればこのような背景の変化によっては検出処理は影響を受けないことが確認された。すなわち、本発明によれば、背景の変化に影響を受けることなく、検出対象の抽出処理を良好に行うことが可能であることが確認された。
なお、本実施例では、監視対象区域に飛翔する烏を検出対象として移動軌跡として烏の飛翔軌跡を検出するようにしているが、本発明において検出対象として想定するものは烏に限られるものではなく、撮像された画像において輝度が低い物体として記録されている移動体、より具体的には、撮影範囲の多くの部分を占める背景よりも輝度が低い物体として記録されている移動体を検出対象とすることができる。