JP6214426B2

JP6214426B2 - 物体検出装置

Info

Publication number: JP6214426B2
Application number: JP2014033155A
Authority: JP
Inventors: 憲一小川
Original assignee: Aiphone Co Ltd
Current assignee: Aiphone Co Ltd
Priority date: 2014-02-24
Filing date: 2014-02-24
Publication date: 2017-10-18
Anticipated expiration: 2034-02-24
Also published as: JP2015158796A

Description

本発明は、カメラの撮像映像から物体を検出する物体検出装置に関する。

近年、犯罪の増加や高度化により、一般家庭などでも防犯機能の高い防犯カメラの需要が高まっている。従来のこのような防犯カメラは、人感センサが感知動作したらカメラが起動して撮像を開始するよう構成されているため、不審者がカメラの撮像範囲に居てもカメラから離れた場所であれば撮像されること自体無いため、防犯には不十分であった。
そのため、本発明者等は画像処理により、然も演算量を極力少なくした画像処理により動く物体を検出する技術を特許文献１で提案した。

この特許文献１の物体検出装置は、基準の画像フレームと所定数過去の画像フレームまでの同一部位の輝度の分散値を求める一方、基準の画像フレームと所定数未来の画像フレームまでの同一部位の輝度の分散値を求め、求めた分散値が所定の条件を満たしたら動状態、他を静状態と判断し、画像全体のピクセルの動状態・静状態を正規化して特徴量を抽出することで物体を検出した。
この画像処理により、カメラから離れた遠方に不審者等が存在する場合でも、演算するＣＰＵに大きな負担をかけずに物体を検知することが可能となり、一般家庭に設置する防犯カメラへの適用を可能とした。

特開２０１３−１９０９４３号公報

しかしながら、赤外線照明を備えて夜間でも監視できる暗視カメラにこの技術を適用した場合、暗視中の雨は白い筋となって撮像されるため、ピクセル状態を判別する際、暗視カメラの近くで撮像された雨を人物等の動状態と誤判断する場合があった。
監視カメラによる監視は、夜間の監視が重要な場合が多く、このような誤動作は好ましくなかった。

そこで、本発明はこのような問題点に鑑み、暗視カメラにより撮像した画像から物体を検知する場合でも、撮像映像に映り込んだ雨の筋が人物等の移動する物体と誤認識されることを削減した物体検出装置を提供することを目的としている。

上記課題を解決する為に、請求項１の発明に係る物体検出装置は、カメラの撮像映像から時間軸上で連続する画像フレーム群を生成する画像フレーム群生成手段と、生成した複数の画像フレームのうち任意の画像フレームを基準フレームとして、当該基準フレームから所定数過去の画像フレームまで或いは所定数未来の画像フレームまでのピクセル毎の同一部位の輝度の変化量を算出して分散値を演算する分散値算出手段と、求めた分散値と所定の閾値とを比較してピクセル毎の静状態／動状態を判定するピクセル状態判定手段と、基準フレームにおいて、近傍の複数ピクセルから成るセルを形成してセル毎に静状態／動状態の２値から成るヒストグラムを作成し、当該ヒストグラムを正規化して動きの特徴量を算出する特徴量算出手段と、算出した動きの特徴量と学習サンプルを用いた強識別器から移動する物体の存在を検出する物体検出手段とを備え、分散値算出手段が、基準フレームから所定数過去の画像フレームまでの輝度の変化量に基づく輝度の分散値（第１の分散値）と、基準フレームから所定数未来の画像フレームまでの輝度の変化量に基づく輝度の分散値（第２の分散値）と、基準フレーム直前の画像フレームから所定数過去の画像フレームまでの輝度の変化量に基づく輝度の分散値（第３の分散値）と、更に基準フレーム直後の画像フレームから所定数未来の画像フレームまでの輝度変化量に基づく輝度の分散値（第４の分散値）とを算出する一方、ピクセル状態判定手段が、第１及び第２の分散値が閾値より大きく、且つ第３の分散値及び第４の分散値のうちの少なくとも一方が閾値より大きいピクセルを動状態と判断し、分散値がそれ以外の値のピクセルを静状態と判定することを特徴とする。
この構成によれば、基準フレームに雨等が白い筋として映り込んでも、この画像を除外した過去画像及び未来画像のデータを加味して物体の存在を判定するため、暗視カメラで撮影した画像から物体を検知する場合であっても、雨による白い筋を人物等の移動物体と判断してしまう誤判断を削減できる。

請求項２の発明に係る物体検出装置は、カメラの撮像映像から時間軸上で連続する画像フレーム群を生成する画像フレーム群生成手段と、生成した複数の画像フレームのうち任意の画像フレームを基準フレームとして、当該基準フレームから所定数過去の画像フレームまで或いは所定数未来の画像フレームまでのピクセル毎の同一部位の輝度の変化量の最大値を算出する輝度算出手段と、求めた輝度の変化量の最大値と所定の閾値と比較してピクセル毎の静状態／動状態を判定するピクセル状態判定手段と、基準フレームにおいて、近傍の複数ピクセルから成るセルを形成してセル毎に静状態／動状態の２値から成るヒストグラムを作成し、当該ヒストグラムを正規化して動きの特徴量を算出する特徴量算出手段と、算出した動きの特徴量と学習サンプルを用いた強識別器から移動する物体の存在を検出する物体検出手段とを備え、輝度算出手段が、基準フレームから所定数過去の画像フレームまでの輝度変化量の最大値（第１の最大輝度差）と、基準フレームから所定数未来の画像フレームまでの輝度の変化量の最大値（第２の最大輝度差）と、基準フレーム直前の画像フレームから所定数過去の画像フレームまでの輝度変量の最大値（第３の最大輝度差）と、基準フレーム直後の画像フレームから所定数未来の画像フレームまでの輝度変化量の最大値（第４の最大輝度差）とを算出する一方、ピクセル状態判定手段が、第１及び第２の最大輝度差が閾値より大きく、且つ第３の最大輝度差及び第４の最大輝度差のうちの少なくとも一方が閾値より大きいピクセルを動状態と判断し、最大輝度差がそれ以外の値のピクセルを静状態と判定することを特徴とする。
この構成によれば、基準フレームに雨等が白い筋として映り込んでも、この画像を除外した過去画像及び未来画像のデータを加味して物体の存在を判定するため、暗視カメラで撮影した画像から物体を検知する場合であっても、雨による白い筋を人物等の移動物体と判断してしまう誤判断を削減できる。

本発明によれば、基準フレームに雨等が白い筋として映り込んでも、この画像を除外した過去画像及び未来画像のデータを加味して物体の存在を判定するため、暗視カメラで撮影した画像から物体を検知する場合であっても、雨による白い筋を人物等の移動物体と判断してしまう誤判断を削減できる。

本発明に係る物体検出装置の一例を示す機能構成図である。画像フレームと輝度の関係を示す画像フレーム群の説明図である。移動物体を検出する演算の流れを画像で示す説明図であり、暗視カメラに雨が白い線で撮像された場合を示している。図３における基準フレームの拡大図である。図３におけるＭ４画像の拡大図である。図３に対応する説明図であり、自然光で撮像された人の検出を示している。

以下、本発明を具体化した実施の形態を、図面を参照して詳細に説明する。
＜第１の形態＞
図１は本発明に係る物体検出装置の第１の形態を示す機能構成図であり、カメラ１ａが撮像した映像信号が入力され、所定の間隔で時間軸上で連続する画像から成る画像フレームを生成して出力する画像出力部１、任意の画像フレームを基準フレームとしてピクセル毎に輝度の時間変化量を抽出する時間変化抽出部２、ピクセル毎にフレーム間差分特徴となる特徴量を算出するフレーム間特徴抽出部３、学習サンプルと算出した特徴量から画像フレーム内の物体を検出する検出部４、検出結果を出力する結果出力部５を備えている。
尚、これら構成要素のうち、画像出力部１、時間変化抽出部２、フレーム間特徴抽出部３、検出部４が移動物体を検出する物体検出装置を構成し、ＣＰＵ或いはＤＳＰが所定のプログラムを実行することで実現される。また、結果出力部５を含む全体は例えばパーソナルコンピュータで実現できる。

以下、各部の動作を説明する。カメラ１ａは、ここでは赤外線照明を備えて夜間でも監視できる暗視カメラ１０が使用され、画像出力部１は暗視カメラ１０の撮像映像が入力され、例えば０．０３秒毎にデジタルデータから成る画像フレーム（静止画）を生成して出力する。

時間変化抽出部２は、画像出力部１が出力した画像フレームの任意の画素（ピクセル）から、輝度の分散値Ｓを算出する。この演算は、最終的にフレーム内の全てのピクセルに対して実施される。
図２は、画像フレームと輝度の関係を示す画像フレーム群の説明図であり、基準フレームをＫとして、基準フレームＫの直前に出力された画像フレームである過去の画像フレームと、直後に出力される画像フレームである未来の画像フレームの関係を示している。そして、基準フレームＫの任意の座標のピクセルの輝度をＩｋとし、個々の画像フレームの同一座標の輝度をＩｋ（±ｎ）で示している。以下、この図２を参照して説明する。

ピクセルの輝度の分散値Ｓを求める演算は、基準フレームＫからＮ個過去の画像フレームＫ−Ｎまでの第１分散値Ｓ１と、基準フレームＫからＮ個未来の画像フレームＫ＋Ｎまでの第２分散値Ｓ２と、直前の画像フレームＫ−１からＮ個過去の画像フレームＫ−Ｎまでの第３分散値Ｓ３と、直後の画像フレームＫ＋１からＮ個未来の画像フレームＫ＋Ｎまでの第４の分散値Ｓ４の４つの値が算出される。
数１はこの輝度の分散値Ｓの演算式を示し、代表して上述した第１の分散値Ｓ１を算出する式を示している。尚、数１においてｊは１からｎの整数である。

次に、求めた各ピクセルの第１〜第４の分散値Ｓ１〜Ｓ４に対して閾値処理を行い、静状態／動状態を判定する。第１分散値Ｓ１及び第２分散値Ｓ２が予め設定された閾値以上であって、且つ第３分散値Ｓ３及び第４分散値Ｓ４の何れか一方が閾値以上あれば動状態と判定し、それ以外を静状態と判定する。
更に時間変化抽出部２は、こうしてピクセル毎に２値化した（２階調とした）輝度情報を出力する。

尚、閾値は予め設定された固定値であっても良いが、固定値の場合はカメラ１ａの設置環境や明るさにより判定に大きなバラツキが発生するため、過去の画像フレームのピクセルの分散値を基に適切な値を決定するのが好ましい。

図３は、移動物体を抽出する演算の流れを画像で具体的に示す説明図であり、暗視カメラ１０の撮像画像の基準フレームＫに雨が白い筋となって映り込んだ状態を上記演算により削除した様子を具体的に示している。尚、ここでは移動物体を人としている。
中央の画像列Ｍ１が暗視カメラ１０の撮像画像であり、基準フレームＫを中心に４画像過去の画像フレームＫ−４から４画像未来の画像フレームＫ＋４の画像フレームを示し、この間のピクセルの輝度情報から静状態／動状態を判定する流れを示している。
上段の画像列Ｍ２と下段の画像列Ｍ３は、ピクセル個々の分散値から求めた静状態／動状態を画像で示し、Ｍ２ａは第１の分散値Ｓ１、Ｍ２ｂは第２の分散値Ｓ２、Ｍ３ａは第３の分散値Ｓ３、Ｍ３ｂは第４の分散値Ｓ４に対応した画像である。

そして、画像Ｍ２ｃが第１の分散値Ｓ１から成る画像Ｍ２ａと第２分散値Ｓ２から成る画像Ｍ２ｂをＡＮＤ処理した結果を示し、画像Ｍ３ｃが第３の分散値Ｓ３から成る画像Ｍ３ａと第４の分散値Ｓ４から成る画像Ｍ３ｂとのＯＲ処理を行った結果を示している。
更に、画像Ｍ４が画像Ｍ２ｃと画像Ｍ３ｃとのＡＮＤ処理結果を示している。尚、図４は基準フレームＫの画像の拡大図、図５はＭ４画像の拡大図をそれぞれ示している。

こうして求めたピクセル毎の静状態／動状態の情報を基に、フレーム間特徴抽出部３において所定の演算を実施して特徴量が算出される。フレーム間特徴抽出部３は、隣接する複数のピクセルから成るセルを作成し、セル毎にピクセル毎の静状態／動状態のヒストグラムを作成し、このヒストグラムを隣接する複数のセルで形成したブロック単位で正規化して特徴量を算出する（詳述せず）。
尚、１セルは例えば５×５ピクセルで構成され、１ブロックは例えば３×３セルで構成される。

検出部４では、人を検知するために人物と背景によってクラス分けされた学習サンプル、或いは車両を検知するために自転車や自動車等の車両と背景によってクラス分けされた学習サンプル等と、算出された上記特徴量を用いて学習された強識別器によって構成され、周知のアダブーストによるカスケード型識別器を用いて物体の検出を行う。この結果、人や車両等の移動する物体が検出されたら、物体の座標情報、領域情報等を含む物体検出信号が出力される。

結果出力部５は、検出部４が出力する物体検出信号を受けて警報を報音する報音部、検出した映像を表示するＬＣＤ等の映像表示部、外部に通報する通報部等を備え、検出部４が出力する座標情報等を受けて映像表示部では入力映像の表示に加えて、人を検出した検出ウィンドウ（図示せず）が表示される。

このように、基準フレームＫに雨等が白い筋として映り込んでも、この画像を除外した過去画像及び未来画像のデータを加味して物体の存在を判定するため、暗視カメラ１０で撮影した画像から物体を検知する場合であっても、雨による白い筋を人物等の移動物体と判断してしまう誤判断を削減できる。

＜第２の実施形態＞
上記実施形態では、輝度の分散値を求めてピクセル毎の静状態／動状態を判定したが、ピクセル毎の輝度の変化量の最大値を基に静状態／動状態を判定しても良く、以下この形態を説明する。尚、物体検出装置の構成は上記図１の構成と同様であるため、説明を省略する。
以下、各部の動作を説明する。上記形態とは時間変化抽出部２の作用が大きく異なるため、この時間変化抽出部２の作用を中心に説明する。

時間変化抽出部２は、画像出力部１が出力した画像フレームの任意の画素（ピクセル）から、輝度の時間変化量を抽出する。この演算は、最終的にフレーム内の全てのピクセルに対して実施される。
上記図２に示すように基準フレームＫに着目し、過去のＮ番目までの画像フレームの間、及び未来のＮ番目までの画像フレームの間で演算を実施し、輝度が急激に変化するピクセルの検出を行う。輝度が急激に変化するピクセルの検出は、基準フレームＫを中心にＮフレーム過去まで、及びＮフレーム未来までの各フレームの間で実施する。
例えば、輝度Ｉｋ−ｎとＩｋとの間の輝度の変化量の最大値を変化量Ｔとすると、変化量Ｔは次の数２の演算式により算出される。尚、数２においてｊは１からｎの整数である。

但し、ピクセルの輝度の変化量（変化量の最大値）Ｔの演算は、基準フレームＫからＮ個過去の画像フレームＫ−Ｎまでの第１変化量）Ｔ１と、基準フレームＫからＮ個未来の画像フレームＫ＋Ｎまでの第２変化量Ｔ２と、直前の画像フレームＫ−１からＮ個過去の画像フレームＫ−Ｎまでの第３変化量Ｔ３と、直後の画像フレームＫ＋１からＮ個未来の画像フレームＫ＋Ｎまでの第４変化量Ｔ４の４つの値が算出される。

次に、求めた各ピクセルの第１〜第４変化量Ｔ１〜Ｔ４に対して閾値処理を行い、静状態／動状態を判定する。第１変化量Ｔ１及び第２変化量Ｔ２が閾値以上であって、且つ第３変化量Ｔ３及び第４変化量Ｔ４の何れか一方が閾値以上あれば動状態と判定し、それ以外を静状態と判定する。
そして時間変化抽出部２は、こうしてピクセル毎に２値化した（２階調とした）輝度情報を出力する。

尚、閾値は予め設定された固定値であっても良いが、固定値の場合はカメラ１ａの設置環境や明るさにより判定に大きなバラツキが発生するため、過去の画像フレームのピクセルの輝度変化量を基に適切な値を決定するのが好ましい。

こうして求めたピクセル毎の静状態／動状態の情報を基に、フレーム間特徴抽出部３において所定の演算を実施して特徴量が算出される。フレーム間特徴抽出部３は、上記形態と同様に隣接する複数のピクセルから成るセルを作成し、セル毎にピクセル毎の静状態／動状態のヒストグラムを作成し、このヒストグラムを隣接する複数のセルで形成したブロック単位で正規化して特徴量を算出する（詳述せず）。
検出部４、結果出力部５の動作は上記形態と同様であり、検出部４ではアダブーストによるカスケード型識別器を用いた物体の検出が行われ、結果出力部５において検出した物体が検出ウィンドウ等で表示される。

尚、上記実施形態では、映像信号の入手先を暗視カメラ１０とし、赤外線による夜間撮影の場合を説明したが、上記本発明の技術は太陽光や夜間照明で撮像可能な通常の監視カメラ等に容易に適用できるものであり、図６は自然光による撮像画像から人物を検出する流れを示し、上記図３に対応させた画像を示している。
また、基準フレームＫを中心に連続する画像フレームのデータを用いて演算しているが、例えば奇数フレームのデータのみといった不連続なデータを使用しても良く、一定の間隔のデータであれば使用できる。
更に、画像出力部１をカメラ１ａと別体としているが、カメラ１ａと一体に構成しても良いし、検出部４までの構成をカメラ１ａと一体に構成しても良い。

１・・画像出力部（画像フレーム群生成手段）、１ａ・・カメラ、２・・時間変化抽出部（輝度算出手段、分散値算出手段、ピクセル状態判断手段）、３・・フレーム間特徴抽出部（特徴量算出手段）、４・・検出部（物体検出手段）、５・・結果出力部、１０・・暗視カメラ、Ｓ・・輝度の分散値、Ｔ・・輝度の最大変化量。

Claims

カメラの撮像映像から時間軸上で連続する画像フレーム群を生成する画像フレーム群生成手段と、
生成した複数の画像フレームのうち任意の画像フレームを基準フレームとして、当該基準フレームから所定数過去の画像フレームまで或いは所定数未来の画像フレームまでのピクセル毎の同一部位の輝度の変化量を算出して分散値を演算する分散値算出手段と、
求めた前記分散値と所定の閾値とを比較してピクセル毎の静状態／動状態を判定するピクセル状態判定手段と、
前記基準フレームにおいて、近傍の複数ピクセルから成るセルを形成してセル毎に前記静状態／動状態の２値から成るヒストグラムを作成し、当該ヒストグラムを正規化して動きの特徴量を算出する特徴量算出手段と、
算出した前記動きの特徴量と学習サンプルを用いた強識別器から移動する物体の存在を検出する物体検出手段とを備え、
前記分散値算出手段が、前記基準フレームから所定数過去の画像フレームまでの輝度の変化量に基づく輝度の分散値（第１の分散値）と、
前記基準フレームから所定数未来の画像フレームまでの輝度の変化量に基づく輝度の分散値（第２の分散値）と、
前記基準フレーム直前の画像フレームから前記所定数過去の画像フレームまでの輝度の変化量に基づく輝度の分散値（第３の分散値）と、
更に前記基準フレーム直後の画像フレームから前記所定数未来の画像フレームまでの輝度変化量に基づく輝度の分散値（第４の分散値）とを算出する一方、
前記ピクセル状態判定手段が、前記第１及び前記第２の分散値が前記閾値より大きく、且つ前記第３の分散値及び前記第４の分散値のうちの少なくとも一方が前記閾値より大きいピクセルを動状態と判断し、分散値がそれ以外の値のピクセルを静状態と判定することを特徴とする物体検出装置。
カメラの撮像映像から時間軸上で連続する画像フレーム群を生成する画像フレーム群生成手段と、
生成した複数の画像フレームのうち任意の画像フレームを基準フレームとして、当該基準フレームから所定数過去の画像フレームまで或いは所定数未来の画像フレームまでのピクセル毎の同一部位の輝度の変化量の最大値を算出する輝度算出手段と、
求めた前記輝度の変化量の最大値と所定の閾値と比較してピクセル毎の静状態／動状態を判定するピクセル状態判定手段と、
前記基準フレームにおいて、近傍の複数ピクセルから成るセルを形成してセル毎に前記静状態／動状態の２値から成るヒストグラムを作成し、当該ヒストグラムを正規化して動きの特徴量を算出する特徴量算出手段と、
算出した前記動きの特徴量と学習サンプルを用いた強識別器から移動する物体の存在を検出する物体検出手段とを備え、
前記輝度算出手段が、前記基準フレームから所定数過去の画像フレームまでの輝度変化量の最大値（第１の最大輝度差）と、
前記基準フレームから所定数未来の画像フレームまでの輝度の変化量の最大値（第２の最大輝度差）と、
前記基準フレーム直前の画像フレームから前記所定数過去の画像フレームまでの輝度変量の最大値（第３の最大輝度差）と、
前記基準フレーム直後の画像フレームから前記所定数未来の画像フレームまでの輝度変化量の最大値（第４の最大輝度差）とを算出する一方、
前記ピクセル状態判定手段が、前記第１及び前記第２の最大輝度差が前記閾値より大きく、且つ前記第３の最大輝度差及び前記第４の最大輝度差のうちの少なくとも一方が前記閾値より大きいピクセルを動状態と判断し、最大輝度差がそれ以外の値のピクセルを静状態と判定することを特徴とする物体検出装置。