JP7314645B2 - 物体検出プログラム、物体検出方法、及び、物体検出装置 - Google Patents

Description

本発明は、物体検出プログラム、物体検出方法、及び、物体検出装置に関する。

例えば、事件または事故などにおいて捜索対象の物体である車両または人物の画像である物体画像を検出するために、防犯カメラから取得される大量の映像データの解析が行われている。しかしながら、映像データの解析による物体画像の検出精度は依然１００％ではなく、映像データに捜索対象の物体画像が含まれていても、適切に検出されない場合がある。

検出精度を１００％に近づけるために多くの対策が施されているが、様々な条件で撮影される映像データの全てにおいて、物体画像の検出精度を１００％に近づけることは困難である。検出精度が１００％でないと、映像データに含まれているにもかかわらず検出されていない可能性がある物体画像を探すために、映像データを、例えば、肉眼で再検討することとなり、時間及び労力を要している。

特開２０１５－２２２８８１号公報

肉眼での再検討を容易にするために、映像データの解析によって検出された物体画像をマスクした映像データを生成する技術が存在する。しかしながら、画像解析によって検出されなかった、即ち、検出が困難である物体画像の検出は、物体画像をマスクしただけでは困難である場合がある。

本発明は、１つの側面として、映像データからの検出が困難である物体画像の検出精度を向上させることを目的とする。

１つの実施形態では、設定された検出条件に基づいて、検出対象画像から所定の物体を表す物体画像を検出する第１検出処理を実行し、検出対象画像における第１検出処理で検出した物体画像をマスクしたマスク済み画像を生成する。生成されたマスク済み画像から所定の物体を表す物体画像を過検出可能とする処理を行った後、マスク済み画像から物体画像を検出する第２検出処理を実行する。

本発明は、１つの側面として、映像データからの検出が困難である物体画像の検出精度を向上させることができる。

実施形態に係る物体検出装置の一例を示すブロック図である。 物体画像を囲む矩形の一例を示す概要図である。 物体画像を囲む矩形の一例を示す概要図である。 矩形領域内の画像の一例を示す概要図である。 物体画像をマスクするために使用する静止画像の一例を示す概要図である。 物体画像をマスクするために使用する画像の一例を示す概要図である。 物体画像がマスクされた検出対象画像の一例を示す概要図である。 物体画像がマスクされたマスク済み画像の一例を示す概要図である。 検出された物体画像を強調して表示した画像の一例を示す概要図である。 検出された物体画像を強調して表示した画像の一例を示す概要図である。 検出された物体画像を強調して表示した画像の一例を示す概要図である。 物体画像を囲む矩形の一例を示す概要図である。 マスク済み画像において検出された物体画像を囲む矩形の一例を示す概要図である。 物体検出装置のハードウェアの一例を示すブロック図である。 物体検出処理の一例を示すフローチャートである。 第１検出部の検出結果及び第２検出部の検出結果を例示する概要図である。

以下、図面を参照して実施形態の一例を詳細に説明する。

図１に示す物体検出装置１０は、映像データ入力部１１、第１検出部１２、マスク部１３、第２検出部１４、及び、映像データ出力部１５を含む。映像データ入力部１１は、例えば、街頭などに設置された監視カメラで撮影された映像データを入力し、映像データから所定時間毎の静止画像を抽出する。所定時間は、例えば、１／３０［秒］であってよい。

第１検出部１２は、検出対象画像である静止画像の各々から設定された検出条件に基づいて、検出対象となる人物または車両などである所定の物体を表す物体画像を検出する第１検出処理を実行する。検出条件は、例えば、予めユーザによって設定され、物体画像の検出には、既知の手法を使用する。第１検出部１２は、検出された物体画像の静止画像上の座標を取得する。検出された物体画像の座標とは、例えば、検出された物体画像を囲む矩形の左上及び右下頂点の座標であってよい。なお、物体は、人物または車両に限定されない。例えば、人物が装着している装着物、または、車両に装着されている装着物などであってもよい。

図２Ａに、検出対象画像から検出された物体画像を囲む矩形の左上頂点Ａ及び右下頂点Ｂを例示する。ここでは、「歩いている人」を検出している。図２Ｂ及び図２Ｃに例示するように、図２Ｂにおいて矩形で囲まれた矩形領域内の画像Ｐを、図２Ｃに例示するように切り出し、検出結果の確認に利用してもよい。

マスク部１３は、検出対象画像の矩形領域内の画像Ｐをマスクする。詳細には、マスク部１３は、今回第１検出部１２で検出された物体画像を囲む矩形の矩形領域ＲＣと、以前第１検出部１２で物体画像の検出が行われた静止画像Ｒ上の矩形領域ＲＰとが重複するか否か判定する。重複しないと判定された場合に、矩形領域ＲＣ内の画像である画像Ｐを静止画像Ｒの矩形領域ＲＣに対応する位置の画像と置き換えることで画像Ｐをマスクする。即ち、マスク部１３は、第１検出部１２で検出した物体画像の位置に対応する検出対象物体の背景画像を使用して、検出した物体画像をマスクする。

また、マスク部１３は、上記判定において、重複しないと判定される静止画像Ｒが存在しない場合には、例えば、所定の色で矩形領域ＲＣを塗りつぶすことでマスクする。

図３Ａは、上記判定において、重複しないと判定される静止画像Ｒを例示する。静止画像Ｒは、映像データ入力部１１から入力された映像データから抽出された静止画像の内、物体検出処理済みの静止画像から検索されてもよい。また、映像データ入力部１１から入力された映像データを撮影した固定カメラで撮影され保存されていた映像データから抽出された静止画像の内、物体検出処理済みの静止画像から検索されてもよい。図３Ｂは、図３Ａの静止画像の矩形領域ＲＣに対応する位置の画像Ｑを例示する。

図３Ｃは、第１検出部１２で検出された物体画像を囲む矩形の矩形領域ＲＣを、画像Ｑでマスクしたマスク済み画像を例示する。重複しないと判定される静止画像Ｒが存在しない場合、図３Ｄに例示するように、所定の色で矩形領域ＲＣを塗りつぶすことでマスクする。所定の色は、例えば、ユーザによって、ＲＧＢ値が予め指定されることで決定されてもよい。また、所定の色に代えて、所定のパターンであってもよい。

第２検出部１４は、矩形領域、即ち、第１検出部１２で検出された物体画像をマスクした静止画像であるマスク済み画像から、再度同一物体画像を検出する第２検出処理を実行する。第２検出部１４は、第１検出部１２で検出しようとした物体画像を過検出するような検出を行う。即ち、第２検出部１４は、物体画像が過検出されるようにマスク済み画像を加工するか、または、第１検出部１２で使用した検出条件を物体画像が過検出されるように変更した検出条件を使用して検出を行う。

第２検出部１４では、第１検出部１２で使用した検出条件に基づいて、物体画像を過検出可能とする処理を行う。したがって、ユーザは、第２検出部１４での検出のために別途検出条件を設定しなくてよい。また、第２検出部１４では、検出した物体画像を強調して表示するための処理を行う。

図４Ａは、第１検出部１２で使用した検出条件が、例えば、「所定の色を含む人物」である場合、まず、マスク済み画像に対して、当該所定の色、例えば、赤を強調する処理、即ち、Ｒ値だけを高く変更する処理を行い、赤を含む人物の検出を行う場合を例示する。これにより、第１検出部１２では検出されなかった赤を含む人物が検出される。

さらに、検出した物体画像を囲む矩形領域内において、当該所定の色、例えば、赤を強調するようにしてもよい。この場合、当該所定の色、例えば、赤であると判定された部分のＲ値だけを高く変更するようにしてもよいし、当該所定の色を当該所定の色とは異なる色、例えば、黄に変更してもよいし、表示される際に当該部分だけが点滅するように設定してもよい。また、当該所定の色の強調に加えて、物体画像を囲む矩形Ｆ１を静止画像に重畳してもよい。

図４Ｂでは、第２検出部１４で検出した物体画像、即ち、「所定の色を含む人物」の移動を示すベクトルであるオプティカルフローを検出し、検出したオプティカルフローを示す矢印ＯＦをマスク済み画像に重畳する。オプティカルフローに加えて、物体画像を囲む矩形をマスク済み画像に重畳してもよい。

図４Ｃは、例えば、第１検出部１２で使用した検出条件よりも検出条件を低く設定して第２検出部１４で「移動している人物」を検出した画像を例示する。検出条件を低く設定する、とは、例えば、ニューラルネットワークを使用した検出において、「移動している人物である」と判定するスコアを、第１検出部１２で使用した値よりも低い値に設定することである。ここでは、第１検出部１２で検出されなかった人物を囲む矩形Ｆ２及び第１検出部１２で検出されマスクされた人物の影を囲む矩形Ｆ３をマスク済み画像に重畳する。

比較を容易にするため、図８の上図に、図２Ａに例示する第１検出部１２での検出結果を示し、図８の下図に図４Ｃで例示する第２検出部１４の検出結果を示す。図８の上図に例示されるように第１検出部１２では検出されなかった人物及び第１検出部１２で検出されマスクされた人物の影が、図８の下図に例示されるように第２検出部１４では検出される。人物の影は過検出であり不利益ではあるが、第２検出部１４の検出では、第１検出部１２では検出されなかった人物が検出される利益のほうが大きい。

映像データ出力部１５は、第２検出部１４の検出結果を示す情報を含むマスク済み画像を時系列に並べて結合することで、映像データを生成する。検出結果を示す情報は、上記した通り、検出した物体画像を強調して表示するための情報である。検出結果を示す情報は、検出された物体画像のオプティカルフローを示す矢印、検出された物体画像を囲む矩形、物体画像の検出条件を強調した情報、例えば、検出条件である色を強調した色などである。生成された映像データは、表示装置に表示されてもよいし、記憶装置に保存されてもよい。

なお、検出対象画像である１つの静止画像において検出する物体画像は、多数、例えば、３つ以上存在してもよい。図５Ａに、第１検出部１２で検出した人物の物体画像を囲む多数の矩形Ｆ４を例示する。図５Ａでは、人物の物体画像が多数存在するため、矩形Ｆ４も多数存在する。

図５Ｂに、マスク部１３で、矩形Ｆ４領域内の物体画像をマスクし、第２検出部１４で、過検出するように、人物の物体画像を検出した例を示す。図５Ｂでは、第１検出部１２で検出されていなかった右奥の人物が検出されている。右奥の人物の物体画像を囲む矩形Ｆ６を例示する。また、図５Ｂでは、図５Ａの物体画像を囲む矩形Ｆ４に対応する矩形Ｆ５を例示しているが、矩形Ｆ５は、例えば、表示装置に表示されなくてもよい。

物体検出装置１０は、一例として、図６に示すように、ＣＰＵ（Central Processing Unit）５１、一次記憶部５２、二次記憶部５３、及び、外部インタフェース５４を含む。ＣＰＵ５１は、ハードウェアであるプロセッサの一例である。ＣＰＵ５１、一次記憶部５２、二次記憶部５３、及び、外部インタフェース５４は、バス５９を介して相互に接続されている。

一次記憶部５２は、例えば、ＲＡＭ（Random Access Memory）などの揮発性のメモリである。二次記憶部５３は、例えば、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの不揮発性のメモリである。

二次記憶部５３は、プログラム格納領域５３Ａ及びデータ格納領域５３Ｂを含む。プログラム格納領域５３Ａは、一例として、物体検出プログラムなどのプログラムを記憶している。データ格納領域５３Ｂは、一例として、映像データなどを記憶する。

ＣＰＵ５１は、プログラム格納領域５３Ａから物体検出プログラムを読み出して一次記憶部５２に展開する。ＣＰＵ５１は、物体検出プログラムをロードして実行することで、図１の映像データ入力部１１、第１検出部１２、マスク部１３、第２検出部１４、及び、映像データ出力部１５として動作する。

なお、物体検出プログラムなどのプログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶部５２に展開されてもよい。また、物体検出プログラムなどのプログラムは、ＤＶＤ（Digital Versatile Disc）などの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶部５２に展開されてもよい。

外部インタフェース５４には外部装置が接続され、外部インタフェース５４は、外部装置とＣＰＵ５１との間の各種情報の送受信を司る。外部インタフェース５４を介して接続されるカメラ２１は、所定の位置に設置され、継続的に映像データを取得する監視カメラであってよい。

ここでは、１台のカメラ２１のみを例示しているが、カメラは複数存在し、複数のカメラで撮影された映像データの各々に対し、物体検出処理が行われてもよい。同様に、外部インタフェース５４を介して接続されるディスプレイ２２は、例えば、第２検出部１４の物体検出処理の結果を示す情報を含む映像データを表示する。カメラ２１及びディスプレイ２２は、外部インタフェース５４に接続される代わりに、物体検出装置１０に内蔵されていてもよい。

物体検出装置１０は、例えば、パーソナルコンピュータであってもよいし、専用のデバイスであってもよい。

次に、物体検出処理の作用の概要について説明する。図７は、物体検出処理の流れを例示する。ＣＰＵ５１は、ステップ１０１で、映像データを入力する。カメラ２１で取得した映像データをリアルタイムで入力してもよいし、カメラ２１で取得され、データ格納部５３Ｂまたは外部記憶装置に記憶されている映像データを入力してもよい。

ＣＰＵ５１は、ステップ１０２で、映像データから所定時間毎の静止画像を抽出する。ステップ１０３～ステップ１０８の処理は、静止画像の各々に対して行われる。ＣＰＵ５１は、ステップ１０３で、設定された検出条件に基づいて、既知の検出手法を使用して物体画像を検出する。ＣＰＵ５１は、ステップ１０４で物体画像が検出されたか否か判定する。ステップ１０４の判定が否定された場合、即ち、物体画像が検出されなかった場合、ＣＰＵ５１はステップ１０９に進む。

ステップ１０４の判定が肯定された場合、即ち、物体画像が検出された場合、ＣＰＵ５１は、ステップ１０５で、マスクに使用できる静止画像が存在するか否か判定する。例えば、ステップ１０３で検出された物体画像を囲む矩形の矩形領域ＲＣと、以前に物体画像の検出が行われた静止画像Ｒ上の物体画像を囲む矩形領域ＲＰとが重複するか否か判定する。重複しないと判定された場合、静止画像Ｒがマスクに使用できるマスク画像であると判定する。

ステップ１０５の判定が肯定された場合、ＣＰＵ５１は、ステップ１０６で、静止画像Ｒをマスク画像として使用して、物体画像をマスクする。例えば、検出した物体画像を囲む矩形領域ＲＣを静止画像Ｒの矩形領域ＲＣに対応する位置の画像と置き換えることで物体画像をマスクする。ステップ１０５の判定が否定された場合、ＣＰＵ５１は、ステップ１０７で、例えば、所定の色を使用して、検出した物体画像を囲む矩形領域ＲＣをマスクする。

ＣＰＵ５１は、ステップ１０８で、ステップ１０６または１０７でマスクされたマスク済み画像から物体画像を検出する。ここでも、ステップ１０３と同様に既知の手法を使用する。しかしながら、ステップ１０８では、ステップ１０３で検出しようとした物体画像を過検出するような検出を行う。また、ステップ１０８では、検出した物体画像を強調して表示するための処理を行う。

ＣＰＵ５１は、ステップ１０９で、未処理の静止画像が存在するか否か判定する。ステップ１０９の判定が肯定された場合、即ち、未処理の静止画像が存在する場合、ＣＰＵ５１は、ステップ１０３に戻る。ステップ１０９の判定が否定された場合、即ち、未処理の静止画像が存在しない場合、ＣＰＵ５１は、ステップ１１０で、検出した物体画像を強調して表示するための処理が行われたマスク済み画像を時系列に結合して映像データを生成する。

ＣＰＵ５１は、ステップ１１１で、例えば、ディスプレイ２２に生成した映像データを出力して表示する。生成した映像データは、例えば、データ格納領域５３Ｂに格納されてもよいし、外部記憶装置に記憶されてもよい。なお、検出された物体画像を囲む形状は矩形に限定されない。例えば、円形または楕円形などであってもよい。図７のフローチャートは一例であり、処理の順序は適宜変更されてもよい。

本実施形態では、設定された検出条件に基づいて、検出対象画像から所定の物体を表す物体画像を検出する第１検出処理を実行し、検出対象画像における第１検出処理で検出した物体画像をマスクしたマスク済み画像を生成する。生成されたマスク済み画像から所定の物体を表す物体画像を過検出可能とする処理を行った後、マスク済み画像から物体画像を検出する第２検出処理を実行する。

即ち、本実施形態では、第１検出処理で検出された物体画像をマスクしたマスク済み画像から第２検出処理で当該物体画像を過検出するように検出している。これにより、本実施形態では、例えば、肉眼で映像データを再検討する場合、映像データからの検出が困難である物体画像の検出精度を向上させることができる。

以上の各実施形態に関し、更に以下の付記を開示する。

（付記１）
設定された検出条件に基づいて、検出対象画像から所定の物体を表す物体画像を検出する第１検出処理を実行し、
前記検出対象画像における前記第１検出処理で検出した前記物体画像をマスクしたマスク済み画像を生成し、
生成された前記マスク済み画像から前記所定の物体を表す物体画像を過検出可能とする処理を行った後、前記マスク済み画像から前記物体画像を検出する第２検出処理を実行する、
物体検出処理をコンピュータに実行させるための物体検出プログラム。
（付記２）
前記物体画像を過検出可能とする処理は、
前記マスク済み画像の加工、及び、前記検出条件の変更の少なくとも一方を行って、前記マスク済み画像から、前記第１検出処理では検出されない前記物体画像を検出可能とする処理である、
付記１の物体検出プログラム。
（付記３）
前記第２検出処理の検出結果を強調して表示装置に表示する、
付記１または付記２の物体検出プログラム。
（付記４）
前記第２検出処理の検出結果を強調することは、
検出した前記物体画像にオプティカルフローを付加すること、
検出した前記物体画像の検出条件に対応する情報を強調すること、
の少なくとも一方を含む、
付記１～付記３の何れかの物体検出プログラム。
（付記５）
前記マスク済み画像を生成することは、
前記第１検出処理で検出した前記物体画像の位置に対応する前記所定の物体の背景画像を使用して、検出した前記物体画像をマスクすること、または、
所定の色またはパターンを使用して、検出した前記物体画像をマスクすること、
を含む、
付記１～付記４の何れかの物体検出プログラム。
（付記６）
コンピュータが、
設定された検出条件に基づいて、検出対象画像から所定の物体を表す物体画像を検出する第１検出処理を実行し、
前記検出対象画像における前記第１検出処理で検出した前記物体画像をマスクしたマスク済み画像を生成し、
生成された前記マスク済み画像から前記所定の物体を表す物体画像を過検出可能とする処理を行った後、前記マスク済み画像から前記物体画像を検出する第２検出処理を実行する、
物体検出方法。
（付記７）
前記物体画像を過検出可能とする処理は、
前記マスク済み画像の加工、及び、前記検出条件の変更の少なくとも一方を行って、前記マスク済み画像から、前記第１検出処理では検出されない前記物体画像を検出可能とする処理である、
付記６の物体検出方法。
（付記８）
前記第２検出処理の検出結果を強調して表示装置に表示する、
付記６または付記７の物体検出方法。
（付記９）
前記第２検出処理の検出結果を強調することは、
検出した前記物体画像にオプティカルフローを付加すること、
検出した前記物体画像の検出条件に対応する情報を強調すること、
の少なくとも一方を含む、
付記６～付記８の何れかの物体検出方法。
（付記１０）
前記マスク済み画像を生成することは、
前記第１検出処理で検出した前記物体画像の位置に対応する前記所定の物体の背景画像を使用して、検出した前記物体画像をマスクすること、または、
所定の色またはパターンを使用して、検出した前記物体画像をマスクすること、
を含む、
付記６～付記９の何れかの物体検出方法。
（付記１１）
設定された検出条件に基づいて、検出対象画像から所定の物体を表す物体画像を検出する第１検出処理を実行する第１検出部と、
前記第１検出部で検出した前記物体画像をマスクしたマスク済み画像を生成するマスク部と、
前記マスク部で生成された前記マスク済み画像から前記所定の物体を表す物体画像を過検出可能とする処理を行った後、前記マスク済み画像から前記物体画像を検出する第２検出処理を実行する第２検出部と、
を含む、物体検出装置。
（付記１２）
前記物体画像を過検出可能とする処理は、
前記マスク済み画像の加工、及び、前記検出条件の変更の少なくとも一方を行って、前記マスク済み画像から、前記第１検出処理では検出されない前記物体画像を検出可能とする処理である、
付記１１の物体検出装置。
（付記１３）
前記第２検出処理の検出結果を強調して表示装置に表示する、
付記１１または付記１２の物体検出装置。
（付記１４）
前記第２検出処理の検出結果を強調することは、
検出した前記物体画像にオプティカルフローを付加すること、
検出した前記物体画像の検出条件に対応する情報を強調すること、
の少なくとも一方を含む、
付記１１～付記１３の何れかの物体検出装置。
（付記１５）
前記マスク済み画像を生成することは、
前記第１検出処理で検出した前記物体画像の位置に対応する前記所定の物体の背景画像を使用して、検出した前記物体画像をマスクすること、または、
所定の色またはパターンを使用して、検出した前記物体画像をマスクすること、
を含む、
付記１１～付記１４の何れかの物体検出装置。

１０ 物体検出装置
１２ 第１検出部
１３ マスク部
１４ 第２検出部
５１ ＣＰＵ
５２ 一次記憶部
５３ 二次記憶部

Claims (7)

1. 設定された検出条件に基づいて、検出対象画像から所定の特徴を示す物体を表す物体画像を検出する第１検出処理を実行し、
   前記検出対象画像における前記第１検出処理で検出した前記物体画像をマスクしたマスク済み画像を生成し、
   生成された前記マスク済み画像から前記所定の特徴を示す物体と同一の特徴を示す物体を表す物体画像を過検出可能とする処理を行った後、前記マスク済み画像から前記所定の特徴を示す物体と同一の特徴を示す物体を表す前記物体画像を検出する第２検出処理を実行する、
   物体検出処理をコンピュータに実行させるための物体検出プログラム。
2. 前記物体画像を過検出可能とする処理は、
   前記マスク済み画像の加工、及び、前記検出条件の変更の少なくとも一方を行って、前記マスク済み画像から、前記第１検出処理では検出されない前記所定の特徴を示す物体と同一の特徴を示す物体を表す前記物体画像を検出可能とする処理である、
   請求項１に記載の物体検出プログラム。
3. 前記第２検出処理の検出結果を強調して表示装置に表示する、
   請求項１または請求項２に記載の物体検出プログラム。
4. 前記第２検出処理の検出結果を強調することは、
   検出した前記物体画像にオプティカルフローを付加すること、
   検出した前記物体画像の検出条件に対応する情報を強調すること、
   の少なくとも一方を含む、
   請求項１～請求項３の何れか１項に記載の物体検出プログラム。
5. 前記マスク済み画像を生成することは、
   前記第１検出処理で検出した前記物体画像の位置に対応する前記所定の特徴を示す物体の背景画像を使用して、検出した前記物体画像をマスクすること、または、
   所定の色またはパターンを使用して、検出した前記物体画像をマスクすること、
   を含む、
   請求項１～請求項４の何れか１項に記載の物体検出プログラム。
6. コンピュータが、
   設定された検出条件に基づいて、検出対象画像から所定の特徴を示す物体を表す物体画像を検出する第１検出処理を実行し、
   前記検出対象画像における前記第１検出処理で検出した前記物体画像をマスクしたマスク済み画像を生成し、
   生成された前記マスク済み画像から前記所定の特徴を示す物体と同一の特徴を示す物体を表す物体画像を過検出可能とする処理を行った後、前記マスク済み画像から前記所定の特徴を示す物体と同一の特徴を示す物体を表す前記物体画像を検出する第２検出処理を実行する、
   物体検出方法。
7. 設定された検出条件に基づいて、検出対象画像から所定の特徴を示す物体を表す物体画像を検出する第１検出処理を実行する第１検出部と、
   前記第１検出部で検出した前記物体画像をマスクしたマスク済み画像を生成するマスク部と、
   前記マスク部で生成された前記マスク済み画像から前記所定の特徴を示す物体と同一の特徴を示す物体を表す物体画像を過検出可能とする処理を行った後、前記マスク済み画像から前記所定の特徴を示す物体と同一の特徴を示す物体を表す前記物体画像を検出する第２検出処理を実行する第２検出部と、
   を含む、物体検出装置。