JP2017027091A - 撮影障害検出装置及び撮影障害検出プログラム - Google Patents
撮影障害検出装置及び撮影障害検出プログラム Download PDFInfo
- Publication number
- JP2017027091A JP2017027091A JP2013249942A JP2013249942A JP2017027091A JP 2017027091 A JP2017027091 A JP 2017027091A JP 2013249942 A JP2013249942 A JP 2013249942A JP 2013249942 A JP2013249942 A JP 2013249942A JP 2017027091 A JP2017027091 A JP 2017027091A
- Authority
- JP
- Japan
- Prior art keywords
- image
- shooting
- reference image
- area
- failure detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮影障害の自動検知技術において、誤検知と失報との少なくともいずれかを減らすことを目的とする。【解決手段】撮影障害検出装置100は、カメラ200の撮影領域と撮影角度との少なくともいずれかが変わってしまう撮影障害を検出する装置であり、基準画像を分割した複数の小領域から、条件を満たす小領域をマスク領域として抽出し、複数の小領域のうち、抽出されたマスク領域を除いた非マスク領域について、基準画像と、撮影装置によって撮影された撮影画像とを比較して、撮影障害を検出する。【選択図】図1
Description
この発明は、カメラ等の撮影装置の撮影領域と撮影角度との少なくともいずれかが変わってしまう撮影障害を検出する技術に関する。
映像監視システムにおいて、カメラに障害が発生すると、監視対象を撮影および記録できない状態となるため、カメラ障害の発見の遅れはシステムにとって致命的である。カメラ障害には、故障や断線の他、不意の接触や故意によってカメラの撮影領域と撮影角度との少なくともいずれかが変わってしまう撮影障害も含まれる。
故障や断線はシステムによる自動検知が容易だが、撮影障害はカメラの故障ではないため、自動検知が困難である。通常、監視員が定期的にカメラのライブ撮影映像を目視し、正常時の撮影画像(基準画像)と見比べることで撮影障害の有無を確認している。
目視による作業負荷を軽減すべく、カメラの撮影画像を解析することで撮影障害を自動で検知する技術が開発されている。しかし、撮影画像を解析することによる撮影障害検知技術では、撮影範囲内の物体変動や撮影シーンの照度変化によって撮影画像が変化することで誤検知が発生する。また、一般的に、撮影画像を解析する処理は負荷が高い。
目視による作業負荷を軽減すべく、カメラの撮影画像を解析することで撮影障害を自動で検知する技術が開発されている。しかし、撮影画像を解析することによる撮影障害検知技術では、撮影範囲内の物体変動や撮影シーンの照度変化によって撮影画像が変化することで誤検知が発生する。また、一般的に、撮影画像を解析する処理は負荷が高い。
画像中の特定領域を検知処理の対象外領域(マスク領域)とする手法が開発されている。特定領域を対象外領域とすることにより、誤検知を減らすとともに、解析する処理の負荷を低くすることが可能となる。
特許文献1には、監視対象領域の状況変化に応じて、適切なマスク処理を選択することで、画像解析による物体検出の性能を向上することが記載されている。特許文献1に記載された監視システムでは、監視対象領域の状態に対する最適なマスク手段を示すマスクテーブルを有することを特徴としており、マスクテーブルを参照してマスク処理を行っている。
特許文献2には、画像解析による人の通行の検出等を目的とした監視システムにおいて、所定期間分の撮影画像における差分画像を累積し、輝度変化の小さい領域をマスクすることが記載されている。
特許文献1には、監視対象領域の状況変化に応じて、適切なマスク処理を選択することで、画像解析による物体検出の性能を向上することが記載されている。特許文献1に記載された監視システムでは、監視対象領域の状態に対する最適なマスク手段を示すマスクテーブルを有することを特徴としており、マスクテーブルを参照してマスク処理を行っている。
特許文献2には、画像解析による人の通行の検出等を目的とした監視システムにおいて、所定期間分の撮影画像における差分画像を累積し、輝度変化の小さい領域をマスクすることが記載されている。
特許文献1に記載されたマスク処理方法では、状況に応じて適切なマスク領域を選択することで誤検知を減らすことができるが、予め状況を定義したうえ、適切なマスクテーブルを作成しなければならない。撮影シーンによっては、適切なマスク領域をユーザが設定することは困難である。
特許文献2に記載されたマスク処理方法では、撮影画像から自動でマスク領域を設定している。しかし、カメラ撮影障害の検知においては、誤検知の発生を減らすとともに、撮影障害が発生しているのに検知できない検知漏れ(失報)の発生も減らさなければならないが、特許文献2に記載されたマスク処理方法では、失報の発生に関しては考慮されていない。
この発明は、撮影障害の自動検知技術において、誤検知と失報との少なくともいずれかを減らすことを目的とする。
特許文献2に記載されたマスク処理方法では、撮影画像から自動でマスク領域を設定している。しかし、カメラ撮影障害の検知においては、誤検知の発生を減らすとともに、撮影障害が発生しているのに検知できない検知漏れ(失報)の発生も減らさなければならないが、特許文献2に記載されたマスク処理方法では、失報の発生に関しては考慮されていない。
この発明は、撮影障害の自動検知技術において、誤検知と失報との少なくともいずれかを減らすことを目的とする。
この発明に係る撮影障害検出装置は、
撮影装置の撮影領域と撮影角度との少なくともいずれかが変わってしまう撮影障害を検出する撮影障害検出装置であり、
基準画像を分割した複数の小領域から、条件を満たす小領域をマスク領域として抽出するマスク領域抽出部と、
前記撮影装置によって撮影された撮影画像を取得する撮影画像取得部と、
前記複数の小領域のうち、前記マスク領域抽出部が抽出したマスク領域を除いた非マスク領域について、前記基準画像と、前記撮影画像取得部が取得した撮影画像とを比較して、前記撮影障害を検出する障害検出部と
を備えることを特徴とする。
撮影装置の撮影領域と撮影角度との少なくともいずれかが変わってしまう撮影障害を検出する撮影障害検出装置であり、
基準画像を分割した複数の小領域から、条件を満たす小領域をマスク領域として抽出するマスク領域抽出部と、
前記撮影装置によって撮影された撮影画像を取得する撮影画像取得部と、
前記複数の小領域のうち、前記マスク領域抽出部が抽出したマスク領域を除いた非マスク領域について、前記基準画像と、前記撮影画像取得部が取得した撮影画像とを比較して、前記撮影障害を検出する障害検出部と
を備えることを特徴とする。
この発明に係る撮影障害検出装置では、基準画像を分割した複数の小領域から条件を満たす小領域をマスク領域として抽出することにより、適切なマスク領域を抽出する。これにより、誤検知を減らすとともに、失報を減らすことが可能である。
実施の形態1.
実施の形態1では、基準画像中の類似領域解析によってマスク領域を自動設定して撮影障害を検知する方法について説明する。
実施の形態1では、基準画像中の類似領域解析によってマスク領域を自動設定して撮影障害を検知する方法について説明する。
図1は、実施の形態1に係る撮影障害検出装置100の構成図である。
撮影障害検出装置100は、基準画像記憶部110、基準画像管理部111、マスク領域抽出部112、撮影画像取得部113、マスク領域設定部114、障害検出部115を備える。
撮影障害検出装置100は、基準画像記憶部110、基準画像管理部111、マスク領域抽出部112、撮影画像取得部113、マスク領域設定部114、障害検出部115を備える。
図2は、実施の形態1に係る撮影障害検出装置100の処理を示すフローチャートである。
なお、ここでは、各処理において具体的な閾値等を記載するが、これは最良の効果を示す値の一例であり、記載された閾値等に限定するものではない。
なお、ここでは、各処理において具体的な閾値等を記載するが、これは最良の効果を示す値の一例であり、記載された閾値等に限定するものではない。
カメラ200は、正常に設置されている時の撮影画像を基準画像として入力し、基準画像記憶部110に記憶する(ST101)。基準画像管理部111は、ST101で入力された基準画像に対してエッジ抽出処理を行い、エッジ画像を生成する(ST102)。
マスク領域抽出部112は、ST102で生成された基準画像のエッジ画像を、等間隔4行4列の小領域16個に分割する(ST103)。マスク領域抽出部112は、ST103で分割した小領域のエッジ画像をテンプレート画像とし、分割前の基準画像のエッジ画像に対してテンプレートマッチング処理を行う(ST104)。マスク領域抽出部112は、ST104で行ったテンプレートマッチングによるマッチ率が40%以上であるかを判定し(ST105)、40%以上である場合にテンプレートとした小領域をマスク領域として抽出する(ST106)。
マスク領域抽出部112は、分割した16個の小領域それぞれに対してST104〜ST106を行うことにより、マスク領域を抽出する。
マスク領域抽出部112は、分割した16個の小領域それぞれに対してST104〜ST106を行うことにより、マスク領域を抽出する。
撮影画像取得部113は、カメラ200で撮影された撮影画像を取得し(ST107)、取得した撮影画像に対してエッジ抽出処理を行い、エッジ画像を生成する(ST108)。
マスク領域設定部114は、ST106で抽出されたマスク領域の情報に基づき、マスク情報を設定する(ST109)。
マスク領域設定部114は、ST106で抽出されたマスク領域の情報に基づき、マスク情報を設定する(ST109)。
障害検出部115は、ST109で設定されたマスク情報に基づき、小領域がマスク領域であるかを判定し(ST110)、マスク領域でない場合には小領域の画像をテンプレート画像とし、撮影画像のエッジ画像の同領域に対してテンプレートマッチング処理を行う(ST111)。障害検出部115は、ST111で行ったテンプレートマッチングによるマッチ率が40%以上であるかを判定する(ST112)。障害検出部115は、ST112で40%以上であると判定した場合に、マッチ領域としてカウントする(ST113)。
障害検出部115は、分割した16個の小領域それぞれに対してST110〜ST113を行い、マッチ領域をカウントする。
障害検出部115は、分割した16個の小領域それぞれに対してST110〜ST113を行い、マッチ領域をカウントする。
障害検出部115は、ST113でカウントされたマッチ領域数からマッチ領域率(=マッチ領域数/マスク領域でない小領域数)を求め、マッチ領域率が15%以下であるかを判定する(ST114)。障害検出部115は、ST114で15%以下であると判定した場合に、異常フレームとしてカウントする(ST115)。
なお、障害検出部115は、ST114でマッチ領域率が15%以下でないと判定した場合に、異常フレーム数を0にリセットする(ST116)。
なお、障害検出部115は、ST114でマッチ領域率が15%以下でないと判定した場合に、異常フレーム数を0にリセットする(ST116)。
障害検出部115は、ST115でカウントされた異常フレーム数が10以上であるかを判定する(ST117)。障害検出部115は、ST117で10以上であると判定した場合に、撮影障害有りと判定する(ST118)。
以降、撮影障害検出装置100は、撮影画像を取得する度に、ST107〜ST117を実行して撮影障害発生を判定する。
マスク領域抽出部112は、ST104〜ST106で、小領域のエッジ画像と、基準画像のエッジ画像とのマッチング処理を行い、マッチ率が高い場合に小領域をマスク領域として抽出している。つまり、マスク領域抽出部112は、基準画像内に類似する画像の領域が存在する小領域をマスク領域として抽出している。
基準画像内に類似する画像の領域が存在する小領域は、カメラの撮影方向が変化する撮影障害の発生時に、ST111でのテンプレートマッチング処理でマッチ率が高くなる可能性のある領域と考えられる。撮影障害の発生時にマッチ率が40%以上になる領域が存在すると、ST114での判定結果が逆転することで、撮影障害発生の検知漏れを引き起こす可能性がある。そのため、ST104〜ST106で、マスク領域抽出部112は、基準画像内に類似する画像の領域が存在する小領域をマスク領域として抽出し、マッチ領域率の計算の対象外にしている。
基準画像内に類似する画像の領域が存在する小領域は、カメラの撮影方向が変化する撮影障害の発生時に、ST111でのテンプレートマッチング処理でマッチ率が高くなる可能性のある領域と考えられる。撮影障害の発生時にマッチ率が40%以上になる領域が存在すると、ST114での判定結果が逆転することで、撮影障害発生の検知漏れを引き起こす可能性がある。そのため、ST104〜ST106で、マスク領域抽出部112は、基準画像内に類似する画像の領域が存在する小領域をマスク領域として抽出し、マッチ領域率の計算の対象外にしている。
以上のように、実施の形態1に係る撮影障害検出装置100は、基準画像内に類似する画像の領域が存在する小領域をマスク領域として抽出することにより、撮影障害の発生時の検知漏れリスクを抑止することができる。
なお、ST103では、基準画像を4×4の格子領域に分割しているが、より細分化してもよいし、縦や横の帯状領域に分割してもよいし、ユーザ設定によって任意の領域に分割してもよい。
また、ST105またはST112では、マッチ率の閾値を40%としているが、閾値は0%を除く任意の値に変更してもよい。同様に、ST114では、マッチ領域率の閾値を15%としているが、閾値は0%を除く任意の値に変更してもよい。同様に、ST117では、異常フレーム数の閾値を10としているが、閾値は0を除く任意の値に変更してもよい。
また、ST105またはST112では、マッチ率の閾値を40%としているが、閾値は0%を除く任意の値に変更してもよい。同様に、ST114では、マッチ領域率の閾値を15%としているが、閾値は0%を除く任意の値に変更してもよい。同様に、ST117では、異常フレーム数の閾値を10としているが、閾値は0を除く任意の値に変更してもよい。
また、撮影障害検出装置100には、必ずしも基準画像記憶部110は必要ではなく、マスク領域抽出部112、又は、障害検出部115が予め記憶された基準画像の情報を取得できればよい。また、ユーザが入力装置によって基準画像の情報を入力し、その基準画像の情報をマスク領域抽出部112と障害検出部とが用いることもできる。
実施の形態2.
実施の形態2では、基準画像中の直線分布解析によってマスク領域を自動設定して撮影障害を検知する方法について説明する。
実施の形態2では、基準画像中の直線分布解析によってマスク領域を自動設定して撮影障害を検知する方法について説明する。
実施の形態2に係る撮影障害検出装置100の構成は、図1に示す実施の形態1に係る撮影障害検出装置100の構成と同じである。
図3は、実施の形態2に係る撮影障害検出装置100の処理を示すフローチャートである。
なお、ここでは、各処理において具体的な閾値等を記載するが、これは最良の効果を示す値の一例であり、記載された閾値等に限定するものではない。
なお、ここでは、各処理において具体的な閾値等を記載するが、これは最良の効果を示す値の一例であり、記載された閾値等に限定するものではない。
カメラ200は、正常に設置されている時の撮影画像を基準画像として入力し、基準画像記憶部110に記憶する(ST201)。基準画像管理部111は、ST201で入力された基準画像に対してエッジ抽出処理を行い、エッジ画像を生成する(ST202)。
マスク領域抽出部112は、ST201で入力された基準画像に対し、ハフ変換を行うことで直線情報を抽出する(ST203)。マスク領域抽出部112は、ST203で抽出された直線同士の交点を求め、最も多くの直線が交わる点を消失点とみなし、消失点の画像空間における座標を算出する(ST204)。
マスク領域抽出部112は、ST202で生成された基準画像のエッジ画像を、等間隔4行4列の小領域16個に分割する(ST205)。マスク領域抽出部112は、ST203で抽出された直線情報と、ST204で抽出された消失点と、ST205で分割した小領域のエッジ画像とに基づき、小領域の全エッジ画素のうち、消失点に向かう直線(消失点の座標を通る直線、あるいは、延長した場合に消失点の座標を通る直線)を構成するエッジ画素の割合を算出する(ST206)。マスク領域抽出部112は、ST206で算出した割合が40%以上であるかを判定し(ST207)、40%以上である場合に対象の小領域をマスク領域とする(ST208)。
マスク領域抽出部112は、分割した16個の小領域それぞれに対してST206〜ST208を行い、マスク領域を抽出する。
マスク領域抽出部112は、分割した16個の小領域それぞれに対してST206〜ST208を行い、マスク領域を抽出する。
以降、ST209〜ST220の処理は、図2に示す実施の形態1のST107〜ST118の処理と同様である。
マスク領域抽出部112は、ST206〜ST208で,小領域の全エッジ画素のうち、消失点に向かう直線を構成するエッジ画素の割合が高い場合に小領域をマスク領域として抽出している。ここで、消失点に向かう直線は、撮影空間の奥行方向に対して垂直な直線である。
撮影空間の奥行方向に対して垂直な直線の割合が高い小領域は、カメラの撮影方向が変化する撮影障害の発生時に、ST213でのテンプレートマッチング処理でマッチ率が高くなる可能性のある領域と考えられる。これは、撮影空間の奥行方向に対して垂直な直線は、他の直線と比べて、カメラの方向変化やねじれに対する不変性が高く、カメラの撮影方向が変化する撮影障害の発生時にも同様の直線が現れる可能性が高いためである。撮影障害の発生時にマッチ率が40%以上になる領域が存在すると、ST216での判定結果が逆転することで、撮影障害発生の検知漏れを引き起こす可能性がある。そのため、ST206〜ST208で、マスク領域抽出部112は、基準画像内に類似する画像の領域が存在する小領域をマスク領域として抽出し、マッチ領域率の計算の対象外にしている。
撮影空間の奥行方向に対して垂直な直線の割合が高い小領域は、カメラの撮影方向が変化する撮影障害の発生時に、ST213でのテンプレートマッチング処理でマッチ率が高くなる可能性のある領域と考えられる。これは、撮影空間の奥行方向に対して垂直な直線は、他の直線と比べて、カメラの方向変化やねじれに対する不変性が高く、カメラの撮影方向が変化する撮影障害の発生時にも同様の直線が現れる可能性が高いためである。撮影障害の発生時にマッチ率が40%以上になる領域が存在すると、ST216での判定結果が逆転することで、撮影障害発生の検知漏れを引き起こす可能性がある。そのため、ST206〜ST208で、マスク領域抽出部112は、基準画像内に類似する画像の領域が存在する小領域をマスク領域として抽出し、マッチ領域率の計算の対象外にしている。
以上のように、実施の形態2に係る撮影障害検出装置100は、撮影空間の奥行方向に対して垂直な直線が多く存在する小領域をマスク領域として抽出することにより、撮影障害の発生時の検知漏れリスクを抑止することができる。
図4は、基準画像のエッジ画像の一例を示すイメージ図である。
図4では実線がエッジ画素を示している。図4では、便宜上、消失点に向かう直線を強調して太い線で示している。破線は小領域の境界を示しており、本例の場合、※印が付いている小領域がマスク領域として抽出される。
図4では実線がエッジ画素を示している。図4では、便宜上、消失点に向かう直線を強調して太い線で示している。破線は小領域の境界を示しており、本例の場合、※印が付いている小領域がマスク領域として抽出される。
なお、ST205では、基準画像を4×4の格子領域に分割しているが、より細分化してもよいし、縦や横の帯状領域に分割してもよいし、ユーザ設定によって任意の領域に分割してもよい。
また、ST207では、消失点に向かう直線を構成するエッジ画素率の閾値を40%としているが、0%を除く任意の値に変更してもよい。
また、ST207では、消失点に向かう直線を構成するエッジ画素率の閾値を40%としているが、0%を除く任意の値に変更してもよい。
また、実施の形態1の手法を併用して、マスク領域を抽出してもよい。つまり、実施の形態1のST104〜ST106の処理と、実施の形態2のST206〜ST208の処理との少なくともいずれかで抽出される小領域をマスク領域としてもよい。あるいは、実施の形態1のST104〜ST106の処理と、実施の形態2のST206〜ST208の処理と両方で抽出される小領域をマスク領域としてもよい。
実施の形態3.
実施の形態3では、一定期間の撮影画像の解析によってマスク領域を自動設定して撮影障害を検知する方法について説明する。
実施の形態3では、一定期間の撮影画像の解析によってマスク領域を自動設定して撮影障害を検知する方法について説明する。
図5は、実施の形態3に係る撮影障害検出装置100の構成図である。
図5に示す撮影障害検出装置100は、図1に示す実施の形態1に係る撮影障害検出装置100が備える機能に加え、判定画像取得部116を備える。
図5に示す撮影障害検出装置100は、図1に示す実施の形態1に係る撮影障害検出装置100が備える機能に加え、判定画像取得部116を備える。
図6は、実施の形態3に係る撮影障害検出装置100の処理を示すフローチャートである。
なお、ここでは、各処理において具体的な閾値等を記載するが、これは最良の効果を示す値の一例であり、記載された閾値等に限定するものではない。
なお、ここでは、各処理において具体的な閾値等を記載するが、これは最良の効果を示す値の一例であり、記載された閾値等に限定するものではない。
ST301〜ST303の処理は、図2に示す実施の形態1のST101〜ST103の処理と同様である。
判定画像取得部116は、カメラ200で撮影された画像を判定画像として取得し(ST304)、取得した判定画像に対してエッジ抽出処理を行い、エッジ画像を生成する(ST305)。
マスク領域抽出部112は、ST303で分割した16個の小領域それぞれについて、小領域のエッジ画像をテンプレート画像とし、判定画像のエッジ画像の同領域に対してテンプレートマッチング処理を行い、マッチ率を算出する(ST306)。マスク領域抽出部112は、小領域ごとにマッチ率を累積加算する(ST307)。
マスク領域抽出部112は、ST304〜ST307を24時間繰り返し行い、小領域ごとにマッチ率を累積加算する。なお、この間、カメラの撮影障害は発生していないものとする。
マスク領域抽出部112は、ST303で分割した16個の小領域それぞれについて、小領域のエッジ画像をテンプレート画像とし、判定画像のエッジ画像の同領域に対してテンプレートマッチング処理を行い、マッチ率を算出する(ST306)。マスク領域抽出部112は、小領域ごとにマッチ率を累積加算する(ST307)。
マスク領域抽出部112は、ST304〜ST307を24時間繰り返し行い、小領域ごとにマッチ率を累積加算する。なお、この間、カメラの撮影障害は発生していないものとする。
24時間の撮影後、マスク領域抽出部112は、ST307で得られたマッチ率の加算値を24時間の撮影で得られた総計フレーム数で割った平均マッチ率が40%未満であるかを判定し(ST308)、40%未満である場合に対象の小領域をマスク領域とする(ST309)。
マスク領域抽出部112は、分割した16個の小領域それぞれに対してST308〜ST309を行うことにより、マスク領域を抽出する。
マスク領域抽出部112は、分割した16個の小領域それぞれに対してST308〜ST309を行うことにより、マスク領域を抽出する。
以降、ST310〜ST321の処理は、図2に示す実施の形態1のST107〜ST118と同様である。
マスク領域抽出部112は、24時間の撮影において基準画像とのマッチ率が低い小領域をマスク領域として抽出している。つまり、マスク領域抽出部112は、24時間の撮影において、変化の大きい小領域をマスク領域として抽出している。
24時間の撮影において基準画像とのマッチ率が低い小領域は、カメラに障害が発生していないにも関わらず、障害検出部115のテンプレートマッチング処理(ST314)でマッチ率が40%以上にならない可能性の高い領域である。正常時にマッチ率が40%以上にならない領域が存在すると、ST114の判定結果が逆転することで、障害発生の誤検知を引き起こす可能性がある。そのため、ST304〜ST309で、マスク領域抽出部112は、24時間の撮影において基準画像とのマッチ率が低い小領域をマスク領域として抽出し、マッチ領域率の計算の対象外にしている。
24時間の撮影において基準画像とのマッチ率が低い小領域は、カメラに障害が発生していないにも関わらず、障害検出部115のテンプレートマッチング処理(ST314)でマッチ率が40%以上にならない可能性の高い領域である。正常時にマッチ率が40%以上にならない領域が存在すると、ST114の判定結果が逆転することで、障害発生の誤検知を引き起こす可能性がある。そのため、ST304〜ST309で、マスク領域抽出部112は、24時間の撮影において基準画像とのマッチ率が低い小領域をマスク領域として抽出し、マッチ領域率の計算の対象外にしている。
以上のように、実施の形態3に係る撮影障害検出装置100は、24時間の撮影において基準画像とのマッチ率が低い小領域をマスク領域として抽出することにより、撮影障害の誤検知リスクを抑止することができる。
なお、ST308では、平均マッチ率の閾値を40%としているが、0%を除く任意の値に変更してもよい。
また、ST304〜ST307は24時間分繰り返しているが、任意の時間に変更してもよい。
また、ST304〜ST307は24時間分繰り返しているが、任意の時間に変更してもよい。
また、実施の形態1,2の手法を併用して、マスク領域を抽出してもよい。つまり、実施の形態1のST104〜ST106の処理と、実施の形態2のST206〜ST208の処理と、実施の形態3のST304〜ST307の処理との少なくともいずれかで抽出される小領域をマスク領域としてもよい。あるいは、実施の形態1のST104〜ST106の処理と、実施の形態2のST206〜ST208の処理と、実施の形態3のST304〜ST307の処理との少なくとも2つ以上、あるいは全てで抽出される小領域をマスク領域としてもよい。
実施の形態4.
実施の形態では、一定期間の撮影画像の解析によって基準画像を自動設定して撮影障害を検知する方法について説明する。
実施の形態では、一定期間の撮影画像の解析によって基準画像を自動設定して撮影障害を検知する方法について説明する。
図7は、実施の形態4に係る撮影障害検出装置100の構成図である。
図7に示す撮影障害検出装置100は、図5に示す実施の形態3に係る撮影障害検出装置100が備える機能に加え、基準画像抽出部117を備える。また、図7に示す撮影障害検出装置100は、図5に示す実施の形態3に係る撮影障害検出装置100が備える機能のうち、マスク領域抽出部112、マスク領域設定部114を備えていない。
図7に示す撮影障害検出装置100は、図5に示す実施の形態3に係る撮影障害検出装置100が備える機能に加え、基準画像抽出部117を備える。また、図7に示す撮影障害検出装置100は、図5に示す実施の形態3に係る撮影障害検出装置100が備える機能のうち、マスク領域抽出部112、マスク領域設定部114を備えていない。
図8は、実施の形態4に係る撮影障害検出装置100の処理を示すフローチャートである。
なお、ここでは、各処理において具体的な閾値等を記載するが、これは最良の効果を示す値の一例であり、記載された閾値等に限定するものではない。
なお、ここでは、各処理において具体的な閾値等を記載するが、これは最良の効果を示す値の一例であり、記載された閾値等に限定するものではない。
ST401〜ST402の処理は、図6に示す実施の形態3のST301〜ST302の処理と同様である。
基準画像抽出部117は、ST402で生成された基準画像のエッジ画像を、等間隔4行4列の小領域16個に分割する(ST403)。
判定画像取得部116は、カメラ200で撮影された画像を判定画像として取得し(ST404)、取得した撮影画像に対してエッジ抽出処理を行い、エッジ画像を生成する(ST405)。
判定画像取得部116は、カメラ200で撮影された画像を判定画像として取得し(ST404)、取得した撮影画像に対してエッジ抽出処理を行い、エッジ画像を生成する(ST405)。
基準画像抽出部117は、ST403で分割した基準画像のエッジ画像の小領域をテンプレート画像とし、判定画像のエッジ画像の同領域に対してテンプレートマッチング処理を行う(ST406)。基準画像抽出部117は、ST406で行ったテンプレートマッチングによるマッチ率が40%以上であるかを判定し(ST407)、40%以上である場合にマッチ領域としてカウントする(ST408)。
基準画像抽出部117は、分割した16個の小領域それぞれに対してST406〜ST408を行い、マッチ領域をカウントする。
基準画像抽出部117は、分割した16個の小領域それぞれに対してST406〜ST408を行い、マッチ領域をカウントする。
基準画像抽出部117は、ST408でカウントされたマッチ領域数からマッチ領域率(=マッチ領域数÷処理対象領域数)を求め、マッチ領域率が15%以下であるかを判定する(ST409)。基準画像抽出部117は、ST409で15%以下である場合に、異常フレームとしてカウントする(ST410)。
なお、基準画像抽出部117は、ST409でマッチ領域数が15%以下でなかった場合には異常フレーム数をリセットする(ST411)。
なお、基準画像抽出部117は、ST409でマッチ領域数が15%以下でなかった場合には異常フレーム数をリセットする(ST411)。
基準画像抽出部117は、ST410でカウントされた異常フレーム数が10以上であるかを判定する(ST412)。基準画像抽出部117は、ST412で10以上であると判定した場合に、対象の撮影画像を新たな基準画像として追加する(ST413)。
基準画像抽出部117は、ST404〜ST413を24時間繰り返し行う。なお、この間、カメラの撮影障害は発生していないものとする。
この際、基準画像抽出部117は、ST413で新たな基準画像が追加された後は、追加された基準画像を含む全ての基準画像に対してST406〜ST411の処理を行う。そして、基準画像抽出部117は、ST412では全ての基準画像に対して異常フレーム数が10以上であるかを判定し、基準画像を抽出する。
この際、基準画像抽出部117は、ST413で新たな基準画像が追加された後は、追加された基準画像を含む全ての基準画像に対してST406〜ST411の処理を行う。そして、基準画像抽出部117は、ST412では全ての基準画像に対して異常フレーム数が10以上であるかを判定し、基準画像を抽出する。
24時間の撮影後、撮影画像取得部113は、カメラ200で撮影された撮影画像を取得し(ST414)、取得した撮影画像に対してエッジ抽出処理を行い、エッジ画像を生成する(ST415)。
障害検出部115は、基準画像のエッジ画像の小領域をテンプレート画像とし、撮影画像のエッジ画像の同領域に対してテンプレートマッチング処理を行う(ST416)。障害検出部115は、ST416で行ったテンプレートマッチングによるマッチ率が40%以上であるかを判定する(ST417)。障害検出部115は、ST417で40%以上である場合に、マッチ領域としてカウントする(ST418)。
障害検出部115は、分割した16個の小領域それぞれに対してST416〜ST418を行い、マッチ領域をカウントする。
障害検出部115は、分割した16個の小領域それぞれに対してST416〜ST418を行い、マッチ領域をカウントする。
障害検出部115は、ST418でカウントされたマッチ領域数からマッチ領域率を求め、マッチ領域率が15%以下であるかを判定する(ST419)。障害検出部115は、ST419で15%以下である場合に、異常フレームとしてカウントする(ST420)。
なお、ST419でマッチ領域率が15%以下でなかった場合には異常フレーム数をリセットする(ST421)。
なお、ST419でマッチ領域率が15%以下でなかった場合には異常フレーム数をリセットする(ST421)。
障害検出部115は、ST413で追加された基準画像も含めた全ての基準画像に対してST416〜ST420の処理を行い、全ての基準画像に対してST420でカウントされた異常フレーム数が10以上であるかを判定する(ST422)。障害検出部115は、ST422で全て10以上である場合に、撮影障害有りと判定する(ST423)。
以降、撮影障害検出装置100は、撮影画像を取得する度に、ST414〜ST423を実行して撮影障害発生を判定する。
基準画像抽出部117は、24時間の撮影において基準画像とのマッチ率が低い判定画像を新たに基準画像として抽出している。つまり、基準画像抽出部117は、24時間の撮影において基準画像との類似度が低い判定画像を新たに基準画像としている。撮影障害が発生していないにもかかわらず、基準画像とのマッチ率が低い画像は、障害検出部115で障害発生の誤検知を引き起こす撮影画像となる可能性が高い。そのため、ST404〜ST413で、基準画像抽出部117は、24時間の撮影において基準画像とのマッチ率が低い判定画像を新たに基準画像として追加し、全ての基準画像を用いて障害判定する。
以上のように、実施の形態4に係る撮影障害検出装置100は、24時間の撮影において基準画像とのマッチ率が低い画像を新たに基準画像として抽出し、全ての基準画像を用いて障害判定することにより、撮影障害の誤検知リスクを抑止することができる。
なお、ST403では、基準画像を4×4の格子領域に分割しているが、より細分化してもよいし、縦や横の帯状領域に分割してもよいし、ユーザ設定によって任意の領域に分割してもよい。
また、ST407またはST417では、平均マッチ率の閾値を40%としているが、0%を除く任意の値に変更してもよい。同様に、ST409またはST419では、マッチ領域率の閾値を15%としているが、0%を除く任意の値に変更してもよい。同様に、ST412またはST422では、異常フレーム数の閾値を10としているが、0を除く任意の値に変更してもよい。
また、ST407またはST417では、平均マッチ率の閾値を40%としているが、0%を除く任意の値に変更してもよい。同様に、ST409またはST419では、マッチ領域率の閾値を15%としているが、0%を除く任意の値に変更してもよい。同様に、ST412またはST422では、異常フレーム数の閾値を10としているが、0を除く任意の値に変更してもよい。
また、実施の形態1〜3の手法を併用して、撮影障害を検出してもよい。つまり、実施の形態4で抽出された各基準画像について、実施の形態1〜3の手法を用いて撮影障害を判定してもよい。
図9は、実施の形態1〜4に示した撮影障害検出装置100のハードウェア構成の例を示す図である。
撮影障害検出装置100は汎用PC(Personal Computer)、スマートフォン、タブレット端末等のコンピュータであり、撮影障害検出装置100の各要素をプログラムで実現することができる。
撮影障害検出装置100のハードウェア構成としては、バスに、演算装置901、外部記憶装置902、主記憶装置903、通信装置904、入出力装置905が接続されている。
撮影障害検出装置100は汎用PC(Personal Computer)、スマートフォン、タブレット端末等のコンピュータであり、撮影障害検出装置100の各要素をプログラムで実現することができる。
撮影障害検出装置100のハードウェア構成としては、バスに、演算装置901、外部記憶装置902、主記憶装置903、通信装置904、入出力装置905が接続されている。
演算装置901は、プログラムを実行するCPU(Central Processing Unit)等である。外部記憶装置902は、例えばROM(Read Only Memory)やフラッシュメモリ、ハードディスク装置等である。主記憶装置903は、例えばRAM(Random Access Memory)等である。通信装置904は、例えば通信ボード等である。入出力装置905は、例えばマウス、キーボード、ディスプレイ装置等である。
プログラムは、通常は外部記憶装置902に記憶されており、主記憶装置903にロードされた状態で、順次演算装置901に読み込まれ、実行される。
プログラムは、基準画像管理部111、マスク領域抽出部112、撮影画像取得部113、マスク領域設定部114、障害検出部115、判定画像取得部116、基準画像抽出部117として説明している機能を実現するプログラムである。
更に、外部記憶装置902にはオペレーティングシステム(OS)も記憶されており、OSの少なくとも一部が主記憶装置903にロードされ、演算装置901はOSを実行しながら、上記プログラムを実行する。
また、実施の形態1〜4の説明において、「〜の入力」、「〜の取得」、「〜の生成」、「〜の分割」、「〜の判定」、「〜の処理を行う」、「〜の抽出」、「〜の設定」、「〜のカウント」、「〜の算出」等として説明している処理の結果を示す情報やデータや信号値や変数値が主記憶装置903にファイルとして記憶されている。
プログラムは、基準画像管理部111、マスク領域抽出部112、撮影画像取得部113、マスク領域設定部114、障害検出部115、判定画像取得部116、基準画像抽出部117として説明している機能を実現するプログラムである。
更に、外部記憶装置902にはオペレーティングシステム(OS)も記憶されており、OSの少なくとも一部が主記憶装置903にロードされ、演算装置901はOSを実行しながら、上記プログラムを実行する。
また、実施の形態1〜4の説明において、「〜の入力」、「〜の取得」、「〜の生成」、「〜の分割」、「〜の判定」、「〜の処理を行う」、「〜の抽出」、「〜の設定」、「〜のカウント」、「〜の算出」等として説明している処理の結果を示す情報やデータや信号値や変数値が主記憶装置903にファイルとして記憶されている。
また、基準画像記憶部110は、外部記憶装置902、主記憶装置903等により実現される。
なお、図9の構成は、あくまでも撮影障害検出装置100のハードウェア構成の一例を示すものであり、撮影障害検出装置100のハードウェア構成は図9に記載の構成に限らず、他の構成であってもよい。
100 撮影障害検出装置、111 基準画像管理部、112 マスク領域抽出部、113 撮影画像取得部、114 マスク領域設定部、115 障害検出部、116 判定画像取得部、117 基準画像抽出部。
Claims (8)
- 撮影装置の撮影領域と撮影角度との少なくともいずれかが変わってしまう撮影障害を検出する撮影障害検出装置であり、
基準画像を分割した複数の小領域から、条件を満たす小領域をマスク領域として抽出するマスク領域抽出部と、
前記撮影装置によって撮影された撮影画像を取得する撮影画像取得部と、
前記複数の小領域のうち、前記マスク領域抽出部が抽出したマスク領域を除いた非マスク領域について、前記基準画像と、前記撮影画像取得部が取得した撮影画像とを比較して、前記撮影障害を検出する障害検出部と
を備えることを特徴とする撮影障害検出装置。 - 前記マスク領域抽出部は、前記基準画像に画像が類似する領域が他に存在する小領域を、前記マスク領域として抽出する
ことを特徴とする請求項1に記載の撮影障害検出装置。 - 前記マスク領域抽出部は、前記基準画像における各小領域の画像と前記基準画像とを比較して、画像の類似度が閾値以上である小領域を、前記基準画像に類似する画像の小領域が他に存在する小領域とする
ことを特徴とする請求項2に記載の撮影障害検出装置。 - 前記マスク領域抽出部は、前記基準画像に、前記撮影装置によって撮影される空間の奥行き方向と垂直な方向の直線が閾値以上存在する小領域を、前記マスク領域として抽出する
ことを特徴とする請求項1に記載の撮影障害検出装置。 - 前記マスク領域抽出部は、前記基準画像をハフ変換して前記基準画像における直線を抽出し、抽出した直線が交わる交点を消失点として、前記基準画像からエッジ検出処理で検出されるエッジ画素のうち、前記消失点の座標を通る直線、あるいは、延長した場合に前記消失点の座標を通る直線を構成するエッジ画素が、閾値以上に存在する小領域を、前記撮影装置によって撮影される空間の奥行き方向と垂直な方向の直線が閾値以上存在する小領域とする
ことを特徴とする請求項4に記載の撮影障害検出装置。 - 前記撮影障害検出装置は、さらに、
前記撮影障害が発生していない場合において、前記撮影装置によって撮影された撮影画像を判定画像として、複数の判定画像を取得する判定画像取得部
を備え、
前記マスク領域抽出部は、前記複数の判定画像において画像の変化の大きさが閾値以上である小領域を、前記マスク領域として抽出する
ことを特徴とする請求項1に記載の撮影障害検出装置。 - 撮影装置の撮影領域と撮影角度との少なくともいずれかが変わってしまう撮影障害を検出する撮影障害検出プログラムであり、
記憶装置に記憶した基準画像を分割した複数の小領域から、条件を満たす小領域をマスク領域として抽出するマスク領域抽出処理と、
前記撮影装置によって撮影された撮影画像を取得する撮影画像取得処理と、
前記複数の小領域のうち、前記マスク領域抽出処理で抽出したマスク領域を除いた非マスク領域について、前記基準画像と、前記撮影画像取得処理で取得した撮影画像とを比較して、前記撮影障害を検出する障害検出処理と
をコンピュータに実行させることを特徴とする撮影障害検出プログラム。 - 撮影装置の撮影領域と撮影角度との少なくともいずれかが変わってしまう撮影障害を検出する撮影障害検出装置であり、
基準画像を記憶する基準画像記憶部と、
前記撮影障害が発生していない場合において、前記撮影装置によって撮影された撮影画像を判定画像として、複数の判定画像を取得する判定画像取得部と、
前記基準画像記憶部が記憶した基準画像と、前記判定画像取得部が取得した各判定画像とを比較して、画像の類似度が閾値未満である判定画像を新たな基準画像として抽出し、前記基準画像記憶部に記憶させる基準画像抽出部と、
前記撮影装置によって撮影された撮影画像を取得する撮影画像取得部と、
前記基準画像記憶部が記憶した各基準画像と、前記撮影画像取得部が取得した撮影画像とを比較して、前記撮影障害を検出する障害検出部と
を備えることを特徴とする撮影障害検出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013249942A JP2017027091A (ja) | 2013-12-03 | 2013-12-03 | 撮影障害検出装置及び撮影障害検出プログラム |
PCT/JP2014/079958 WO2015083511A1 (ja) | 2013-12-03 | 2014-11-12 | 撮影障害検出装置及び撮影障害検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013249942A JP2017027091A (ja) | 2013-12-03 | 2013-12-03 | 撮影障害検出装置及び撮影障害検出プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017027091A true JP2017027091A (ja) | 2017-02-02 |
Family
ID=53273281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013249942A Pending JP2017027091A (ja) | 2013-12-03 | 2013-12-03 | 撮影障害検出装置及び撮影障害検出プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2017027091A (ja) |
WO (1) | WO2015083511A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112511747B (zh) * | 2020-11-27 | 2022-09-13 | 广州富港生活智能科技有限公司 | 基于物联网的自动拍摄设备控制方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4004840B2 (ja) * | 2002-04-22 | 2007-11-07 | 株式会社日立国際電気 | 物体検出方法及び物体検出装置 |
JP5637383B2 (ja) * | 2010-12-15 | 2014-12-10 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2013041400A (ja) * | 2011-08-15 | 2013-02-28 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
JP2013093673A (ja) * | 2011-10-24 | 2013-05-16 | Canon Marketing Japan Inc | 情報処理装置、制御方法、情報処理システム、プログラム |
-
2013
- 2013-12-03 JP JP2013249942A patent/JP2017027091A/ja active Pending
-
2014
- 2014-11-12 WO PCT/JP2014/079958 patent/WO2015083511A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2015083511A1 (ja) | 2015-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2742442B1 (en) | A method for detecting a copy of a reference video, corresponding apparatus for extracting a spatio-temporal signature from video data and corresponding computer readable storage medium | |
JP2018508875A (ja) | 生体顔検出用の方法及び装置 | |
CN105243395B (zh) | 一种人体图像比对方法和装置 | |
CN109086734B (zh) | 一种对人眼图像中瞳孔图像进行定位的方法及装置 | |
US10970823B2 (en) | System and method for detecting motion anomalies in video | |
US9811755B2 (en) | Object monitoring system, object monitoring method, and monitoring target extraction program | |
Fan et al. | Shelf detection via vanishing point and radial projection | |
US20180268224A1 (en) | Information processing device, determination device, notification system, information transmission method, and program | |
US20170004629A1 (en) | Low-complexity motion detection based on image edges | |
US10397472B2 (en) | Automatic detection of panoramic gestures | |
JP6358258B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
US11094076B2 (en) | Analysis apparatus, analysis method, and storage medium | |
EP2695106B1 (en) | Feature descriptor for image sections | |
US11699053B2 (en) | Narrow-strip 2-dimensional bar codes, methods, apparatuses, and devices for generating and identifying narrow-strip 2-dimensional bar codes | |
US9805433B2 (en) | Image processing apparatus and method therefor | |
US9607210B2 (en) | Video surveillance system and method for fraud detection | |
KR20190047748A (ko) | 영상의 객체 처리 방법 및 장치 | |
WO2015083511A1 (ja) | 撮影障害検出装置及び撮影障害検出プログラム | |
US20180197000A1 (en) | Image processing device and image processing system | |
JP2018160722A (ja) | 映像異常停止検出装置、映像記録装置、および、映像異常停止検出方法 | |
JP5405365B2 (ja) | 画像監視装置および監視システム | |
CN113421241B (zh) | 异常事件上报方法、装置、计算机设备及存储介质 | |
JP5455101B2 (ja) | 映像処理システムと映像処理方法、映像処理装置及びその制御方法と制御プログラム | |
CN111586369B (zh) | 聚集检测方法、装置、电子设备及可读存储介质 | |
JP2008165705A (ja) | 画像処理装置及び画像処理方法 |