JP7455284B2 - 汚れ判定装置 - Google Patents

Description

本開示は、汚れ判定装置、汚れ判定方法、および汚れ判定プログラムに関する。

特許第６６１６９０６号公報（特許文献１）には、監視カメラで撮影した撮影データが、欠陥を含んでいる欠陥有り撮影データであるか否かを識別モデルを用いて判定する検知装置が開示されている。この識別モデルは、撮影データから特徴量を抽出し、抽出した特徴に基づいて欠陥有り撮影データを検知するためのモデルである。欠陥有り撮影データは、カメラのレンズに汚れが付着した場合に撮影されたような撮影データである。

特許第６６１６９０６号公報

上記識別モデルを用いて判定を行った場合、欠陥でない画像の変化が欠陥データとして認識されてしまう可能性がある。たとえば、エレベーターのかご内を撮影しているような場合、監視カメラのレンズの汚れを検知したいにも関わらず、人や物が映り込んだり、扉の開閉など定期的に変化するものなど、汚れ以外の要素が汚れとして検知されてしまうことがある。

この場合、汚れ以外の要素を排除した状態で撮影された学習用データを増やして学習を行うことで、推定精度を上げることが可能である。しかしながら、このような状態の発生確率が低い場合、学習データを収集することが困難であり、推定精度を上げることが難しくなる。

本開示は、このような課題を解決するためになされたものであって、その目的は、監視カメラのレンズに一定の汚れがある汚れ有状態であるか否かを精度よく判定することができる汚れ判定装置、汚れ判定方法、および汚れ判定プログラムを提供することである。

本開示に係る汚れ判定装置は、取得部と、抽出部と、推定部と、判定部とを備える。取得部は、監視カメラにより撮影された撮影データを定期的に取得する。抽出部は、取得された撮影データの特徴量を抽出する。推定部は、抽出された特徴量に基づく情報を学習済モデルに入力して、監視カメラのレンズの汚れ度合を出力する。判定部は、汚れ度合が汚れ度合に関する閾値以上になり、かつ、汚れ度合が閾値以上になってから所定時間が経過しても汚れ度合が閾値未満にならない場合に、レンズに一定の汚れがある汚れ有状態であると判定する。

本開示に係る汚れ判定方法は、監視カメラにより撮影された撮影データを定期的に取得するステップと、取得された撮影データの特徴量を抽出するステップと、抽出された特徴量に基づく情報を学習済モデルに入力して、監視カメラのレンズの汚れ度合を出力するステップと、汚れ度合が汚れ度合に関する閾値以上になり、かつ、汚れ度合が閾値以上になってから所定時間が経過しても汚れ度合が閾値未満にならない場合に、レンズに一定の汚れがある汚れ有状態であると判定するステップとを備える。

本開示に係る汚れ判定プログラムは、コンピュータに、監視カメラにより撮影された撮影データを定期的に取得するステップと、取得された撮影データの特徴量を抽出するステップと、抽出された特徴量に基づく情報を学習済モデルに入力して、監視カメラのレンズの汚れ度合を出力するステップと、汚れ度合が汚れ度合に関する閾値以上になり、かつ、汚れ度合が閾値以上になってから所定時間が経過しても汚れ度合が閾値未満にならない場合に、レンズに一定の汚れがある汚れ有状態であると判定するステップとを実行させる。

本開示によれば、監視カメラのレンズに一定の汚れがある汚れ有状態であるか否かを精度よく判定することができる。

汚れ判定システムのハードウェア構成の一例を示す図である。 汚れ判定システムの機能ブロック図の一例を示す図である。 汚れ判定装置が実行する第１処理のフローチャートである。 汚れ判定装置が実行する判定処理のフローチャートである。 各種学習済モデルを説明するための図である。 レンズの汚れ度合の時間変化を説明するための図である。 かご内を撮影した画像と汚れ度合いとの関係を説明するための図である。 かご内を撮影した画像と汚れ度合いとの関係を説明するための図である。 かご内を撮影した画像と汚れ度合いとの関係を説明するための図である。 かご内を撮影した画像と汚れ度合いとの関係を説明するための図である。 かご内を撮影した画像と汚れ度合いとの関係を説明するための図である。 第１処理におけるかご内を撮影した画像と汚れ度合いとの関係を説明するための図である。 第２処理におけるかご内を撮影した画像と汚れ度合いとの関係を説明するための図である。 汚れ判定装置が実行する第２処理のフローチャートである。 かご内を撮影した画像と汚れ度合いとの関係を説明するための図である。

以下、図面を参照しつつ、実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

［汚れ判定システム１］
まず、本実施の形態に係る汚れ判定装置２００を備える汚れ判定システム１について説明する。図１は、汚れ判定システム１のハードウェア構成の一例を示す図である。

汚れ判定システム１は、映像記録装置１００と、エレベーターのかご４０１と、かご４０１内に設置された監視カメラ４００と、汚れ判定装置２００と、端末３００とを備える。映像記録装置１００は、監視カメラ４００および汚れ判定装置２００と通信可能である。端末３００は、汚れ判定装置２００と通信可能である。

監視カメラ４００は、ビル内に設置されたエレベーターのかご４０１内を監視するためのカメラである。監視カメラ４００は、たとえば、１秒間に３０のフレーム画像を生成する。連続して生成されたフレーム画像は、連続して再生されることで動画像として再生される。

本実施の形態における撮影データは、フレーム画像に相当する。映像記録装置１００は、監視カメラ４００により撮影された撮影データ（フレーム画像）を記録するとともに、監視カメラ４００のレンズの汚れの状態を判定する装置である。

なお、ビル内には複数のかごが設置されていてもよい。この場合、かごごとに監視カメラ４００が設置される。映像記録装置１００は、かごごとに監視カメラ４００のレンズの汚れの状態を判定する。また、監視カメラ４００は、エレベーターのかご４０１内に設置されるものに限らず、エレベーターの乗場、エスカレーター、その他のビル設備を監視するために設置されるものであってもよい。

映像記録装置１００は、ＣＰＵ（Central Processing Unit）１１１と、ＲＯＭ（Read Only Memory）１１２と、ＲＡＭ（Random Access Memory）１１３と、記憶部１１４と、通信インターフェイス１１５と、Ｉ／Ｏインターフェイス１１６とを有する。これらは、バスを介して相互に通信可能に接続されている。

ＣＰＵ１１１は、映像記録装置１００全体を総括的に制御する。ＣＰＵ１１１は、ＲＯＭ１１２に格納されているプログラムをＲＡＭ１１３に展開して実行する。ＲＯＭ１１２は、映像記録装置１００が行う処理の処理手順が記されたプログラムを格納する。

ＲＡＭ１１３は、ＣＰＵ１１１がプログラムを実行する際の作業領域となるものであり、プログラムやプログラムを実行する際のデータ等を一時的に記憶する。また、記憶部１１４は、不揮発性の記憶装置であり、たとえば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等である。

映像記録装置１００は、通信インターフェイス１１５を介して汚れ判定装置２００と通信可能である。Ｉ／Ｏインターフェイス１１６は、ＣＰＵ１１１が監視カメラ４００と接続するためのインターフェイスである。

汚れ判定装置２００は、ＣＰＵ２１１と、ＲＯＭ２１２と、ＲＡＭ２１３と、記憶部２１４と、通信インターフェイス２１５と、Ｉ／Ｏインターフェイス２１６とを有する。これらは、バスを介して相互に通信可能に接続されている。

ＣＰＵ２１１は、汚れ判定装置２００全体を総括的に制御する。ＣＰＵ２１１は、ＲＯＭ２１２に格納されているプログラムをＲＡＭ２１３に展開して実行する。ＲＯＭ２１２は、汚れ判定装置２００が行う処理の処理手順が記されたプログラムを格納する。

ＲＡＭ２１３は、ＣＰＵ２１１がプログラムを実行する際の作業領域となるものであり、プログラムやプログラムを実行する際のデータ等を一時的に記憶する。また、記憶部２１４は、不揮発性の記憶装置であり、たとえば、ＨＤＤやＳＳＤ等である。

汚れ判定装置２００は、通信インターフェイス２１５を介して映像記録装置１００および端末３００と通信可能である。Ｉ／Ｏインターフェイス２１６は、ＣＰＵ２１１が表示装置、あるいは入力装置と接続するためのインターフェイスである。

表示装置は、たとえば、ディスプレイである。表示装置では、撮影データを確認したり、レンズの汚れの状態等を確認することができる。入力装置は、たとえば、キーボードやマウスである。たとえば、入力装置の操作により、汚れ判定装置２００に指示を与えることができる。

図示しないが、端末３００も、汚れ判定装置２００と同様に、ＣＰＵと、ＲＯＭと、ＲＡＭと、記憶部と、通信インターフェイスと、Ｉ／Ｏインターフェイスとを有する。端末３００は、パーソナルコンピュータ、タブレット端末、スマートフォン等であってもよい。端末３００においても、監視カメラ４００に記録された撮影データやレンズの汚れの状態等を確認することができる。

図２は、汚れ判定システム１の機能ブロック図の一例を示す図である。映像記録装置１００は、取得部１２１を備える。取得部１２１は、監視カメラ４００が撮影した撮影データを取得し、記憶部１１４に撮影データ１２２として記憶する。

汚れ判定装置２００は、取得部１３１と、抽出部１３２と、正規化部１３３と、推定部１４１と、モデル生成部１３４と、判定部１４３と、予測部１４５、通知部１４４とを備える。

これらの一連の処理により、汚れ判定装置２００は、監視カメラ４００が撮影した撮影データ１２２を用いて、学習済モデル１３５を生成する。また、監視カメラ４００が撮影した撮影データ１２２を取得し、最終的には、端末３００に対して汚れの判定結果を通知する。

端末３００では、汚れ判定装置２００によって通知された判定結果を確認することができる。記憶部２１４は、モデル生成部１３４が生成した学習済モデル１３５および推定部１４１が生成した推定結果１４２を記憶する。以下、フローチャート等を用いて処理の流れを説明する。

［第１処理のフローチャート］
汚れ判定装置２００は、第１モードと第２モードとを含む実行モードを設定可能である。判定部１４３は、第１モードが設定されている場合は、時間Ｔ１ごとに判定を行う。判定部１４３は、第２モードが設定されている場合は、時間Ｔ１よりも長い時間Ｔ２ごとに判定を行う。本実施の形態においては、時間Ｔ１＝１０分であり、時間Ｔ２＝１日である。

具体的には、汚れ判定装置２００は、第１モードが設定されている場合は、第１処理を起動し、第２モードが設定されている場合は、第２処理を起動する。本実施の形態においては、第１モードおよび第２モードのいずれもが設定されているとする。

図３は、汚れ判定装置２００が実行する第１処理のフローチャートである。第１処理は、時間Ｔ１の周期で汚れを判定する処理である。以下、「ステップ」を単に「Ｓ」とも称する。

図３に示すように、第１処理が開始すると、Ｓ１１において、汚れ判定装置２００は、時間Ｔ１が経過した否かを判定する。汚れ判定装置２００は、時間Ｔ１が経過したと判定した場合（Ｓ１１でＹＥＳ）、Ｓ１２に処理を進める。汚れ判定装置２００は、時間Ｔ１が経過したと判定しなかった場合（Ｓ１１でＮＯ）、処理をＳ１１に戻す。

Ｓ１２において、汚れ判定装置２００は、判定処理（図４参照）を行う。判定処理は、監視カメラ４００で撮影された撮影データ１２２に基づき、監視カメラ４００のレンズの汚れ状態を判定する処理である。

Ｓ１３において、通知部１４４は、判定部１４３の判定結果を端末３００に通知し、処理をＳ１１に戻す。このように、第１処理は、時間Ｔ１が経過するごとに判定処理を行う。

図４は、汚れ判定装置２００が実行する判定処理のフローチャートである。図４に示すように、判定処理が開始すると、Ｓ２１において、取得部１３１は、監視カメラ４００で撮影された撮影データ１２２を取得し、処理をＳ２２に進める。撮影データ１２２は、エレベーターのかご４０１内が撮影されたデータである。

Ｓ２２において、抽出部１３２は、取得された撮影データ１２２の特徴量を抽出し、処理をＳ２３に進める。Ｓ２３において、正規化部１３３は、抽出された特徴量を正規化し、処理をＳ２４に進める。抽出部１３２および正規化部１３３の処理は、図５を用いて後述する学習時の処理と同様である。

推定部１４１は、抽出された特徴量に基づく情報を学習済モデル１３５に入力して、監視カメラ４００のレンズの汚れ度合を出力する。汚れ度合は、監視カメラ４００のレンズがどの程度汚れているかを、０～１の数値を用いて示したものである。

具体的には、Ｓ２４において、推定部１４１は、抽出された特徴量に基づく情報として、正規化されたデータを、記憶部２１４が記憶する全ての学習済モデル１３５（後述する図５の学習済モデルＡ～Ｅ等）に入力し、それぞれ汚れ度合を出力し、処理をＳ２５に進める。Ｓ２５において、推定部１４１は、出力された全ての汚れ度合のうち、最も小さい汚れ度合を選択し、処理をＳ２６に進める。

このように、推定部１４１は、汚れ度合の出力結果に基づき、全ての学習済モデル１３５（学習済モデルＡ～Ｅ等）のうちのいずれかのモデルを選択している。具体的には、推定部１４１は、複数のモデルのうち、出力結果が最も小さくなるモデルを選択している。詳細は図５を用いて後述するが、その理由は、出力結果（汚れ度合）が最も小さくなるモデルが、最適なモデルであると考えられるからである。

判定部１４３は、汚れ度合が閾値以上になり、かつ、汚れ度合が閾値以上になってから所定時間（たとえば、８分）が経過するまでに汚れ度合が閾値未満になった場合に、汚れ有状態であると判定する（以下のＳ２６～Ｓ２８）。

詳細については、具体例も含めて図６～図１０を用いて後述するが、本実施の形態においては、汚れとは無関係な要素が「汚れ」として誤検出されることがある。これらの要素は、時間の経過とともに検出されなくなることが想定されるため、所定時間が経過するまでの汚れ度合の推移を確認するようにしている。

ここで、「閾値」は、汚れ度合に関して事前に設定された閾値であり、本実施の形態においては、「０．３」が設定されている。また、「汚れ有状態」は、監視カメラ４００のレンズに一定の汚れがある状態であり、具体的には、汚れ度合が閾値以上となった状態を指す。

Ｓ２６において、推定部１４１は、汚れ度合が閾値以上になり、かつ、汚れ度合が閾値以上になってから所定時間が経過しても汚れ度合が閾値未満にならないか否かを判定する。

具体的には、汚れ度合が閾値以上である場合には、所定期間（８分）が経過するまで、特定時間（たとえば、３０秒）ごとＳ２１～Ｓ２５のステップを繰り返す。そして、所定期間（８分）が経過するまでに得られた汚れ度合のうち、最も小さいものを正しい汚れ度合として選択する。Ｓ２６においては、正しい汚れ度合として選択された値が閾値未満にならないか否かを判定している。

推定部１４１は、汚れ度合が閾値以上になり、かつ、汚れ度合が閾値以上になってから所定時間が経過しても汚れ度合が閾値未満にならないと判定した場合（Ｓ２６でＹＥＳ）は、処理をＳ２７に進める。Ｓ２７において、判定部１４３は、汚れ有状態であると判定し、判定処理を終了する。

推定部１４１は、汚れ度合が閾値以上になり、かつ、汚れ度合が閾値以上になってから所定時間が経過しても汚れ度合が閾値未満にならないと判定しなかった（つまり、所定時間が経過するまでに汚れ度合が閾値未満になったと判定した）場合（Ｓ２６でＮＯ）は、処理をＳ２８に進める。Ｓ２８において、判定部１４３は、汚れ有状態でないと判定し、判定処理を終了する。

端末３００で、汚れ有状態であることを確認したエレベーターの保守員あるいはビルの管理者は、監視カメラ４００のレンズに付着した汚れを取り除くよう清掃する。

［学習済モデル］
図５は、各種学習済モデルを説明するための図である。学習済モデル１３５は、特徴量に基づく情報が入力された際に、汚れ度合を出力するために学習処理が行われたモデルである。

図５に示すように、学習済モデル１３５は、学習済モデルＡ～Ｅ等を含む。学習済モデルＡ～Ｅ等の各々は、複数の撮影環境のいずれかで撮影された撮影データ１２２群を用いて学習処理が行われたモデルである。

学習済モデルＡは、撮影環境として朝に撮影された撮影データ１２２群を用いて学習処理が行われたモデルである。学習済モデルＢは、撮影環境として昼に撮影された撮影データ１２２群を用いて学習処理が行われたモデルである。学習済モデルＣは、撮影環境として夜に撮影された撮影データ１２２群を用いて学習処理が行われたモデルである。朝と昼と夜とでは、光の入り具合によってかご４０１内の明るさがそれぞれ異なる。

学習済モデルＤは、撮影環境としてかご４０１の扉が開いた状態（戸開状態）で撮影された撮影データ１２２群を用いて学習処理が行われたモデルである。学習済モデルＥは、撮影環境としてかご４０１の扉が閉じた状態（戸閉状態）で撮影された撮影データ１２２群を用いて学習処理が行われたモデルである。

本実施の形態においては、予め汚れ度合が判定されている撮影データのセット（撮影データ群）を用いて学習処理を行う。取得部１３１は、予め汚れ度合が判定されている撮影データ１２２を学習データとして取得する。

その際、たとえば、学習済モデルＤ（戸開状態）を生成する場合、予め汚れ度合が判定されており、かつ、戸開状態で撮影された撮影データ１２２を学習データとして取得する。学習処理のための撮影データ１２２は、汚れ度合と撮影環境とを事前に紐付けた上で、教師用データとして記憶部１１４に記憶させておけばよい。

次に、抽出部１３２は、取得した撮影データ１２２の特徴量を抽出する。たとえば、撮影データ１２２の色の特性に基づき特徴量を抽出してもよい。撮影データ１２２がカラー画像の場合、１画素毎に色の特性データを持っている。具体的には、彩度、明度、色相等がある。また、撮影データ全体としては、配色、ばらつき、構造等がある。これらの色の特性を組み合わせることで、汚れ度合が低い場合と汚れ度合が高い場合とで差が現れる特徴量を抽出する。汚れ度合が高い場合は、レンズに付着している汚れの画像（汚れ部分の撮影領域）は黒色、つまり明るさが低下すると推測される。したがって、汚れが付着していない場合と比較すると特徴量が大きく異なってくると考えられる。このように、汚れ度合が高い場合に差異が現れるように特徴量を抽出すればよい。

次に、正規化部１３３は、抽出部１３２が抽出した特徴量を正規化する。モデル生成部１３４は、正規化された撮影データ１２２と紐付けられた汚れ度合とに基づき学習処理を行って、学習済モデルを生成する。

判定対象となる撮影データの撮影環境と、学習済モデルの撮影環境とが近い場合、判定部１４３の判定精度が高くなることが期待できる。たとえば、図７のように、取得された撮影データが戸開状態で撮影されたものであれば、戸開状態で撮影された撮影データ１２２群を用いて学習処理が行われた学習済モデルＤを用いると、より判定精度が高くなることが期待できる。

そして、算出された汚れ度合が最も小さくなるモデルが、判定部１４３の判定精度が最も高いモデルであることが期待できる。たとえば、戸開状態で撮影された撮影データと、戸閉状態での撮影データを用いた学習済モデルＥとでは、扉の状態が異なることにより、その分が汚れ度合として誤検知される可能性が高い。これに対して、戸開状態で撮影された撮影データと、同じく戸開状態での撮影データを用いた学習済モデルＤとでは、扉の状態が同じであるため、扉の領域において汚れ度合として誤検知される可能性が低くなる。

このため、上述のように、推定部１４１は、全ての学習済モデル１３５（学習済モデルＡ～Ｅ等）を用いて、それぞれの汚れ度合を出力する。そして、汚れ度合が最も小さくなるモデルを最適なモデルとして選択している（最も小さい汚れ度合が、正しい汚れ度合であると判断している）。

なお、学習済モデルは、上記学習済モデルＡ～Ｅに限らず、乗客が乗車した状態で学習処理が行われたモデルや、複数の撮影環境が組み合わされた環境で学習処理が行われたモデルを含んでもよい。また、１つの学習済モデルのみを用いて推定部１４１により汚れ度合を出力させるようにしてもよい。この場合、学習処理が簡易になる。

なお、画像中の類似する領域をひとまとまりとして分割されるようにしてもよい。この場合、推定部１４１は、分割された領域ごとに汚れ度合を出力するようにする。推定部１４１は、領域ごとに、「汚れ度合」×「画像全体のうち分割された領域が占める割合」を算出し、これらを合算して「汚れ度合」として算出する。

［汚れ度合の時間変化］
図６は、レンズの汚れ度合の時間変化を説明するための図である。図６において、縦軸は、汚れ度合を示す。横軸は、時間を示す。

図６に示すように、レンズが全く汚れていない場合（「正常時」とも称する）の汚れ度合は０である。閾値は、０．３である。

時刻ｔ１（場面１）おいて、汚れ度合は０である。その後、汚れ度合が急上昇し０．９になった時刻ｔ２が場面２である。このとき、汚れ度合は、閾値（０．３）以上になっている。その後、汚れ度合が急激に下がり、０．１になった時刻ｔ３が場面３である。このとき、汚れ度合（０．１）は、閾値（０．３）を下回っている。このような場合、汚れ有状態ではないと判断される。

次に、汚れ度合が急上昇して０．８になった時刻ｔ４が場面４である。このとき、汚れ度合（０．８）は、閾値（０．３）以上になっている。その後、汚れ度合が急激に下がり、０．４になった時刻ｔ５が場面５である。このとき、汚れ度合（０．４）は、閾値（０．３）以上になったままである。このような場合、汚れ有状態であると判断される。

以下、場面１～５の状況をかご４０１内を撮影した画像を用いて説明する。図７～図１１は、かご４０１内を撮影した画像と汚れ度合いとの関係を説明するための図である。

場面１では、図７に示すように、かご４０１内を撮影した画像８０ａ（撮影データ）において、出入口５１は、かご４０１の扉が開いた状態（戸開状態）である。かご４０１内には、乗客はいない。また、監視カメラ４００のレンズには汚れが付着しておらず、汚れ度合＝０が出力されている。

場面２では、図８に示すように、かご４０１内を撮影した画像８０ｂにおいて、かご４０１内に乗客５３が４人乗り込み、出入口５１はかご４０１の扉が閉じた状態（戸閉状態）になっている。また、レンズには汚れが付着している。このとき、汚れ度合＝０．９に上がっている。

場面３では、図９に示すように、かご４０１内を撮影した画像８０ｃにおいて、出入口５１の扉が開き（戸開状態）、かご４０１内の乗客が全員降車している。このとき、レンズの汚れは場面２と同程度付着している。このとき、汚れ度合＝０．１に下がっている。

場面１および場面３においては、いずれも戸開状態かつ乗客＝０人である。場面１と場面３との画像の違いは、レンズについた汚れのみであるため、汚れ度合＝０．１は、純粋にレンズの汚れのみによるものと考えられる。

一方で、場面２と場面３とでは、レンズに汚れがついている点は同じであるものの、場面２において戸閉状態かつ乗客＝４人である点で異なる。このため、場面２で汚れ度合＝０．９であるのは、レンズの汚れに加えて、かご４０１の戸開閉状態とかご４０１内の乗客による誤検知を含むものと考えられる。

以上のように、本実施の形態においては、かご４０１が戸開状態、乗客＝０人、かつ、レンズの汚れなしである場合（場面１）に、汚れ度合＝０と算出される。その後、レンズに汚れ度合＝０．１の汚れが付着するが、さらに、乗客が４人乗り込み、戸閉状態となることで、汚れ度合が０．９まで上昇する。

この場合、汚れ度合が閾値（０．３）以上になっているものの、実際には、汚れではなく、戸閉状態となり乗客が乗車したことによる画像変化により、汚れ度合が上昇しているだけである。そのため、戸開状態かつ乗客＝０人に戻った場面３においては、純粋なレンズの汚れ（汚れ度合＝０．１）のみが検知されている。

このように、汚れ度合は、レンズの汚れと、かご４０１内の積載量（たとえば、乗車人数）と、かご４０１の戸開閉状態との少なくともいずれかに応じて変化する。このため、本実施の形態においては、推定部１４１は、汚れ度合が閾値以上になり、かつ、汚れ度合が閾値以上になってから所定時間が経過するまでに汚れ度合が閾値未満になったと判定した場合には、汚れ有状態でないと判定している（Ｓ２６，Ｓ２８）。なお、汚れ度合が変化する各種要因について、図１５を用いてより詳しく説明する。

次に、場面４では、図１０に示すように、かご４０１内を撮影した画像８０ｄにおいて、かご４０１内に乗客５３が２人乗り込み、戸閉状態になっている。さらに、乗客５３のいたずらにより、監視カメラ４００のレンズの左下が汚されている。このとき、汚れ度合は０．８に上がっている。

場面５では、図１１に示すように、かご４０１内を撮影した画像８０ｅにおいて、戸開状態となり、かご４０１内の乗客が全員降車している。このとき、汚れ度合＝０．４に下がっている。

場面３および場面５においては、いずれも戸開状態かつ乗客＝０人である。場面３と場面５との画像の違いは、乗客５３がいたずらでつけたレンズの左下の汚れのみである。これにより、汚れ度合は０．１から０．４に上昇しており、閾値（０．３）を超えている。

一方で、場面４と場面５とでは、レンズに汚れがついている点は同じであるものの、場面４において戸閉状態かつ乗客＝２人である点で異なる。このため、場面４で汚れ度合＝０．８であるのは、レンズの汚れに加えて、かご４０１の戸開閉状態とかご４０１内の乗客による誤検知を含むものと考えられる。

このように、戸開状態、乗客＝０人、かつ、レンズの汚れありである場合（場面３）に、汚れ度合＝０．１と算出されている。その後、乗客が２人乗り込み、戸閉状態となり、いたずらによるレンズの汚れで、汚れ度合が０．８まで上昇する。

この場合、汚れ度合が閾値（０．３）を超えているが、戸閉状態となり乗客が乗車したことによる画像変化による汚れ度合の上昇分も含まれる。そのため、戸開状態かつ乗客＝０人に戻った場面５において、純粋なレンズの汚れ（汚れ度合＝０．４）のみが検知される。そして、この場合においても、汚れ度合（０．４）が閾値（０．３）未満とならないため、汚れ有状態であると判定される。

このように、判定部１４３は、汚れ度合が閾値以上になり、かつ、汚れ度合が閾値以上になってから所定時間が経過しても汚れ度合が閾値未満にならない場合に、汚れ有状態であると判定している（Ｓ２６，Ｓ２７）。

ここで、学習済モデルを用いて汚れ度合を推定しようとした場合、汚れ以外の要素（たとえば、戸開閉状態や乗客）による誤検知（値が大きくなってしまうこと）が発生する可能性がある。この場合、汚れと汚れ以外の要素を区別可能にするために、より精度の高い学習処理を行うことで、汚れ度合の推定精度を高めることが考えられる。そのためには、汚れ以外の要素を排除した状態での学習データを増やして学習の精度を高めることが考えられる。しかしながら、このような状態の発生確率が低い場合、学習データを収集することが困難であり、推定精度を上げることが難しくなる。

このため、本実施の形態においては、学習済モデルによる推定以外の手法も併用して、汚れ以外の要素を除外し、これにより汚れ度合の推定精度を高めた。上述したように、「汚れ」による汚れ度合は時間が経過しても減少することはなく、「汚れ以外の要素」による汚れ度合は時間の経過とともに減少する。たとえば、汚れ以外の要素である「戸開閉状態」は時間の経過とともに戸開状態に戻り、乗客は時間の経過とともに０人に戻る。このように、汚れ以外の要素により閾値以上となるケースが発生する。このため、所定期間待つことで汚れ以外の要素による誤検出を減少させ、極力、汚れのみによる汚れ度合が検出できるように構成した。このようにすることで、学習データを追加することなく、汚れ有状態であるか否かを精度よく判定することができる。

次に、第１処理および第２処理におけるかご４０１内を撮影した画像と汚れ度合いとの関係を説明する。図１２は、第１処理におけるかご４０１内を撮影した画像と汚れ度合いとの関係を説明するための図である。

第１処理においては、図３，図４のフローチャートを用いて説明したように、Ｔ１（１０分）ごとに判定処理を行う。これに対して、第２処理においては、図１４のフローチャートを用いて後述するようにＴ２（１日）ごとに判定処理を行う。

まず、第１処理において１０分ごとに判定処理を行う例について説明する。図１２に示すように、画像８０ｊにおいて、出入口５１は戸閉状態であり、かご４０１内には乗客５３がいない。また、監視カメラ４００のレンズには汚れが付着しておらず、汚れ度合は０である。

この状態以降、１０分ごとに判定処理が行われる。その際、汚れ度合が閾値以上と判定された場合は、所定時間が経過しても閾値以上であるか否かが判断される。図６～図１１を用いて説明したように、場面２（ｔ２）のように汚れ度合が閾値以上であると判断された場合であっても、所定時間が経過するまでの場面３（ｔ３）において、汚れ度合が閾値未満になっている場合は、汚れ有状態ではないと判断される。

一方、場面４（ｔ４）のように汚れ度合が閾値以上であると判断された場合であって、所定時間が経過しても、場面３（ｔ５）において汚れ度合が閾値以上のままであるので、汚れ有状態であると判断される。

画像８０ｊの状態において、たとえば、乗客のいたずらによって監視カメラ４００のレンズが汚されたとする。画像８０ｊの状態から１０分が経過した状態が画像８０ｋである。画像８０ｋにおいて、出入口５１は戸閉状態であり、かご４０１内には乗客５３がいない。ただし、監視カメラ４００のレンズの右側には汚れが付着しており、汚れ度合は０．４になっている。この場合、汚れ度合が閾値（０．３）以上であるため、汚れ有状態であると判断される。

このように、第１処理においては、１０分ごとに判定処理を行うため、いたずらによってレンズが汚された場合のような、突発的な汚れを検出することができる。

次に、第２処理において１日ごとに判定処理を行う例について説明する。図１３は、第２処理におけるかご４０１内を撮影した画像と汚れ度合いとの関係を説明するための図である。図１３に示すように、画像８０ｆにおいて、出入口５１は戸開状態であり、かご４０１内には乗客５３がいない。また、監視カメラ４００のレンズには汚れが付着しておらず、汚れ度合は０である。

１日ごとに判定処理が実行され、画像８０ｆの状態から３０日が経過した（３０回の判定処理が行われた）状態が画像８０ｇである。画像８０ｇにおいても、出入口５１は戸開状態であり、かご４０１内には乗客５３がいない。ただし、監視カメラ４００のレンズには汚れが付着しており、汚れ度合は０．１になっている。

なお、判定処理が実行されるタイミングにおいて、乗客がおり、これにより閾値以上となる場合には、所定期間内に汚れ度合が閾値未満になるかが判定される。本例では、乗客が降車したタイミングで、汚れ度合は０．１まで低下する。

画像８０ｇの状態から３０日が経過した（３０回の判定処理が行われた）状態が画像８０ｈである。画像８０ｆの状態から数えると、６０日が経過している。画像８０ｈにおいて、も出入口５１は戸開状態であり、かご４０１内には乗客５３がいない。ただし、監視カメラ４００のレンズにはさらに汚れが蓄積されており、汚れ度合は０．２になっている。

画像８０ｈの状態から３０日が経過した状態（３０回の判定処理が行われた）が画像８０ｉである。画像８０ｆの状態から数えると、９０日が経過している。画像８０ｇにおいても、出入口５１は戸開状態であり、かご４０１内には乗客５３がいない。ただし、監視カメラ４００のレンズにはさらに汚れが蓄積されており、汚れ度合は０．３になっている。この場合、汚れ度合が閾値に到達しているので、汚れ有状態であると判断される。

画像８０ｆ～８０ｉによれば、汚れ度合は、３０日ごとに０．１ずつ増加している。このため、たとえば、０日～６０日までの汚れ度合の経時変化から、さらに３０日後の９０日後には、汚れ度合が閾値に到達することを予測することができる。これにより、保守員は、レンズのクリーニングをすべき時期を知ることができる。以下、第２処理について、フローチャートを用いて説明する。

［第２処理のフローチャート］
上述したように第１処理は、時間Ｔ１（１０分）の周期で汚れを判定する処理である。これに対して、第２処理は、時間Ｔ２（１日）の周期で汚れを判定する。さらに、第２処理は、将来のレンズの汚れを推定する。

以下、第２処理について説明する。図１４は、汚れ判定装置２００が実行する第２処理のフローチャートである。

図１４に示すように、第２処理が開始すると、Ｓ３１において、汚れ判定装置２００は、時間Ｔ２が経過した否かを判定する。汚れ判定装置２００は、時間Ｔ２が経過したと判定した場合（Ｓ３１でＹＥＳ）、Ｓ３２に処理を進める。汚れ判定装置２００は、時間Ｔ２が経過したと判定しなかった場合（Ｓ３１でＮＯ）、処理をＳ３１に戻す。

Ｓ３２において、汚れ判定装置２００は、判定処理を行い、処理をＳ３３に進める。つまり、汚れ判定装置２００は、時間Ｔ２が経過するごとに判定処理等を行う。

Ｓ３３において、汚れ判定装置２００の予測部１４５は、汚れ度合いを記憶部２１４に記憶し、処理をＳ３３に進める。

Ｓ３４において、予測部１４５は、記憶部２１４に記憶された汚れ度合いの時系列データに基づき、汚れ有状態であると判定される時期を推定し、処理をＳ３５に進める。

図１３を用いて示した例では、０日目は汚れ度合＝０である。３０日目は汚れ度合＝０．１である。６０日目は汚れ度合＝０．２である。現在、６０日目であるとする。記憶部２１４は、０日目～６０日目までの汚れ度合のデータを記憶している。

そして、これらのデータによれば、３０日ごとに汚れ度合が０．１ずつ増加するため、予測部１４５は、９０日目（３０日後）に汚れ度合が閾値である０．３に到達すると予測する。つまり、汚れ有状態であると判定される時期は、３０日後であると予測する。

たとえば、予測部１４５は、汚れ度合いの時系列データを用いて、最小自乗法等により予測モデルを生成させてもよい。予測部１４５は、予測モデルを用いて、汚れ有状態であると判定される時期を予測する。

Ｓ３５において、通知部１４４は、判定部１４３の判定結果および予測部１４５の推定結果を端末３００に送信し、Ｓ３１に処理を戻す。

［汚れ度合が変化する各種要因］
図６～図１１等で説明したように、汚れ度合は、「レンズの汚れ」と、「かご４０１内の積載量」と、「かご４０１の戸開閉状態」との少なくともいずれかに応じて変化する。ここでは、汚れ度合が変化する各種要因について、図１５を用いてより詳しく説明する。

図１５は、かご４０１内を撮影した画像と汚れ度合いとの関係を説明するための図である。図１５に示すように、かご４０１内を撮影した画像８０ｊにおいて、出入口５１は戸開状態であり、かご４０１内には乗客がいない。また、監視カメラ４００のレンズには汚れが付着しておらず、汚れ度合＝０が出力されている。

図６～図１１の例では、かご４０１内に乗客が乗車した例について説明したが、かご４０１内を撮影した画像８０ｋに示すように、かご４０１内には乗客とともに大きな荷物が積載される場合もある。上記「かご４０１内の積載量」としては、乗車人数のみならず荷物の量も含まれる。なお、「かご４０１内の積載量」は、画像８０ｋから推定される乗客や荷物の総面積を示すものあってもよい。

画像８０ｋの例では、かご４０１内に乗客とともに荷物が積載されることにより、汚れ度合は０．２まで上昇している。この場合、かご４０１内の積載量に応じて汚れ度合が変化しているが、目的階に到着すると乗客および荷物はかご４０１の外に出るため、汚れ度合は再び０に戻る。このため、乗客および荷物に基づき、「汚れ有状態」とは判定されない。

また、上述の「かご４０１の戸開閉状態」には、「乗場の状態」も含まれる。かご４０１内を撮影した画像８０ｌでは、画像８０ｊと同じく戸開状態であるが、乗場の状態が変化している。具体的には、画像８０ｊでは日中の太陽の光で乗場が明るいのに対し、画像８０ｌでは夜になって乗場が暗いために汚れ度合が０．１５まで上昇している。上述のように、戸開状態と戸閉状態とでは汚れ度合が異なるが、戸開状態においては時間帯に応じても汚れ度合が異なる。

図５の例においては、撮影環境として、朝と昼と夜とで学習済モデルを異ならせ（学習済モデルＡ～Ｃ）、戸開状態と戸閉状態とで学習済モデルを異ならせる（学習済モデルＤ，Ｅ）ように構成することで、汚れ度合の判定精度を高めるようにした。本例では、たとえば、戸開状態においてさらに時間帯に応じて学習モデルを異ならせることで、汚れ度合の判定精度をさらに高めることができる。

また、「乗場の状態」には、乗場の混雑状況も含まれる。たとえば、出勤時や退勤時などのピーク時間帯（戸開状態において複数の待ち客が映り込む）と、閑散時（乗場に人がいない）とでは、汚れ度合が異なる。この場合においても、たとえば、撮影環境として、ピーク時間帯とそれ以外の時間帯とで学習モデルを異ならせることで、汚れ度合の判定精度をさらに高めることができる。

上記以外にも、汚れ度合は、「かご４０１内に設置された監視カメラ４００の状態」によっても変化する。たとえば、かご４０１内を撮影した画像８０ｍでは、乗客のいたずら等により、かご４０１内に設置された監視カメラ４００の設置方向がずれてしまい、画像８０ｊに比べると、かご４０１のやや左側が撮影されている。これにより、画像８０ｊと画像８０ｍとの差分により、汚れ度合が０．４に変化している。

本ケースでは、所定時間が経過しても汚れ度合が低下しないため、「汚れ有状態」として誤検知される。この場合、エレベーターの保守員あるいはビルの管理者は、監視カメラ４００の設置状態を確認し、監視カメラ４００を正常な設置状態に戻す作業を行う。これにより、汚れ度合が０に戻り、汚れ度合が正常に検知されるようになる。「かご４０１内に設置された監視カメラ４００の状態」としては、上記のような監視カメラ４００の設置方向や設置位置であってもよいし、監視カメラ４００の焦点がぼやけているような状態も想定され得る。

［主な構成および効果］
以下、前述した実施の形態の主な構成および効果を説明する。

（１） 汚れ判定装置２００は、取得部１３１と、抽出部１３２と、推定部１４１と、判定部１４３とを備える。取得部１３１は、監視カメラ４００により撮影された撮影データ１２２を定期的に取得する。抽出部１３２は、取得された撮影データ１２２の特徴量を抽出する。推定部１４１は、抽出された特徴量に基づく情報を学習済モデル１３５に入力して、監視カメラ４００のレンズの汚れ度合を出力する。判定部１４３は、汚れ度合が汚れ度合に関する閾値以上になり、かつ、汚れ度合が閾値以上になってから所定時間が経過しても汚れ度合が閾値未満にならない場合に、レンズに一定の汚れがある汚れ有状態であると判定する。所定期間待つことで汚れ以外の要素による誤検出を減少させ、監視カメラのレンズに一定の汚れがある汚れ有状態であるか否かを精度よく判定することができる。

（２） 学習済モデル１３５は、複数のモデル（学習済モデルＡ～Ｅ等）を含む。複数のモデルの各々は、複数の撮影環境のいずれかで撮影された撮影データ１２２群を用いて、特徴量に基づく情報が入力された際に、汚れ度合を出力するために学習処理が行われたモデルである。推定部１４１は、複数のモデルのうちのいずれかのモデルを選択し、選択した当該モデルを用いて汚れ度合を出力する。撮影環境に応じて適切なモデルを用いることで、周囲の環境変化による誤検出を減少させ、汚れ有状態であるか否かを判定することができる。

（３） 推定部１４１は、複数のモデルのうち、出力結果が最も小さくなるモデルを選択する。撮影環境に応じて適切なモデルを用いることで、周囲の環境変化による誤検出を減少させ、汚れ有状態であるか否かを判定することができる。

（４） 汚れ判定装置２００は、第１モードと第２モードとを含む実行モードを設定可能である。判定部１４３は、第１モードが設定されている場合は、第１周期ごとに判定を行う。判定部１４３は、第２モードが設定されている場合は、前記第１周期よりも長い第２周期ごとに判定を行う。これにより、第１モードにより突発的に発生する汚れを検知することができ、第２モードにより経時変化により蓄積する汚れを検知することができる。経時変化により蓄積する汚れを検知することで、汚れ有状態となってレンズのクリーニングが必要となる時期を予想することができる。

（５） 撮影データ１２２は、エレベーターのかご４０１内が撮影されたデータである。汚れ度合は、レンズの汚れとかご４０１内の積載量（乗車人数や荷物の量）とかご４０１の戸開閉状態との少なくともいずれかに応じて変化する。これにより、所定時間が経過しても汚れ度合が低下しないレンズの汚れと、所定時間が経過するまでに汚れ度合を低下させる可能性のある積載量および戸開閉状態を識別して、汚れ有状態であるか否かを精度よく判定することができる。

（６） 汚れ判定方法は、監視カメラ４００により撮影された撮影データ１２２を定期的に取得するステップと、取得された撮影データ１２２の特徴量を抽出するステップと、抽出された特徴量に基づく情報を学習済モデル１３５に入力して、監視カメラ４００のレンズの汚れ度合を出力するステップと、汚れ度合が汚れ度合に関する閾値以上になり、かつ、汚れ度合が閾値以上になってから所定時間が経過しても汚れ度合が閾値未満にならない場合に、レンズに一定の汚れがある汚れ有状態であると判定するステップとを備える。所定期間待つことで汚れ以外の要素による誤検出を減少させ、監視カメラのレンズに一定の汚れがある汚れ有状態であるか否かを精度よく判定することができる。

（７） 汚れ判定プログラムは、コンピュータに、監視カメラ４００により撮影された撮影データ１２２を定期的に取得するステップと、取得された撮影データ１２２の特徴量を抽出するステップと、抽出された特徴量に基づく情報を学習済モデル１３５に入力して、監視カメラ４００のレンズの汚れ度合を出力するステップと、汚れ度合が汚れ度合に関する閾値以上になり、かつ、汚れ度合が閾値以上になってから所定時間が経過しても汚れ度合が閾値未満にならない場合に、レンズに一定の汚れがある汚れ有状態であると判定するステップとを実行させる。所定期間待つことで汚れ以外の要素による誤検出を減少させ、監視カメラのレンズに一定の汚れがある汚れ有状態であるか否かを精度よく判定することができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 汚れ判定システム、５１，５２ 出入口、５３ 乗客、８０ａ～８０ｉ 画像、１００ 映像記録装置、１１１，２１１ ＣＰＵ、１１２，２１２ ＲＯＭ、１１３，２１３ ＲＡＭ、１１４，２１４ 記憶部、１１５，２１５ 通信インターフェイス、１１６，２１６ Ｉ／Ｏインターフェイス、１２１ 取得部、１２２ 撮影データ、１３１ 取得部、１３２ 抽出部、１３３ 正規化部、１３４ モデル生成部、１３５ 学習済モデル、１４１ 推定部、１４２ 推定結果、１４３ 判定部、１４４ 通知部、２００ 汚れ判定装置、３００ 端末、４００ 監視カメラ。

Claims (4)

1. 監視カメラにより撮影された撮影データを定期的に取得する取得部と、
   取得された前記撮影データの特徴量を抽出する抽出部と、
   抽出された前記特徴量に基づく情報を学習済モデルに入力して、前記監視カメラのレンズの汚れ度合を出力する推定部と、
   前記汚れ度合が前記汚れ度合に関する閾値以上になり、かつ、前記汚れ度合が前記閾値以上になってから所定時間が経過しても前記汚れ度合が前記閾値未満にならない場合に、前記レンズに一定の汚れがある汚れ有状態であると判定する判定部とを備え、
   前記学習済モデルは、複数のモデルを含み、
   前記複数のモデルの各々は、複数の撮影環境のいずれかで撮影された撮影データ群を用いて、前記特徴量に基づく情報が入力された際に、前記汚れ度合を出力するために学習処理が行われたモデルであり、
   前記推定部は、前記複数のモデルの各々による前記汚れ度合の出力結果に基づき、前記複数のモデルのうちのいずれかのモデルを選択する、汚れ判定装置。
2. 前記推定部は、前記複数のモデルのうち、前記汚れ度合の出力結果が最も小さくなるモデルを選択する、請求項１に記載の汚れ判定装置。
3. 前記汚れ判定装置は、第１モードと第２モードとを含む実行モードを設定可能であり、
   前記判定部は、
   前記第１モードが設定されている場合は、第１周期ごとに判定を行い、
   前記第２モードが設定されている場合は、前記第１周期よりも長い第２周期ごとに判定を行う、請求項１または請求項２に記載の汚れ判定装置。
4. 前記撮影データは、エレベーターのかご内が撮影されたデータであり、
   前記汚れ度合は、前記レンズの汚れと前記かご内の積載量と前記かごの戸開閉状態との少なくともいずれかに応じて変化する、請求項１～請求項３のいずれか１項に記載の汚れ判定装置。

Images