JP2022066062A - 状態判定システムおよび状態判定方法。 - Google Patents
状態判定システムおよび状態判定方法。 Download PDFInfo
- Publication number
- JP2022066062A JP2022066062A JP2020174972A JP2020174972A JP2022066062A JP 2022066062 A JP2022066062 A JP 2022066062A JP 2020174972 A JP2020174972 A JP 2020174972A JP 2020174972 A JP2020174972 A JP 2020174972A JP 2022066062 A JP2022066062 A JP 2022066062A
- Authority
- JP
- Japan
- Prior art keywords
- value
- determination
- target
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Image Analysis (AREA)
- Radiation Pyrometers (AREA)
- Photovoltaic Devices (AREA)
Abstract
【課題】赤外線画像による撮像対象の異常判定の効率を向上させる。【解決手段】実施形態の状態判定システムは、赤外線画像から撮像対象を含むあらかじめ設定された設定領域を特定する。また、基づく温度情報の分布を求める。また、分布のうち、最高温度を含む第1の設定範囲に含まれた温度情報の第1の平均値を求める。また、分布のうち、前記第1の設定範囲未満の温度であって、当該範囲と重複しない第2の設定範囲に含まれた温度情報の第2の平均値を求める。また第1の平均値と第2の平均値の差である基準値を求め、複数の設定領域をグループとし、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める。また判定対象値に基づいて障害のおそれがある撮像対象を特定する。【選択図】図1
Description
この発明は、空撮された赤外線画像による撮像対象の状態判定システムおよび状態判定方法に関する。
従来、飛行体(無人航空機(ドローン)等)を利用して、空撮することが広く行われている。このような空撮画像は個人が景色を観賞するために利用されるだけでなく、災害救助、農業、生態調査、報道、インフラ点検、異常箇所の点検等、業務上利用されることもある。
例えばインフラ点検の一例として、太陽光発電所の太陽光発電設備(太陽光発電パネル等)の点検に空撮画像を利用することができる。太陽光発電設備は主に光起電力効果によって発電するため、太陽光を受ける面の汚れ、破損等により発電に支障をきたす。空撮画像によって、太陽光発電設備の汚れ、破損等を把握することが可能である。したがって、空撮画像によって太陽光発電設備を撮影して点検することが太陽光発電所において発電効率を高めるのに有効である。
また、太陽光発電パネルを赤外線カメラで撮影し、撮影された赤外線画像を映像モニターを通して目視し、またその画像を保存し、あるいは、プリント出力を行うことで、異常発熱が起こっている不具合箇所の確認や、修理見積りに関しての客観的な情報開示・資料提供をする点検方法もある(特許文献1参照)。
しかしながら、太陽光発電パネルを配列(例えばマトリクス状に配列)して構成される太陽光発電設備がある。このような太陽光発電設備の点検においては、規模によってパネルを1枚1枚確認することが困難であることも考えられる。しかし、このような場合であっても、赤外線画像から、太陽光発電パネル群の表面側の温度分布を取得して、温度情報により異常を判定するシステムも提案されている(非特許文献1参照)。
太陽光発電の直流電気安全のための手引きと技術情報(第2版)国立研究開発法人 産業技術総合研究所2019年4月 P.207~209
赤外線画像を空撮することにより、太陽光発電パネル群の表面側の温度分布を取得して、温度情報により異常を判定する方法として、次のような具体例が挙げられる。まず、ホットスポットを含む太陽光発電パネルが特定される。そして、そのパネルのホットスポットの温度が特定される。次に、当該ホットスポットの周辺の平均温度を求め、先のホットスポットの温度との差を求める。この方法では、このように求めた差が閾値を超過するか判定することにより、当該パネルの異常判定を行なう。
ただし、上記ホットスポット周辺の平均温度とホットスポットの温度の差は、季節や天候条件、さらには障害の進行状態を含めたさまざまな要因によって、大きく異なるおそれがある。例えば季節が冬、天候が曇りで障害の進行度が高い場合と、季節および天候が同条件でも進行度が低い場合と、季節が夏、天候が晴れの場合で進行度が低い場合の3つのパターンについて、上記温度差を閾値判定するだけで分類することは非常に困難である。
つまり、上記技術により障害パネルを漏らさず抽出するためには、障害の可能性が低いパネルも判定対象に含め、人手により最終判断をすることが望ましい。しかし、それでは赤外線画像による異常判定の負担の軽減を図ることは困難である。また、太陽光発電パネルの障害には、さまざまな要因があり、熟練の者でないと太陽光発電パネルの異常判定を失敗するおそれがある。
この発明は、上記課題を解決するためになされたものであり、その目的は、赤外線画像による撮像対象の異常判定の効率を向上させることにある。
一の実施形態の状態判定システムは、飛行体から赤外線画像を受信する画像受信部と、赤外線画像から撮像対象を含むあらかじめ設定された設定領域を特定する特定部と、特定した設定領域ごとに赤外線情報に基づく温度情報の分布を求める温度情報取得部と、分布のうち、最高温度を含む第1の設定範囲に含まれた温度情報の第1の平均値を求める高温情報取得部と、分布のうち、第1の設定範囲未満の温度であって、当該範囲と重複しない第2の設定範囲に含まれた温度情報の第2の平均値を求める中温域取得部と、第1の平均値と第2の平均値の差である基準値を求める基準値取得部と、設定領域および隣接する他の設定領域を含む、複数の設定領域をグループとし、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める判定対象値取得部と、判定対象値に基づいて障害のおそれがある撮像対象を特定する判定部とを備える。
また、第1の平均値にかかる設定範囲を異ならせることにより、障害の種類を判定可能であってもよい。
他の実施形態の状態判定システムは、飛行体から赤外線画像を受信する画像受信部と、赤外線画像から撮像対象を含むあらかじめ設定された設定領域を特定する特定部と、特定した設定領域ごとに赤外線情報に基づく温度情報の分布を求める温度情報取得部と、分布のうち、最高温度未満である第2の設定範囲に含まれた温度情報の第2の平均値を求める中温域取得部と、最高温度と第2の平均値の差である基準値を求める基準値取得部と、設定領域および隣接する他の設定領域を含む、複数の設定領域をグループとし、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める判定対象値取得部と、判定対象値に基づいて撮像対象の異常判定をする判定部と、を備える。
また、判定対象値取得部は、前記基準値のばらつきとして、基準値の標準偏差を求め、さらに設定領域ごとの偏差値を求め、判定部は偏差値と第1の閾値との対比による異常判定をするように構成されていてもよい。
また、判定部は、基準値のばらつきまたは前記平均値が第1の閾値より大きいと判定すると、その原因となった障害被疑領域を特定し、その障害被疑領域を含まないように、再度基準値が求められ、それに基づき障害のおそれがある撮像対象の特定が実行されるように構成されていてもよい。
また、判定部は、障害被疑領域が特定されなくなるまで、または障害被疑領域の面積もしくは比率が予め定めた値を下回るまで、基準値の再算出から障害被疑領域の特定処理を繰り返すように構成されていてもよい。
その他の実施形態の状態判定システムは、飛行体から赤外線画像を受信する画像受信部と、赤外線画像から撮像対象を含むあらかじめ設定された設定領域を特定する特定部と、特定した設定領域ごとに赤外線情報に基づく温度情報の分布を求める温度情報取得部と、分布のうち、最高温度を含む第1の設定範囲に含まれた温度情報の第1の平均値を求める高温情報取得部と、分布のうち、第1の設定範囲未満の温度であって、当該範囲と重複しない第2の設定範囲に含まれた温度情報の第2の平均値を求める中温域取得部と、第1の平均値と第2の平均値の差である基準値を求める基準値取得部と、設定領域および隣接する他の設定領域を含む、複数の設定領域をグループとし、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める判定対象値取得部と、判定対象値と第1の閾値に基づいて障害のおそれがある撮像対象である被疑対象を特定する被疑対象特定部と、特定された被疑対象における高温部分のパターンに基づき、撮像対象の障害の分類をし、分類のうち、特定分類の場合は被疑対象の判定対象値と第2の閾値と基づき改めて被疑対象を特定する判定部と、を備える。
また、判定部の障害の分類には、クラスター障害、ひび割れ、汚れ、およびセル障害のうち少なくとも2分類が含まれてもよい。
また、判定部が被疑対象の障害分類をクラスター障害と判定した場合に第2の閾値が用いられ、第2の閾値は、第1の閾値と比較して設定領域に含まれる被疑対象が少なくなるように設定されていてもよい。
また、判定部はディープラーニング技術に基づき、被疑対象の障害の分類を推論することにより実行してもよい。
また、特定部は、赤外線画像から撮像対象または所定数の撮像対象群を、その配列の特徴に基づき推論して特定してもよい。
また、状態判定システムにおいて、撮像対象の配列の特徴を設定するための設定部を有し、特定部は設定部により設定された配列の特徴を利用して撮像対象または所定数の撮像対象群を特定してもよい。
また、状態判定システムにおいて、特定部はディープラーニング技術に基づき、撮像対象または撮像対象群を推論することにより特定してもよい。
また、状態判定システムにおいて、特定部が特定した撮像対象または撮像対象群の配列に基づき赤外線画像の傾きを求め、傾き補正をする第1の補正部をさらに備えてもよい。
また、状態判定システムにおいて、特定した撮像対象または撮像対象群のサイズを算出し、当該算出値のばらつきと、当該ばらつきの許容範囲を示す判定値とを比較し、当該ばらつきが当該判定値に対して所定の関係にある場合、特定エラーとして判定してもよい。
また、状態判定システムにおいて、特定部が特定した撮像対象または撮像対象群の位置関係に基づき、いずれかの撮像対象または撮像対象群が配列から外れているかを求め、配列から外れている撮像対象または撮像対象群を特定エラーとして判定してもよい。
さらにいずれかの撮像対象または撮像対象群が配列から外れているかを求めるために、整列位置の分散値を求め、赤外線画像内のY軸方向の判定値と比較し、さらに当該分散値算出値が判定値に対して所定の関係にある場合、特定エラーとして判定してもよい。
また、状態判定システムにおいて、特定部は撮像対象の配列方向にしたがって順次特定を行い、判定対象となる前記撮像対象または撮像対象群と、特定された他の対象との重畳の程度に応じて特定エラーとして判定してもよい。
さらに特定部はX軸方向に順次特定処理を行い、重畳の程度として、特定している対象のX軸方向における所定位置が、X軸方向に隣接する対象のX座標の一端と他端の間にある場合に特定エラーとして判定してもよい。
また、状態判定システムにおいて、特定している撮像対象のX軸方向における所定位置とは、当該赤外線画像のX軸方向における中心位置であってもよい。
また、状態判定システムにおいて、特定部により特定された撮像対象または撮像対象群の行ごとまたは列ごとに、その行または列に属する撮像対象または撮像対象群を1つのクラスターとしてまとめ、クラスターそれぞれに属する撮像対象または撮像対象群の数が指定数以下である場合、当該クラスターに属する撮像対象または撮像対象群を特定エラーとして判定してもよい。
また、状態判定システムにおいて、第4の判定部は、特定部により特定された撮像対象または撮像対象群のY軸位置に基づき、近似するY軸位置またはX軸位置の撮像対象または撮像対象群をクラスターとして集合させてもよい。
また、状態判定システムにおいて、特定部により特定された撮像対象または撮像対象群の行ごとまたは列ごとに、その行または列に属する撮像対象または撮像対象群を1のクラスターとしてまとめ、
クラスターごとに直近の他のクラスターとの距離を算出し、この算出値と判定値とを比較し、算出値が判定値に対して所定の関係にある場合、特定エラーとして判定する第5の判定部を有していてもよい。
また、状態判定システムにおいて、クラスター内の指定数およびクラスター列数の少なくともいずれかをユーザーにより設定可能とする設定部をさらに有していてもよい。
また、
状態判定システムにおいて、特定部により特定された撮像対象または撮像対象群の行ごとまたは列ごとに、その行または列に属する撮像対象または撮像対象群を、所定の矩形となるように1つのクラスターとしてまとめ、各クラスターに属する撮像対象または撮像対象群のうち、矩形から外れたものについて、矩形範囲内に含まれるように位置補正をする第6の判定部を有していてもよい。
また、第1の平均値にかかる設定範囲を異ならせることにより、障害の種類を判定可能であってもよい。
他の実施形態の状態判定システムは、飛行体から赤外線画像を受信する画像受信部と、赤外線画像から撮像対象を含むあらかじめ設定された設定領域を特定する特定部と、特定した設定領域ごとに赤外線情報に基づく温度情報の分布を求める温度情報取得部と、分布のうち、最高温度未満である第2の設定範囲に含まれた温度情報の第2の平均値を求める中温域取得部と、最高温度と第2の平均値の差である基準値を求める基準値取得部と、設定領域および隣接する他の設定領域を含む、複数の設定領域をグループとし、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める判定対象値取得部と、判定対象値に基づいて撮像対象の異常判定をする判定部と、を備える。
また、判定対象値取得部は、前記基準値のばらつきとして、基準値の標準偏差を求め、さらに設定領域ごとの偏差値を求め、判定部は偏差値と第1の閾値との対比による異常判定をするように構成されていてもよい。
また、判定部は、基準値のばらつきまたは前記平均値が第1の閾値より大きいと判定すると、その原因となった障害被疑領域を特定し、その障害被疑領域を含まないように、再度基準値が求められ、それに基づき障害のおそれがある撮像対象の特定が実行されるように構成されていてもよい。
また、判定部は、障害被疑領域が特定されなくなるまで、または障害被疑領域の面積もしくは比率が予め定めた値を下回るまで、基準値の再算出から障害被疑領域の特定処理を繰り返すように構成されていてもよい。
その他の実施形態の状態判定システムは、飛行体から赤外線画像を受信する画像受信部と、赤外線画像から撮像対象を含むあらかじめ設定された設定領域を特定する特定部と、特定した設定領域ごとに赤外線情報に基づく温度情報の分布を求める温度情報取得部と、分布のうち、最高温度を含む第1の設定範囲に含まれた温度情報の第1の平均値を求める高温情報取得部と、分布のうち、第1の設定範囲未満の温度であって、当該範囲と重複しない第2の設定範囲に含まれた温度情報の第2の平均値を求める中温域取得部と、第1の平均値と第2の平均値の差である基準値を求める基準値取得部と、設定領域および隣接する他の設定領域を含む、複数の設定領域をグループとし、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める判定対象値取得部と、判定対象値と第1の閾値に基づいて障害のおそれがある撮像対象である被疑対象を特定する被疑対象特定部と、特定された被疑対象における高温部分のパターンに基づき、撮像対象の障害の分類をし、分類のうち、特定分類の場合は被疑対象の判定対象値と第2の閾値と基づき改めて被疑対象を特定する判定部と、を備える。
また、判定部の障害の分類には、クラスター障害、ひび割れ、汚れ、およびセル障害のうち少なくとも2分類が含まれてもよい。
また、判定部が被疑対象の障害分類をクラスター障害と判定した場合に第2の閾値が用いられ、第2の閾値は、第1の閾値と比較して設定領域に含まれる被疑対象が少なくなるように設定されていてもよい。
また、判定部はディープラーニング技術に基づき、被疑対象の障害の分類を推論することにより実行してもよい。
また、特定部は、赤外線画像から撮像対象または所定数の撮像対象群を、その配列の特徴に基づき推論して特定してもよい。
また、状態判定システムにおいて、撮像対象の配列の特徴を設定するための設定部を有し、特定部は設定部により設定された配列の特徴を利用して撮像対象または所定数の撮像対象群を特定してもよい。
また、状態判定システムにおいて、特定部はディープラーニング技術に基づき、撮像対象または撮像対象群を推論することにより特定してもよい。
また、状態判定システムにおいて、特定部が特定した撮像対象または撮像対象群の配列に基づき赤外線画像の傾きを求め、傾き補正をする第1の補正部をさらに備えてもよい。
また、状態判定システムにおいて、特定した撮像対象または撮像対象群のサイズを算出し、当該算出値のばらつきと、当該ばらつきの許容範囲を示す判定値とを比較し、当該ばらつきが当該判定値に対して所定の関係にある場合、特定エラーとして判定してもよい。
また、状態判定システムにおいて、特定部が特定した撮像対象または撮像対象群の位置関係に基づき、いずれかの撮像対象または撮像対象群が配列から外れているかを求め、配列から外れている撮像対象または撮像対象群を特定エラーとして判定してもよい。
さらにいずれかの撮像対象または撮像対象群が配列から外れているかを求めるために、整列位置の分散値を求め、赤外線画像内のY軸方向の判定値と比較し、さらに当該分散値算出値が判定値に対して所定の関係にある場合、特定エラーとして判定してもよい。
また、状態判定システムにおいて、特定部は撮像対象の配列方向にしたがって順次特定を行い、判定対象となる前記撮像対象または撮像対象群と、特定された他の対象との重畳の程度に応じて特定エラーとして判定してもよい。
さらに特定部はX軸方向に順次特定処理を行い、重畳の程度として、特定している対象のX軸方向における所定位置が、X軸方向に隣接する対象のX座標の一端と他端の間にある場合に特定エラーとして判定してもよい。
また、状態判定システムにおいて、特定している撮像対象のX軸方向における所定位置とは、当該赤外線画像のX軸方向における中心位置であってもよい。
また、状態判定システムにおいて、特定部により特定された撮像対象または撮像対象群の行ごとまたは列ごとに、その行または列に属する撮像対象または撮像対象群を1つのクラスターとしてまとめ、クラスターそれぞれに属する撮像対象または撮像対象群の数が指定数以下である場合、当該クラスターに属する撮像対象または撮像対象群を特定エラーとして判定してもよい。
また、状態判定システムにおいて、第4の判定部は、特定部により特定された撮像対象または撮像対象群のY軸位置に基づき、近似するY軸位置またはX軸位置の撮像対象または撮像対象群をクラスターとして集合させてもよい。
また、状態判定システムにおいて、特定部により特定された撮像対象または撮像対象群の行ごとまたは列ごとに、その行または列に属する撮像対象または撮像対象群を1のクラスターとしてまとめ、
クラスターごとに直近の他のクラスターとの距離を算出し、この算出値と判定値とを比較し、算出値が判定値に対して所定の関係にある場合、特定エラーとして判定する第5の判定部を有していてもよい。
また、状態判定システムにおいて、クラスター内の指定数およびクラスター列数の少なくともいずれかをユーザーにより設定可能とする設定部をさらに有していてもよい。
また、
状態判定システムにおいて、特定部により特定された撮像対象または撮像対象群の行ごとまたは列ごとに、その行または列に属する撮像対象または撮像対象群を、所定の矩形となるように1つのクラスターとしてまとめ、各クラスターに属する撮像対象または撮像対象群のうち、矩形から外れたものについて、矩形範囲内に含まれるように位置補正をする第6の判定部を有していてもよい。
実施形態によれば、赤外線画像による撮像対象の異常判定の効率を向上させることが可能である。
図1~図40を参照して、第1実施形態~第3実施形態の状態判定システムおよび第4~第10実施形態にかかる判定対象検出システムについて説明する。
[第1実施形態]
第1実施形態にかかる状態判定システム100の全体構成について図1~図4を参照して説明する。なお、図1における状態判定システムは一例であり、その他の構成を含むことを除外するものではなく、様々な形態で実施することが可能である。
第1実施形態にかかる状態判定システム100の全体構成について図1~図4を参照して説明する。なお、図1における状態判定システムは一例であり、その他の構成を含むことを除外するものではなく、様々な形態で実施することが可能である。
(飛行体Dの概要)
図1に示すように、飛行体Dは、撮影部D1および位置取得部D2を備える。撮影部D1は、可視光カメラと赤外線カメラを備え、可視光画像(図39・40)および赤外線画像(図2A・図2B)とを同時に、または同期して撮影可能である。位置受信部D2は、GNSS(Global Navigation Satellite System / 全球測位衛星システム)、例えばGPS、GLONASS、Galileo、準天頂衛星(QZSS)等の測位衛星から航法信号を受信し、飛行体Dの3次元位置等を測位し、可視光画像、赤外線画像にそれぞれ付加する(例えばEXIF情報)。また位置受信部D2は、例えば水圧計・気圧計を搭載し、その結果を基に深度・高度に変換してもよい。他の例として、超音波センサー等を搭載し、地表・海底等から飛行体Dまでの距離を測ってもよい。その受信された1次元位置情報を可視光画像および赤外線画像に付加する。このようにして可視光画像および赤外線画像の3次元位置が特定可能である。これらは、付加情報として可視光画像および赤外線画像とともに状態判定システム100に送信される。なお、図39・40および図2A・図2Bの撮像対象物は一例であって、各画像に描写される対象は、その他の種類の撮像対象物であってもよい。
図1に示すように、飛行体Dは、撮影部D1および位置取得部D2を備える。撮影部D1は、可視光カメラと赤外線カメラを備え、可視光画像(図39・40)および赤外線画像(図2A・図2B)とを同時に、または同期して撮影可能である。位置受信部D2は、GNSS(Global Navigation Satellite System / 全球測位衛星システム)、例えばGPS、GLONASS、Galileo、準天頂衛星(QZSS)等の測位衛星から航法信号を受信し、飛行体Dの3次元位置等を測位し、可視光画像、赤外線画像にそれぞれ付加する(例えばEXIF情報)。また位置受信部D2は、例えば水圧計・気圧計を搭載し、その結果を基に深度・高度に変換してもよい。他の例として、超音波センサー等を搭載し、地表・海底等から飛行体Dまでの距離を測ってもよい。その受信された1次元位置情報を可視光画像および赤外線画像に付加する。このようにして可視光画像および赤外線画像の3次元位置が特定可能である。これらは、付加情報として可視光画像および赤外線画像とともに状態判定システム100に送信される。なお、図39・40および図2A・図2Bの撮像対象物は一例であって、各画像に描写される対象は、その他の種類の撮像対象物であってもよい。
(状態判定システム100の概要)
状態判定システム100は、位置情報受信部110、画像受信部120、特定部130、温度情報取得部140、高温情報取得部150、中温域取得部160、基準値取得部170、判定対象値取得部180、判定部190および制御部Cと記憶部Sを含んで構成される。位置情報受信部110は、飛行体Dから、航法信号に基づく飛行体Dの測位情報(3次元位置等)等を受信する。例えばこれらはEXIF情報として画像に付加された情報として受信されてもよい。
状態判定システム100は、位置情報受信部110、画像受信部120、特定部130、温度情報取得部140、高温情報取得部150、中温域取得部160、基準値取得部170、判定対象値取得部180、判定部190および制御部Cと記憶部Sを含んで構成される。位置情報受信部110は、飛行体Dから、航法信号に基づく飛行体Dの測位情報(3次元位置等)等を受信する。例えばこれらはEXIF情報として画像に付加された情報として受信されてもよい。
画像受信部120は、飛行体Dの撮影部D1から赤外線画像を受ける。特定部130は、可視光画像から所定の撮像対象または撮像対象群を特定する。これを以下、「設定領域」と記載する。撮像対象は例えば太陽光発電パネルおよび複数の太陽光発電パネル群である。その他撮像対象は、多数置かれている自動車、建造物の構造物(ガラス等)、多数配置される各種センサー、大量生産されて点検される製造物等を挙げることが可能である。なお、以下においては設定領域の例として、太陽光発電パネルを挙げて説明する。また、「設定領域」としての「太陽光発電パネルまたは、所定数の太陽光発電パネル群」について、説明の便宜上、原則として単に「太陽光発電パネル」と記載する。ただし、本実施形態および後述する他の実施形態およびその変形例に関し、設定領域と記載されていても例示であって太陽光発電パネルに限定されるものではない。
(特定部130)
特定部130について、さらに説明する。特定部130は、飛行体Dの撮影部D1から受けた可視光画像おいて、設定領域を特定する。一例として撮像対象の外縁の形状に基づいて、特定する。太陽光発電パネルや、太陽光発電パネル群が撮像対象の場合はパネルの形状に基づき太陽光発電パネルを特定する。ここでいう太陽光発電パネルの特定とは、一例として赤外線画像における、太陽光発電パネルの外縁の座標、または太陽光発電パネルに属する座標を特定することである。
なお、例えば太陽光発電パネル群は、縦2列、横2行の太陽光発電パネル群であったり、縦2列、横1行の太陽光発電パネル群であってもよい。この検出単位は状態判定システムごとに決定されていて変更されない構成であっても、図示しない入力部を介したユーザーの操作によって設定される構成であってもよい。以下、「1つの太陽光発電パネルごと」に特定する構成について記載するが、本実施形態では特定部130が「2以上の太陽光発電パネルを1単位として」検出する変形例を含むので、以下の温度情報取得部140の処理、および第2実施形態以降(変形例を含む)の各処理も、このような太陽光発電パネル群を検出した変形例を考慮したものとする。
特定部130について、さらに説明する。特定部130は、飛行体Dの撮影部D1から受けた可視光画像おいて、設定領域を特定する。一例として撮像対象の外縁の形状に基づいて、特定する。太陽光発電パネルや、太陽光発電パネル群が撮像対象の場合はパネルの形状に基づき太陽光発電パネルを特定する。ここでいう太陽光発電パネルの特定とは、一例として赤外線画像における、太陽光発電パネルの外縁の座標、または太陽光発電パネルに属する座標を特定することである。
なお、例えば太陽光発電パネル群は、縦2列、横2行の太陽光発電パネル群であったり、縦2列、横1行の太陽光発電パネル群であってもよい。この検出単位は状態判定システムごとに決定されていて変更されない構成であっても、図示しない入力部を介したユーザーの操作によって設定される構成であってもよい。以下、「1つの太陽光発電パネルごと」に特定する構成について記載するが、本実施形態では特定部130が「2以上の太陽光発電パネルを1単位として」検出する変形例を含むので、以下の温度情報取得部140の処理、および第2実施形態以降(変形例を含む)の各処理も、このような太陽光発電パネル群を検出した変形例を考慮したものとする。
次に可視光画像における特定した撮像対象の領域(設定領域)の座標について、特定部130はそのまま赤外線画像の座標において利用する。これは可視光画像と赤外線画像とで画角、アングル、縮尺等が同一あるいは実質的に同一(両画像におけるパネル位置の差分の許容範囲)であることを前提としている。
あるいは可視光画像と赤外線画像との間で画角、アングル、縮尺等がずれており、一方の画像の座標をそのまま他方の座標に置き換えることが許容できない(差分が大きい)場合は、特定部130は、何らかのランドマーク、マーカー、または撮像対象における形態的特徴および配置位置の特徴等を利用し、縮尺、位置合わせをするように構成されていてもよい。
以上の、撮像対象の検出を可視光画像で行って、その特定した領域の座標を赤外線画像に当てはめる構成については、以下の変形例および他の実施形態においても適用可能である。
(温度情報取得部140)
温度情報取得部140は、特定部130により特定された赤外線画像における太陽光発電パネルごとに既知の任意の技術によって、設定領域(例:各パネル、パネル群等)内の温度情報を取得する。例えば温度情報取得部140は、赤外線画像の設定領域における、画像を構成する最小単位ごとの色温度から温度情報が求められる。最小単位は、画素・ピクセルであってもよく、既定の画素単位・ピクセル単位のブロックであってもよい。なお、最小単位の温度情報それぞれには、画像における座標情報が対応づけられていてもよい。また、温度情報取得部140は、温度情報から設定領域ごとの温度分布を求める。
温度情報取得部140は、特定部130により特定された赤外線画像における太陽光発電パネルごとに既知の任意の技術によって、設定領域(例:各パネル、パネル群等)内の温度情報を取得する。例えば温度情報取得部140は、赤外線画像の設定領域における、画像を構成する最小単位ごとの色温度から温度情報が求められる。最小単位は、画素・ピクセルであってもよく、既定の画素単位・ピクセル単位のブロックであってもよい。なお、最小単位の温度情報それぞれには、画像における座標情報が対応づけられていてもよい。また、温度情報取得部140は、温度情報から設定領域ごとの温度分布を求める。
(高温情報取得部150)
高温情報取得部150は、設定領域の最小単位ごとの温度情報、例えば温度分布に基づき、第1の設定範囲に含まれる温度情報を特定する。第1の設定範囲とは、温度分布における最高温度以下の設定範囲または最高温度に基づく設定範囲である。また、高温情報取得部150は、第1の設定範囲に含まれた温度情報に基づく各温度の平均値を求める。この平均値を第1の平均値とする。具体例として高温取得部150は温度情報取得部140が求めた設定領域の各画素の温度情報を取得する。この例において高温取得部150は、設定領域の最高温度を含む上位20%の各温度情報の平均値を求める。この平均値は、設定領域内のすべての温度の平均値でなくてもよい。例えば、上位20%の最高温度と最低温度の平均を取るような標本平均値や、中央値であってもよい。
撮像対象が太陽光発電パネルの例においては、クラスター障害があると行または列で太陽光発電パネルの複数セルにまたがるクラスター単位に高温部があらわれる。したがって各太陽光発電パネルにおいてクラスター障害があった場合に対応するため、被疑対象の判定において、高温域として温度分布の上位20%の高温情報が用いられる。この高温情報は、後述の中温域との対比で利用される。
これに対し、汚れ、セル障害の場合のような、高温部の面積が小さい傾向がある障害であれば、被疑対象の判定において、高温域として温度分布の上位3%の高温情報が用いられる。この高温情報は、後述の中温域との対比で利用される。
高温情報取得部150は、設定領域の最小単位ごとの温度情報、例えば温度分布に基づき、第1の設定範囲に含まれる温度情報を特定する。第1の設定範囲とは、温度分布における最高温度以下の設定範囲または最高温度に基づく設定範囲である。また、高温情報取得部150は、第1の設定範囲に含まれた温度情報に基づく各温度の平均値を求める。この平均値を第1の平均値とする。具体例として高温取得部150は温度情報取得部140が求めた設定領域の各画素の温度情報を取得する。この例において高温取得部150は、設定領域の最高温度を含む上位20%の各温度情報の平均値を求める。この平均値は、設定領域内のすべての温度の平均値でなくてもよい。例えば、上位20%の最高温度と最低温度の平均を取るような標本平均値や、中央値であってもよい。
撮像対象が太陽光発電パネルの例においては、クラスター障害があると行または列で太陽光発電パネルの複数セルにまたがるクラスター単位に高温部があらわれる。したがって各太陽光発電パネルにおいてクラスター障害があった場合に対応するため、被疑対象の判定において、高温域として温度分布の上位20%の高温情報が用いられる。この高温情報は、後述の中温域との対比で利用される。
これに対し、汚れ、セル障害の場合のような、高温部の面積が小さい傾向がある障害であれば、被疑対象の判定において、高温域として温度分布の上位3%の高温情報が用いられる。この高温情報は、後述の中温域との対比で利用される。
(中温域取得部160)
中温域取得部160は、設定領域の最小単位ごとの温度情報、例えば温度分布に基づき、第1の設定範囲未満の第2の設定範囲の温度情報を特定する。第2の設定範囲の下限は最低温度に至らない温度である。太陽光発電パネル等、エラー、不具合が赤外線画像の高温部に現れる撮像対象の場合、ノイズとなりやすい低温部を除外することにより、誤検出等を防ぎ撮像対象の異常判定の効率を向上させることに資する。つまり最低温度より高く、中間温度未満の温度を第2の設定範囲の下限値にすることで、低温部となる所定範囲を除外する。つまり、いわば高温と低温の間にある温度帯を特定する。
また、中温域取得部160は、第2の設定範囲に含まれた温度情報に基づく各温度の平均値を求める。この平均値を第2の平均値とする。具体例として中温域取得部160は温度情報取得部140が求めた設定領域の各画素の温度情報を取得する。この例において中温域取得部160は、下位20%を超過するいずれかの温度を下限とし、上位20%未満のいずれかの温度を上限とする、中温域の各温度情報の平均値を求める。あるいは上位40~80%の各温度情報の平均値を求める。この平均値は、設定領域内のすべての温度の平均値でなくてもよい。例えば、第2の設定範囲の最高温度と最低温度の平均を取るような標本平均値や、中央値であってもよい。また第2の設定範囲のような範囲でなく、所定温度(例えば中央値)であってもよい。
中温域取得部160は、設定領域の最小単位ごとの温度情報、例えば温度分布に基づき、第1の設定範囲未満の第2の設定範囲の温度情報を特定する。第2の設定範囲の下限は最低温度に至らない温度である。太陽光発電パネル等、エラー、不具合が赤外線画像の高温部に現れる撮像対象の場合、ノイズとなりやすい低温部を除外することにより、誤検出等を防ぎ撮像対象の異常判定の効率を向上させることに資する。つまり最低温度より高く、中間温度未満の温度を第2の設定範囲の下限値にすることで、低温部となる所定範囲を除外する。つまり、いわば高温と低温の間にある温度帯を特定する。
また、中温域取得部160は、第2の設定範囲に含まれた温度情報に基づく各温度の平均値を求める。この平均値を第2の平均値とする。具体例として中温域取得部160は温度情報取得部140が求めた設定領域の各画素の温度情報を取得する。この例において中温域取得部160は、下位20%を超過するいずれかの温度を下限とし、上位20%未満のいずれかの温度を上限とする、中温域の各温度情報の平均値を求める。あるいは上位40~80%の各温度情報の平均値を求める。この平均値は、設定領域内のすべての温度の平均値でなくてもよい。例えば、第2の設定範囲の最高温度と最低温度の平均を取るような標本平均値や、中央値であってもよい。また第2の設定範囲のような範囲でなく、所定温度(例えば中央値)であってもよい。
(基準値取得部170)
基準値取得部170は、高温取得部150が求めた第1の平均値と、中温域取得部160が求めた第2の平均値の差である基準値Xiを求める。
基準値取得部170は、高温取得部150が求めた第1の平均値と、中温域取得部160が求めた第2の平均値の差である基準値Xiを求める。
(判定対象値取得部180)
判定対象値取得部180は、設定領域および隣接する他の設定領域を含む、複数の設定領域を1グループとしてまとめる。このグルーピングは、あらかじめ設定された配列で実行される。マトリクス状に撮像対象が配列されている場合は縦×横の配列数でグルーピングが行われる。
判定対象値取得部180は、設定領域および隣接する他の設定領域を含む、複数の設定領域を1グループとしてまとめる。このグルーピングは、あらかじめ設定された配列で実行される。マトリクス状に撮像対象が配列されている場合は縦×横の配列数でグルーピングが行われる。
判定対象値取得部180は、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める。例えば判定対象値取得部180は、基準値取得部170が求めた基準値(例:基準値=第1の平均値-第2の平均値)Xiと、Xiの平均値μxとの差を求める。また判定対象値取得部180は、その差「Xi-μx」を標準偏差σxで除算した値を、設定領域の温度変化差分の偏差量を示した偏差値SSiとして取得する。
各パネルの基準温度(基準値)Xiに対する偏差値SSiは次式1で定義される。
各パネルの基準温度(基準値)Xiに対する偏差値SSiは次式1で定義される。
なお、各設定領域の基準温度Xiがすべて等しい場合、
標準偏差σx=0となりSSiを取得することができないため、SSi=1とする。
標準偏差σx=0となりSSiを取得することができないため、SSi=1とする。
(判定部190)
判定部190は、上記例の偏差値SSi等の判定対象値と、閾値との対比により、障害のおそれがある撮像対象を特定する。具体的には、判定対象値が閾値や適正範囲のレンジ等と比較され、撮像対象に異常が含まれるか否かが判定される。例えば、太陽光発電パネルそれぞれにおいて基準温度Xiに対する偏差値SSiが許容される範囲や値を超えた場合(例えば予め設定された閾値を超過した場合)、障害被疑箇所と特定される。また、判定部190は、異常温度を呈する画素の集合(パターン)の形状をあらかじめ記憶していて、そのパターンとの比較により、特定の異常の態様を特定してもよい。
判定部190は、上記例の偏差値SSi等の判定対象値と、閾値との対比により、障害のおそれがある撮像対象を特定する。具体的には、判定対象値が閾値や適正範囲のレンジ等と比較され、撮像対象に異常が含まれるか否かが判定される。例えば、太陽光発電パネルそれぞれにおいて基準温度Xiに対する偏差値SSiが許容される範囲や値を超えた場合(例えば予め設定された閾値を超過した場合)、障害被疑箇所と特定される。また、判定部190は、異常温度を呈する画素の集合(パターン)の形状をあらかじめ記憶していて、そのパターンとの比較により、特定の異常の態様を特定してもよい。
また判定部190は、判定処理の後処理として太陽光発電パネルごとに異常があった場合は、そのパネルの位置を少なくとも特定してユーザーに任意の方法で提示する処理を行う(図3上側のブロックの縦4行目・横6列目にあるパネルの「DIFF」、または図39・40等参照)。また撮像対象位置だけでなく、撮像対象ごとの最高温度、平均温度、または異常画素の数等を画像データとして作成して表示する処理を実行してもよい。
(制御部C・構成)
上記説明における各部の処理は、説明の便宜上、図1に示す制御部Cの制御の下に実行されるものとして説明した。この制御部Cは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等のうち、単一または複数の回路を含んで構成されていてもよい。制御部Cはメモリに保存された例えば画像位置特定プログラムを読み出し実行することで機能を実現する。なお、メモリにプログラムを保存する代わりに、回路内にプログラムを直接組み込むよう構成しても構わない。この場合、制御部Cとしての回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、制御部Cは単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサーとして構成し、その機能を実現するようにしてもよい。さらに、実施形態における複数の構成要素(例えば位置情報受信部110、画像受信部120、特定部130、温度情報取得部140、高温情報取得部150、中温域取得部160、基準値取得部170、判定対象値取得部180、判定部190のうち少なくとも2以上)を1つのプロセッサーへ統合してその機能を実現するようにしてもよい。
上記説明における各部の処理は、説明の便宜上、図1に示す制御部Cの制御の下に実行されるものとして説明した。この制御部Cは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等のうち、単一または複数の回路を含んで構成されていてもよい。制御部Cはメモリに保存された例えば画像位置特定プログラムを読み出し実行することで機能を実現する。なお、メモリにプログラムを保存する代わりに、回路内にプログラムを直接組み込むよう構成しても構わない。この場合、制御部Cとしての回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、制御部Cは単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサーとして構成し、その機能を実現するようにしてもよい。さらに、実施形態における複数の構成要素(例えば位置情報受信部110、画像受信部120、特定部130、温度情報取得部140、高温情報取得部150、中温域取得部160、基準値取得部170、判定対象値取得部180、判定部190のうち少なくとも2以上)を1つのプロセッサーへ統合してその機能を実現するようにしてもよい。
[動作]
図4は、本実施形態における処理の流れを示す図である。以下、図4を参照しつつ、状態判定システム100の処理の流れを、ステップ番号(S001~S009)に添って説明する。
図4は、本実施形態における処理の流れを示す図である。以下、図4を参照しつつ、状態判定システム100の処理の流れを、ステップ番号(S001~S009)に添って説明する。
(S001)
状態判定システム100における位置情報受信部110は、飛行体Dから位置情報を受ける。また画像受信部120は可視光画像および赤外線画像を受ける。
状態判定システム100における位置情報受信部110は、飛行体Dから位置情報を受ける。また画像受信部120は可視光画像および赤外線画像を受ける。
(S002)
特定部130は、可視光画像において設定領域(太陽光発電パネル等)を特定する。次に可視光画像における特定した撮像対象の領域(設定領域)の座標について、特定部130はそのまま赤外線画像の座標において利用する。なお、特定部130は、赤外線画像から設定領域を特定してもよい(第4実施形態等参照)。その場合、可視光画像の取得およびそれに関連する処理を省略してもよい。
特定部130は、可視光画像において設定領域(太陽光発電パネル等)を特定する。次に可視光画像における特定した撮像対象の領域(設定領域)の座標について、特定部130はそのまま赤外線画像の座標において利用する。なお、特定部130は、赤外線画像から設定領域を特定してもよい(第4実施形態等参照)。その場合、可視光画像の取得およびそれに関連する処理を省略してもよい。
(S003)
温度情報取得部140は、特定部130により特定された赤外線画像における太陽光発電パネルごとにパネル内の温度情報を取得する。これは画素ごとに行ってもよく、複数画素を一単位として、画素群単位ごとの平均値を温度情報としてもよい。また、温度情報取得部140は、温度情報から設定領域ごとの温度分布を求める。
温度情報取得部140は、特定部130により特定された赤外線画像における太陽光発電パネルごとにパネル内の温度情報を取得する。これは画素ごとに行ってもよく、複数画素を一単位として、画素群単位ごとの平均値を温度情報としてもよい。また、温度情報取得部140は、温度情報から設定領域ごとの温度分布を求める。
(S004)
高温情報取得部150は、第1の設定範囲に含まれる温度情報を特定する。第1の設定範囲とは、温度分布における最高温度以下の設定範囲または最高温度に基づく設定範囲であって、例えば設定領域の最高温度を含む上位20%である。
高温情報取得部150は、第1の設定範囲に含まれる温度情報を特定する。第1の設定範囲とは、温度分布における最高温度以下の設定範囲または最高温度に基づく設定範囲であって、例えば設定領域の最高温度を含む上位20%である。
(S005)
また、高温情報取得部150は、第1の設定範囲に含まれた温度情報に基づく各温度の平均値である第1の平均値を求める。
また、高温情報取得部150は、第1の設定範囲に含まれた温度情報に基づく各温度の平均値である第1の平均値を求める。
(S006)
中温域取得部160は、第2の設定範囲の温度情報を特定する。第2の設定範囲は、いわば高温と低温の間にある温度帯である。
中温域取得部160は、第2の設定範囲の温度情報を特定する。第2の設定範囲は、いわば高温と低温の間にある温度帯である。
(S007)
また、中温域取得部160は、第2の設定範囲に含まれた温度情報に基づく各温度の平均値である第2の平均値を求める。
また、中温域取得部160は、第2の設定範囲に含まれた温度情報に基づく各温度の平均値である第2の平均値を求める。
(S008)
基準値取得部170は、高温取得部150が求めた第1の平均値と、中温域取得部160が求めた第2の平均値の差である基準値を求める。
基準値取得部170は、高温取得部150が求めた第1の平均値と、中温域取得部160が求めた第2の平均値の差である基準値を求める。
(S009)
判定対象値取得部180は、複数の設定領域を1グループとしてまとめる。また判定対象値取得部180は、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める。判定対象値は例えば偏差値SSiである。
判定対象値取得部180は、複数の設定領域を1グループとしてまとめる。また判定対象値取得部180は、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める。判定対象値は例えば偏差値SSiである。
(S010)
判定部190は、判定対象値と第1の閾値との対比により、障害のおそれがある撮像対象の特定をする。
また判定部190は、判定処理の後処理として太陽光発電パネルごとに異常があった場合は、そのパネルの位置を少なくとも特定してユーザーに任意の方法で提示する処理を行う(図39・40参照)。
判定部190は、判定対象値と第1の閾値との対比により、障害のおそれがある撮像対象の特定をする。
また判定部190は、判定処理の後処理として太陽光発電パネルごとに異常があった場合は、そのパネルの位置を少なくとも特定してユーザーに任意の方法で提示する処理を行う(図39・40参照)。
[効果]
本実施形態によれば、赤外線画像の設定領域における温度分布から、高温域の平均値と中温域の平均値の差が求められる。また、複数の設定領域によるグループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値が求められる。さらにその判定対象値に基づいて撮像対象の異常について判定がなされる。このような構成によれば各設定領域における撮像対象の異常判定のミスが低減される。つまり、同様の条件下(気象条件等)にさらされている太陽光発電パネルのグループ内において、高温域の平均値と中温域の平均値の差のばらつきを求めるので、季節、天候による影響と、撮像対象の障害の進行度による影響を識別することができる。
本実施形態によれば、赤外線画像の設定領域における温度分布から、高温域の平均値と中温域の平均値の差が求められる。また、複数の設定領域によるグループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値が求められる。さらにその判定対象値に基づいて撮像対象の異常について判定がなされる。このような構成によれば各設定領域における撮像対象の異常判定のミスが低減される。つまり、同様の条件下(気象条件等)にさらされている太陽光発電パネルのグループ内において、高温域の平均値と中温域の平均値の差のばらつきを求めるので、季節、天候による影響と、撮像対象の障害の進行度による影響を識別することができる。
さらに、異常判定のミスを低減できる他の理由として赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
上記実施形態によれば判定ミスが低減されるため、障害の可能性が低いパネルが障害被疑の対象から外れやすい。これにより、赤外線画像による撮像対象の異常判定の効率を向上させることが可能である。
[変形例A]
第1実施形態の変形例にかかる状態判定システム100について図5および図6を参照して説明する。以下の説明において、第1実施形態と重複する説明は割愛する。
第1実施形態の変形例にかかる状態判定システム100について図5および図6を参照して説明する。以下の説明において、第1実施形態と重複する説明は割愛する。
(概要)
第1実施形態と同様に、本変形例においても赤外線画像内の撮像対象を設定領域とする。つまり撮像対象以外のものを障害被疑の判定から排除するように構成されている。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ(アスファルト舗装、水、植物、発電機器(パワーコントローラー、ケーブル)等)が含まれる可能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。
第1実施形態と同様に、本変形例においても赤外線画像内の撮像対象を設定領域とする。つまり撮像対象以外のものを障害被疑の判定から排除するように構成されている。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ(アスファルト舗装、水、植物、発電機器(パワーコントローラー、ケーブル)等)が含まれる可能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。
また、本変形例における状態判定システム100は、高温情報取得部150Aが、設定領域の最小単位ごとの温度情報、例えば温度分布に基づき、最高温度を特定する。中温域取得部160は、設定領域の最小単位ごとの温度情報、例えば温度分布に基づき、最高温度未満であり、中間温度を含む第2の設定範囲の温度情報を特定する。
また、中温域取得部160は、第2の設定範囲に含まれた温度情報に基づく各温度の平均値を求める。この平均値を第2の平均値とする。
また、中温域取得部160は、第2の設定範囲に含まれた温度情報に基づく各温度の平均値を求める。この平均値を第2の平均値とする。
基準値取得部170は、高温取得部150が特定した最高温度(高温情報)と、中温域取得部160が求めた第2の平均値の差である基準値を求める。
判定対象値取得部180は、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める。判定部190は、上記例の偏差値SSi等の判定対象値と、閾値との対比により、障害のおそれがある撮像対象を特定する。
[動作]
図6は、本変形例における処理の流れを示す図である。以下、図6を参照しつつ、状態判定システム100の処理の流れを、ステップ番号(S011~S019)に添って説明する。
図6は、本変形例における処理の流れを示す図である。以下、図6を参照しつつ、状態判定システム100の処理の流れを、ステップ番号(S011~S019)に添って説明する。
(S011~S013)
上記第1実施形態の状態判定システム100におけるS001~S003と同様である。
上記第1実施形態の状態判定システム100におけるS001~S003と同様である。
(S014)
高温情報取得部150Aは、例えば温度分布に基づき最高温度を特定する。
高温情報取得部150Aは、例えば温度分布に基づき最高温度を特定する。
(S015)
中温域取得部160は、第2の設定範囲の温度情報を特定する。
中温域取得部160は、第2の設定範囲の温度情報を特定する。
(S016)
また、中温域取得部160は、第2の設定範囲に含まれた温度情報に基づく各温度の平均値である第2の平均値を求める。
また、中温域取得部160は、第2の設定範囲に含まれた温度情報に基づく各温度の平均値である第2の平均値を求める。
(S017)
基準値取得部170は、最高温度と第2の平均値との差である基準値を求める。
基準値取得部170は、最高温度と第2の平均値との差である基準値を求める。
(S018)
判定対象値取得部180は、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める。判定対象値は例えば偏差値SSiである。
判定対象値取得部180は、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める。判定対象値は例えば偏差値SSiである。
(S019)
判定部190は、判定対象値と第1の閾値との対比により、障害のおそれがある撮像対象の特定をする。また判定部190は、判定処理の後処理として太陽光発電パネルごとに異常があった場合は、そのパネルの位置を少なくとも特定してユーザーに任意の方法で提示する処理を行う(図39・40参照)。
判定部190は、判定対象値と第1の閾値との対比により、障害のおそれがある撮像対象の特定をする。また判定部190は、判定処理の後処理として太陽光発電パネルごとに異常があった場合は、そのパネルの位置を少なくとも特定してユーザーに任意の方法で提示する処理を行う(図39・40参照)。
[効果]
本変形例によれば、赤外線画像の設定領域における温度分布から、最高温度と中温域の平均値の差が求められる。また、複数の設定領域によるグループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値が求められる。さらにその判定対象値に基づいて撮像対象の異常について判定がなされる。このような構成によれば各設定領域における撮像対象の異常判定のミスが低減される。つまり、同様の条件下(気象条件等)にさらされている太陽光発電パネルのグループ内において、最高温度と中温域の平均値の差のばらつきを求めるので、季節、天候による影響と、撮像対象の障害の進行度による影響を識別することができる。
本変形例によれば、赤外線画像の設定領域における温度分布から、最高温度と中温域の平均値の差が求められる。また、複数の設定領域によるグループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値が求められる。さらにその判定対象値に基づいて撮像対象の異常について判定がなされる。このような構成によれば各設定領域における撮像対象の異常判定のミスが低減される。つまり、同様の条件下(気象条件等)にさらされている太陽光発電パネルのグループ内において、最高温度と中温域の平均値の差のばらつきを求めるので、季節、天候による影響と、撮像対象の障害の進行度による影響を識別することができる。
さらに、異常判定のミスを低減できる他の理由として赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
上記実施形態によれば判定ミスが低減されるため、障害の可能性が低いパネルが障害被疑の対象から外れやすい。これにより、赤外線画像による撮像対象の異常判定の効率を向上させることが可能である。
[変形例B]
第1実施形態およびその変形例Aについての変形例Bにかかる状態判定システム100について説明する。以下の説明において、第1実施形態等と重複する説明は割愛する。
第1実施形態およびその変形例Aについての変形例Bにかかる状態判定システム100について説明する。以下の説明において、第1実施形態等と重複する説明は割愛する。
(概要)
第1実施形態と同様に、本変形例においても赤外線画像内の撮像対象を設定領域とする。つまり撮像対象以外のものを障害被疑の判定から排除するように構成されている。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ(アスファルト舗装、水、植物、発電機器(パワーコントローラー、ケーブル)等)が含まれる可能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。
第1実施形態と同様に、本変形例においても赤外線画像内の撮像対象を設定領域とする。つまり撮像対象以外のものを障害被疑の判定から排除するように構成されている。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ(アスファルト舗装、水、植物、発電機器(パワーコントローラー、ケーブル)等)が含まれる可能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。
また、本変形例における状態判定システム100は、高温情報取得部150Aが、設定領域の最小単位ごとの温度情報、例えば温度分布に基づき、第1の設定範囲に含まれる温度情報または最高温度を特定する。本変形例Bにおいて高温情報取得部Aは、複数種類の高温情報を取得する。この複数種類とは、第1の設定範囲の上限値、下限値のうち少なくともいずれか一方を異ならせた複数の範囲を一例として挙げることが可能である。また範囲に限らず最高温度等の所定温度であってもよい。例えば高温情報取得部150Aは、上位20%、上位3%および最高温度の3種類を特定する。
中温域取得部160は、設定領域の最小単位ごとの温度情報、例えば温度分布に基づき、最高温度未満であり、中間温度を含む第2の設定範囲の温度情報を特定する。この中温域について、上記高温域に合わせて複数の設定範囲を求めるように構成されていてもよい。また、中温域取得部160は、第2の設定範囲に含まれた温度情報に基づく各温度の平均値を求める。この平均値を第2の平均値とする。この平均値は、設定領域内のすべての温度の平均値でなくてもよい。例えば、第2の設定範囲の最高温度と最低温度の平均を取るような標本平均値や、中央値であってもよい。また第2の設定範囲のような範囲でなく、所定温度(例えば中央値)であってもよい。
基準値取得部170は、高温取得部150が特定した複数種類の高温情報(最高温度や第1の平均値等)と、中温域取得部160が求めた第2の平均値の差である基準値を求める。
判定対象値取得部180は、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める。判定部190は、上記例の偏差値SSi等の判定対象値と、閾値との対比により、障害のおそれがある撮像対象を特定する。閾値は、高温情報の種類に応じ、少なくとも1種類について固有の閾値が設定されていてもよい。
判定部190は、判定対象値と、閾値との対比により、障害のおそれがある撮像対象を特定する。具体的には、判定部190は当該対比の結果に基づき、障害の有無とその障害の種類を特定する。例えば、高温情報の上記種別のいずれをとっても判定対象値が閾値以下であれば、判定部190は障害が無いと判断する。これに対し、高温情報の上記種別のいずれかに対して閾値を超過する場合、判定部190はその超過した判定対象値の算定の基となった高温情報の種類に対応する障害種別を特定する。
また判定部190により2種以上の障害種別を特定できる場合にも対応可能である。一例としてあらかじめ判定対象値と閾値との対比結果の予測パターンが記憶されているものとする。この場合、判定部190は上記閾値との対比結果が、規定の予測パターンのいずれに近いか判定し、障害の有無とその障害の種類を特定する。
上記実施形態によれば判定ミスが低減されるため、障害の可能性が低いパネルが障害被疑の対象から外れやすい。これにより、赤外線画像による撮像対象の異常判定の効率を向上させることが可能である。
[第2実施形態]
第2実施形態にかかる状態判定システム200について図7~図9を参照して説明する。以下の説明において、第1実施形態と重複する説明は割愛する。
第2実施形態にかかる状態判定システム200について図7~図9を参照して説明する。以下の説明において、第1実施形態と重複する説明は割愛する。
第1実施形態と同様に、第2実施形態においても赤外線画像内の撮像対象が特定され、基準値、判定対象値が求められる。また、障害被疑対象(パネル等)が特定される点も第1実施形態やその変形例と同様である。
第2実施形態はさらに、障害のおそれがある箇所(以下、原則として「障害被疑箇所」と記載する)が検出された場合、その箇所を含めずに再度当該グループにおける状態判定を実施する。判定における同一グループ内に、障害のおそれがある箇所が多く検出されるほど、算出される偏差量は鈍化する可能性がある。したがって、第2実施形態においては障害のおそれがある箇所を除外して再度状態判定を実施することにより、障害被疑箇所の特定を詳細にする。さらに第2実施形態においては、グループごとに障害被疑箇所が特定されなくなるまで、あるいは障害被疑箇所の面積または比率が設定値以下になるまで当該処理が繰り返される。
(状態判定システム200)
図7に示すように第2実施形態の状態判定システム200は、位置情報受信部210、画像受信部220、特定部230、温度情報取得部240、高温情報取得部250、中温域取得部260、基準値取得部270、判定対象値取得部280、判定部290および制御部Cと記憶部Sを含んで構成される。
図7に示すように第2実施形態の状態判定システム200は、位置情報受信部210、画像受信部220、特定部230、温度情報取得部240、高温情報取得部250、中温域取得部260、基準値取得部270、判定対象値取得部280、判定部290および制御部Cと記憶部Sを含んで構成される。
特定部230による太陽光発電パネルの検出、高温情報取得部250による高温情報の取得、中温域取得部260による第2の平均値の算出、基準値取得部270による基準値の算出、判定対象値取得部280による判定対象値の取得、判定部290による障害のおそれがある撮像対象の特定は第1実施形態およびその変形例と同様である。
第2実施形態においては判定部290の判定の後、障害被疑箇所がある場合には障害被疑箇所を除外する。例えば判定部290は、障害被疑箇所の画像における座標を特定し、その座標を除外する。最初の設定領域のグルーピングのまま、温度情報取得部240はこの除外された座標における温度情報を含めずに設定領域ごとの温度分布を求める。高温情報取得部250は、この除外後の温度分布に基づき高温情報を求める。
中温域取得部260は、この除外後の温度分布に基づき第2の設定範囲の温度情報を特定する。あるいは第2実施形態において、最初の判定における第2の設定範囲の温度情報を利用することも可能である。この場合、当該2回目以降の第2の設定範囲の特定処理は省略してもよい。このように特定処理を省略する場合であっても、2回目の判定処理の後、3回目の判定処理を行う場合には再度第2の設定範囲の特定処理を行うように構成されていてもよい。
その後の基準値、判定対象値の算出は第1実施形態およびその変形例と同様である。判定部290は、第1実施形態等と同様に、例えば太陽光発電パネルそれぞれの基準温度Xiに対する偏差値SSiが許容される範囲または値を超過した場合(例えば予め設定された閾値を超過した場合)、障害被疑箇所と特定する(図8参照)。判定部290は当該特定処理を経て被疑箇所が未だ存在する場合には、再度上記処理を繰り返す。ただし、第2実施形態はこれに限られない。例えば、判定部290は障害被疑領域の面積もしくは比率が予め定めた値を下回るまで、上記被疑箇所の除外から判定処理を繰り返すように構成されていてもよい。また、この構成でなく判定部290が閾値を更新しながら、上記被疑箇所の除外から判定処理を繰り返すように構成されていてもよい。
[動作]
図9は、第2実施形態における処理の流れを示す図である。以下、図9を参照しつつ、状態判定システム200の処理の流れを、ステップ番号(S021~S030-1)に添って説明する。
図9は、第2実施形態における処理の流れを示す図である。以下、図9を参照しつつ、状態判定システム200の処理の流れを、ステップ番号(S021~S030-1)に添って説明する。
(S021~S028)
上記第1実施形態の状態判定システム100におけるS001~S008、またはS011~S019と同様である。
上記第1実施形態の状態判定システム100におけるS001~S008、またはS011~S019と同様である。
(S029)
判定部290は、判定対象値と第1の閾値との対比により、障害のおそれがある撮像対象の特定をする。
判定部290は、判定対象値と第1の閾値との対比により、障害のおそれがある撮像対象の特定をする。
(S030)
判定部290は、判定対象値と第1の閾値との対比により、設定領域ごとに障害被疑箇所があるか判定をする。
判定部290は、判定対象値と第1の閾値との対比により、設定領域ごとに障害被疑箇所があるか判定をする。
(S030-1)
S030の判定の結果、障害被疑箇所があると判定された設定領域においては(S030;Yes)、障害被疑箇所の画像における座標を特定し、当該設定領域においてその座標を除外する。
S030の判定の結果、障害被疑箇所があると判定された設定領域においては(S030;Yes)、障害被疑箇所の画像における座標を特定し、当該設定領域においてその座標を除外する。
S030-1の後、S023に戻り温度情報取得部240はこの除外された座標における温度情報を含めずに設定領域ごとの温度分布を求める。以下、S030の判定の結果、障害被疑箇所があると判定されなくなるまで(S030;No)、これら処理が繰り返される。また判定部290は、判定処理の後処理として太陽光発電パネルごとに異常があった場合は、そのパネルの位置を少なくとも特定してユーザーに任意の方法で提示する処理を行う(図39・40参照)。
[効果]
第2実施形態によれば、赤外線画像の設定領域における温度分布から、最高温度または高温域の平均値等と、中温域の平均値との差が求められる。また、複数の設定領域によるグループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値が求められる。さらにその判定対象値に基づいて撮像対象の異常について判定がなされる。このような構成によれば各設定領域における撮像対象の異常判定のミスが低減される。つまり、同様の条件下(気象条件等)にさらされている太陽光発電パネルのグループ内において、高温域の平均値と中温域の平均値の差のばらつきを求めるので、季節、天候による影響と、撮像対象の障害の進行度による影響を識別することができる。
第2実施形態によれば、赤外線画像の設定領域における温度分布から、最高温度または高温域の平均値等と、中温域の平均値との差が求められる。また、複数の設定領域によるグループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値が求められる。さらにその判定対象値に基づいて撮像対象の異常について判定がなされる。このような構成によれば各設定領域における撮像対象の異常判定のミスが低減される。つまり、同様の条件下(気象条件等)にさらされている太陽光発電パネルのグループ内において、高温域の平均値と中温域の平均値の差のばらつきを求めるので、季節、天候による影響と、撮像対象の障害の進行度による影響を識別することができる。
さらに、異常判定のミスを低減できる他の理由として赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
さらに第2実施形態においては障害被疑箇所を除外して再度状態判定を実施することにより、障害被疑箇所の特定を詳細にする。これにより、判定における同一グループ内に、障害のおそれがある箇所が多く検出される場合においても、障害被疑箇所の特定の漏れを低減させることが可能である。
上記実施形態によれば判定ミスが低減されるため、障害の可能性が低いパネルが障害被疑の対象から外れやすい。これにより、赤外線画像による撮像対象の異常判定の効率を向上させることが可能である。
上記第2実施形態から把握される判定対象検出システムとして次のような特徴を挙げることが可能である。
[特徴A]
飛行体から赤外線画像を受信する画像受信部と、
赤外線画像から撮像対象を含むあらかじめ設定された設定領域を特定する特定部と、
特定した設定領域ごとに障害のおそれがある障害被疑領域を特定し、
その障害被疑領域を含まないように、再度他の障害被疑領域の特定が実行される判定部と、を備える
状態判定システム。
なお、上記第2実施形態は第1実施形態との組み合わせでなく単独で構成することも可能である。
[特徴A]
飛行体から赤外線画像を受信する画像受信部と、
赤外線画像から撮像対象を含むあらかじめ設定された設定領域を特定する特定部と、
特定した設定領域ごとに障害のおそれがある障害被疑領域を特定し、
その障害被疑領域を含まないように、再度他の障害被疑領域の特定が実行される判定部と、を備える
状態判定システム。
なお、上記第2実施形態は第1実施形態との組み合わせでなく単独で構成することも可能である。
[第3実施形態]
第3実施形態にかかる状態判定システム300について図10~図14を参照して説明する。以下の説明において、第1実施形態および第2実施形態と重複する説明は割愛する。
第3実施形態にかかる状態判定システム300について図10~図14を参照して説明する。以下の説明において、第1実施形態および第2実施形態と重複する説明は割愛する。
第1実施形態と同様に、第3実施形態においても赤外線画像内の撮像対象が特定され、基準値、判定対象値が求められる。また、障害被疑対象(パネル等)が特定される点も第1実施形態と同様である。
第3実施形態はさらに、設定領域のうち障害被疑箇所を含むものについて、障害の態様の分類を行う。障害の分類によっては気象条件等の外部環境による影響または障害の進行状態によって発熱量が乏しいケースがある。すなわち、第1実施形態等によって障害被疑箇所の特定をする場合に偏差量が少なくなることが想定される。したがって、第3実施形態ではそのような状況に対応するため、太陽光発電パネル等の撮影対象の障害の態様を分類し、特定の分類においては他の分類より多くの障害被疑箇所を特定するように構成し、発熱量が乏しくなるといった特定のパターンにおいて障害被疑箇所の特定漏れを低減させ、また障害被疑箇所の過剰な特定を低減させることを可能とする。
(状態判定システム300)
図10に示すように第3実施形態の状態判定システム300は、位置情報受信部310、画像受信部320、特定部330、温度情報取得部340、高温情報取得部350、中温域取得部360、基準値取得部370、判定対象値取得部380、判定部390、障害被疑特定部391および制御部Cと記憶部Sを含んで構成される。
図10に示すように第3実施形態の状態判定システム300は、位置情報受信部310、画像受信部320、特定部330、温度情報取得部340、高温情報取得部350、中温域取得部360、基準値取得部370、判定対象値取得部380、判定部390、障害被疑特定部391および制御部Cと記憶部Sを含んで構成される。
特定部330による太陽光発電パネルの検出、高温情報取得部350による高温情報の取得、中温域取得部360による第2の平均値の算出、基準値取得部370による基準値の算出、判定対象値取得部380による判定対象値の取得は第1実施形態等と同様である。第3実施形態においては、障害のおそれがある撮像対象の特定を被疑対象特定部391が実施する。特定方法は第1実施形態等と同様である。
(判定部390)
第3実施形態においては被疑対象特定部391の特定の後、障害被疑箇所がある場合には判定部390がその設定領域における障害の態様を分類する。判定部390は一例として、ディープラーニングにより画像における設定領域内の障害の態様を分類する。
第3実施形態においては被疑対象特定部391の特定の後、障害被疑箇所がある場合には判定部390がその設定領域における障害の態様を分類する。判定部390は一例として、ディープラーニングにより画像における設定領域内の障害の態様を分類する。
これは、いわゆる人工知能(AI)を用いたディープラーニング(深層学習)により作成された推論モデルを用いたものである。推論モデルには、あらかじめ、赤外線画像における撮像対象(例:太陽光発電パネル等)の障害の態様ごとに現れる被疑箇所のモデルからなる教師データ群が含まれている。なお、被疑箇所のモデルには形状やサイズ、温度等の情報が含まれる。形状については言い換えると障害パターンの特徴量ということができる。サイズについて入力サイズと言い換えることができる。
赤外線画像に表れる形状(例えば相対的に高温であるポイントの集合がなす形状(図8:「閾値超過」部分等)は、温度情報に基づいている。したがって、被疑箇所のモデルとしての温度情報は、上記形状の補足として利用可能である。
赤外線画像に表れる形状(例えば相対的に高温であるポイントの集合がなす形状(図8:「閾値超過」部分等)は、温度情報に基づいている。したがって、被疑箇所のモデルとしての温度情報は、上記形状の補足として利用可能である。
人工知能によりその教師データ群を用いて深層学習が行われ、推論モデルが生成される。判定部390において、障害被疑箇所を含む設定領域に対し当該推論モデルを用いて推論が行われ、障害の態様が分類される。なお、本実施形態において、分類する方法は、ディープラーニングによるものに限られない。パターンマッチング等、他の方法を用いることも可能である。
判定部390の分類例を、図11~図13を参照して説明する。図11~図13は撮像対象が太陽光発電パネルの場合の赤外線画像を示す。図11はクラスター障害の一例である。図12はひび割れの一例である。図13は汚れまたはセル障害の一例である。
<障害の分類>
太陽光発電パネルにおいて、例えば横一列にセルが2行単位で構成されるクラスターが縦に3段並んでいるように構成されているとすれば、クラスター障害はセルのクラスターがなす形状に概ね沿って横長になって発生する。赤外線画像では図11に示すように、当該横長のクラスターに沿うように異常発熱箇所が見られる。したがって、判定部390は、クラスター形状と類似する赤外線画像上の発熱箇所の形状に基づき、当該箇所をクラスター障害として分類する。
太陽光発電パネルにおいて、例えば横一列にセルが2行単位で構成されるクラスターが縦に3段並んでいるように構成されているとすれば、クラスター障害はセルのクラスターがなす形状に概ね沿って横長になって発生する。赤外線画像では図11に示すように、当該横長のクラスターに沿うように異常発熱箇所が見られる。したがって、判定部390は、クラスター形状と類似する赤外線画像上の発熱箇所の形状に基づき、当該箇所をクラスター障害として分類する。
判定部390は、赤外線画像上の発熱箇所の形状がクラスター形状と類似しないと判定することで、当該発熱箇所を「クラスター障害以外の障害」と分類してもよい。あるいは、ひび割れのように比較的広範に発熱箇所が見られるが、クラスターのモデルとは異なる態様である場合(図12参照)、当該発熱箇所を「ひび割れ」の障害であると分類するように構成されていてもよい。
判定部390は他の分類として汚れ、セル障害の態様の障害分類をするように構成されていてもよい。汚れ、セル障害は、クラスターやひび割れに対して比較的狭くに発熱箇所が見られる。よって、クラスターやひび割れのモデルとは異なる態様である場合(図13参照)、当該発熱箇所を「汚れ、セル障害」の障害であると分類するように構成されていてもよい。
<再特定処理_概要>
障害の分類はいくつかあり、上記は一例であるが、以上のように特定の障害の態様を判定部390により分類することにより、以下の被疑対象の再特定処理を実行することが可能となる。後述するように当該再特定処理により被疑対象の特定漏れをさらに低減させることができる。結果として、障害態様に応じて設定領域の障害の有無をより確実に判定することが可能となる。
障害の分類はいくつかあり、上記は一例であるが、以上のように特定の障害の態様を判定部390により分類することにより、以下の被疑対象の再特定処理を実行することが可能となる。後述するように当該再特定処理により被疑対象の特定漏れをさらに低減させることができる。結果として、障害態様に応じて設定領域の障害の有無をより確実に判定することが可能となる。
上記の縦に3段クラスターが配列されており、その1段にクラスター障害が発生している場合、図11に示すようにクラスターの配列形状にしたがってその領域にわたって異常な発熱がみられる傾向がある。障害被疑の特定に用いられる判定対象値は、グループごとに算出された各設定領域の基準値のばらつきを示す値等であるため、クラスター障害のように比較的広範な障害が発生していると、判定対象値が顕著な値を示さないことや、ばらつきが小さくなり、障害被疑箇所の特定漏れを生じる原因になり得る。また、クラスター障害では、障害の進行状態(発電量の低下、電流の不良等)により発熱の偏差量が乏しくなるケースが想定される。季節や天候、地理的な条件等の気象条件も発熱の偏差量に大きく影響する場合がある。
すなわちクラスター障害のケースを障害被疑箇所として特定するためには、他の障害より比較的小さい温度の偏りでも障害被疑とする必要がある。クラスター障害に起因して障害被疑対象が特定されている場合、図12のようなひび割れや、図13のような汚れ、セル障害の場合と比較して、いわば甘く障害判定をすることで、障害被疑箇所の特定漏れを防ぐこと、低減させることが可能である。しかしながら、ひび割れ、汚れ、セル障害の場合は偏りが大きくなる傾向があるため、クラスター障害を特定するための基準では、障害でない領域を過剰に特定(検出)するおそれがある。したがって、異常判定の効率を低下させないようにするために、過剰な侵害被疑箇所の特定を低減させる。
そのため、本実施形態では上記のような障害の分類をし、さらに以下に記載する被疑対象特定部391により、障害の分類ごとの障害被疑箇所の態様(輪郭形状等)に対応した障害判定を実行する。
すなわちクラスター障害のケースを障害被疑箇所として特定するためには、他の障害より比較的小さい温度の偏りでも障害被疑とする必要がある。クラスター障害に起因して障害被疑対象が特定されている場合、図12のようなひび割れや、図13のような汚れ、セル障害の場合と比較して、いわば甘く障害判定をすることで、障害被疑箇所の特定漏れを防ぐこと、低減させることが可能である。しかしながら、ひび割れ、汚れ、セル障害の場合は偏りが大きくなる傾向があるため、クラスター障害を特定するための基準では、障害でない領域を過剰に特定(検出)するおそれがある。したがって、異常判定の効率を低下させないようにするために、過剰な侵害被疑箇所の特定を低減させる。
そのため、本実施形態では上記のような障害の分類をし、さらに以下に記載する被疑対象特定部391により、障害の分類ごとの障害被疑箇所の態様(輪郭形状等)に対応した障害判定を実行する。
<再特定処理_被疑対象特定部391>
この実施形態では、障害態様の分類に対応して特有の被疑対象の再特定処理を行う。再特定処理についてクラスター障害を一例として説明する。判定部390により設定領域のうち、クラスター障害を含むと分類された設定領域(例えば太陽光発電パネルまたはその群)以外の設定領域(以下、「他分類の設定領域」とする。)が、再特定処理の対象となる。
この実施形態では、障害態様の分類に対応して特有の被疑対象の再特定処理を行う。再特定処理についてクラスター障害を一例として説明する。判定部390により設定領域のうち、クラスター障害を含むと分類された設定領域(例えば太陽光発電パネルまたはその群)以外の設定領域(以下、「他分類の設定領域」とする。)が、再特定処理の対象となる。
被疑対象特定部391は、クラスター障害被疑の設定領域または障害被疑箇所が無い設定領域に対しての閾値(第1の閾値)と異なる第2の閾値によって、他分類の設定領域における障害被疑箇所の再特定を行う。第2の閾値は、この設定領域について過剰な障害被疑箇所の特定を抑制するような値である。例えば、上記実施形態における偏差値SSiにより障害被疑の特定をしている場合、偏差値SSiの閾値を上げることにより、より障害被疑箇所として特定される箇所が低減する。
上記のように気象条件や障害の進行状態により発熱の偏差量が乏しくなる可能性があるクラスター障害の場合に対し、他分類の設定領域の被疑箇所の過剰な特定が、第2の閾値による再特定処理により低減される。
この実施形態は上記に限られない。例えば、ひび割れを他の分類と区別して対応する閾値を設定してもよい。また、汚れやセル障害を他の分類と区別して対応する閾値を設定してもよい。また、障害の分類については少なくとも2分類以上に分けられればよい。
なお、第3実施形態において、第2実施形態における障害被疑箇所の除外および除外後の特定処理を組み合わせてもよい。
[動作]
図14は、本実施形態における処理の流れを示す図である。以下、図14を参照しつつ、状態判定システム300の処理の流れを、ステップ番号(S031~S03)に添って説明する。なお、以下の処理は第1実施形態等における障害被疑箇所の特定処理の後に実行される。また、クラスター障害の領域について分類した後、再特定処理を行う形態の例についての流れを説明する。
図14は、本実施形態における処理の流れを示す図である。以下、図14を参照しつつ、状態判定システム300の処理の流れを、ステップ番号(S031~S03)に添って説明する。なお、以下の処理は第1実施形態等における障害被疑箇所の特定処理の後に実行される。また、クラスター障害の領域について分類した後、再特定処理を行う形態の例についての流れを説明する。
(S031)
被疑対象特定部391の特定の後、障害被疑箇所がある場合には判定部390がその設定領域における障害の態様を分類する。判定部390は一例として、ディープラーニングにより画像における設定領域内の障害の態様を分類する。
被疑対象特定部391の特定の後、障害被疑箇所がある場合には判定部390がその設定領域における障害の態様を分類する。判定部390は一例として、ディープラーニングにより画像における設定領域内の障害の態様を分類する。
(S032)
分類の結果、判定部390は当該設定領域にクラスター障害が含まれるか判定する。
分類の結果、判定部390は当該設定領域にクラスター障害が含まれるか判定する。
(S033)
判定部390の分類結果により、当該設定領域にクラスター障害が含まれないと分類された場合(S032;No)、判定部390は、他の障害に分類される被疑領域が含まれるか判定する。設定領域に障害箇所が含まれない場合(S033;No)、クラスター障害も無く、他分類の障害も含まれないため、その領域は正常であると判断される。
判定部390の分類結果により、当該設定領域にクラスター障害が含まれないと分類された場合(S032;No)、判定部390は、他の障害に分類される被疑領域が含まれるか判定する。設定領域に障害箇所が含まれない場合(S033;No)、クラスター障害も無く、他分類の障害も含まれないため、その領域は正常であると判断される。
(S034)
判定部390の分類結果により、他の障害に分類される被疑領域が含まれると判断された場合、被疑対象特定部391は再特定処理を行う。
判定部390の分類結果により、他の障害に分類される被疑領域が含まれると判断された場合、被疑対象特定部391は再特定処理を行う。
(S035)
設定領域にクラスター障害が含まれると判断された場合(S033;Yes)、または再特定処理(S034)の後、その設定領域の全体における位置を少なくとも特定してユーザーに任意の方法で提示する処理を行う。
設定領域にクラスター障害が含まれると判断された場合(S033;Yes)、または再特定処理(S034)の後、その設定領域の全体における位置を少なくとも特定してユーザーに任意の方法で提示する処理を行う。
[効果]
第3実施形態によれば、赤外線画像の設定領域における温度分布から、最高温度または高温域の平均値等と、中温域の平均値との差が求められる。また、複数の設定領域によるグループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値が求められる。さらにその判定対象値に基づいて撮像対象の異常について判定がなされる。このような構成によれば各設定領域における撮像対象の異常判定のミスが低減される。つまり、同様の条件下(気象条件等)にさらされている太陽光発電パネルのグループ内において、高温域の平均値と中温域の平均値の差のばらつきを求めるので、季節、天候による影響と、撮像対象の障害の進行度による影響を識別することができる。
第3実施形態によれば、赤外線画像の設定領域における温度分布から、最高温度または高温域の平均値等と、中温域の平均値との差が求められる。また、複数の設定領域によるグループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値が求められる。さらにその判定対象値に基づいて撮像対象の異常について判定がなされる。このような構成によれば各設定領域における撮像対象の異常判定のミスが低減される。つまり、同様の条件下(気象条件等)にさらされている太陽光発電パネルのグループ内において、高温域の平均値と中温域の平均値の差のばらつきを求めるので、季節、天候による影響と、撮像対象の障害の進行度による影響を識別することができる。
さらに、異常判定のミスを低減できる他の理由として赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
さらに第3実施形態においては特定の障害分類の場合に、障害被疑箇所の再特定処理を実施することにより、障害被疑箇所の過剰な特定を低減させることが可能である。
上記実施形態によれば判定ミスが低減されるため、障害の可能性が低いパネルが障害被疑の対象から外れやすい。これにより、赤外線画像による撮像対象の異常判定の効率を向上させることが可能である。
上記第2実施形態から把握される判定対象検出システムとして次のような特徴を挙げることが可能である。
[特徴B]
飛行体から赤外線画像を受信する画像受信部と、
赤外線情報に基づく温度情報の分布を求める温度情報取得部と、
温度情報の分布に基づき、高温域と中温域のばらつきを示す判定対象値と第1の閾値に基づいて障害のおそれがある撮像対象である被疑対象を特定する被疑対象特定部と、
特定された被疑対象における高温部分のパターンに基づき、撮像対象の障害の分類をし、分類のうち、特定分類の場合は被疑対象の判定対象値と第2の閾値と基づき改めて被疑対象を特定する判定部と、
を備える
状態判定システム。
なお、上記第3実施形態は第1実施形態や第2実施形態との組み合わせでなく単独で構成することも可能である。
[特徴B]
飛行体から赤外線画像を受信する画像受信部と、
赤外線情報に基づく温度情報の分布を求める温度情報取得部と、
温度情報の分布に基づき、高温域と中温域のばらつきを示す判定対象値と第1の閾値に基づいて障害のおそれがある撮像対象である被疑対象を特定する被疑対象特定部と、
特定された被疑対象における高温部分のパターンに基づき、撮像対象の障害の分類をし、分類のうち、特定分類の場合は被疑対象の判定対象値と第2の閾値と基づき改めて被疑対象を特定する判定部と、
を備える
状態判定システム。
なお、上記第3実施形態は第1実施形態や第2実施形態との組み合わせでなく単独で構成することも可能である。
[判定対象検出システム]
次に上記各実施形態およびその変形例、ならびにそれに対応する各請求項に示される技術的思想と組み合わせることが可能な判定対象検出システムについて説明する。判定対象検出システムは、第4実施形態~第10実施形態に分けて説明する。
次に上記各実施形態およびその変形例、ならびにそれに対応する各請求項に示される技術的思想と組み合わせることが可能な判定対象検出システムについて説明する。判定対象検出システムは、第4実施形態~第10実施形態に分けて説明する。
[第4実施形態]
本実施形態の判定対象検出システム400は、上記実施形態と同様に飛行体Dから赤外線画像、測位情報、撮影方向情報等を受信し、撮影対象を特定する。図15に示すように判定対象検出システム400は、位置情報受信部410、画像受信部420、特定部430、温度情報取得部440および制御部Cと記憶部Sを含んで構成される。位置情報受信部410は、飛行体Dから、航法信号に基づく飛行体Dの測位情報(3次元位置等)等を受信する。例えばこれらはEXIF情報として画像に付加された情報として受信されてもよい。
本実施形態の判定対象検出システム400は、上記実施形態と同様に飛行体Dから赤外線画像、測位情報、撮影方向情報等を受信し、撮影対象を特定する。図15に示すように判定対象検出システム400は、位置情報受信部410、画像受信部420、特定部430、温度情報取得部440および制御部Cと記憶部Sを含んで構成される。位置情報受信部410は、飛行体Dから、航法信号に基づく飛行体Dの測位情報(3次元位置等)等を受信する。例えばこれらはEXIF情報として画像に付加された情報として受信されてもよい。
画像受信部420は、飛行体Dの撮影部D1から赤外線画像を受ける。特定部430は、赤外線画像から所定の撮像対象または撮像対象群を特定する。撮像対象は例えば太陽光発電パネルである。その他撮像対象は、多数置かれている自動車、建造物の構造物(ガラス等)、多数配置される各種センサー、大量生産されて点検される製造物等を挙げることが可能である。なお、以下においては撮像対象または撮像対象群の例として、太陽光発電パネルを挙げて説明する。
画像受信部420により受信された赤外線画像について、特定部430は一例として、ディープラーニングにより画像内の太陽光発電パネルそれぞれを推論することにより検出する。これは、いわゆる人工知能(AI)を用いたディープラーニング(深層学習)により作成された推論モデルを用いたものである。推論モデルには、あらかじめ、赤外線画像から太陽光発電パネルそれぞれを特定した複数のデータからなる教師データ群を有している。
人工知能によりその教師データ群を用いて深層学習が行われ、推論モデルが生成される。特定部430において、受信された画像に対し当該推論モデルを用いて推論が行われ、赤外線画像から太陽光発電パネルそれぞれの例えば外縁部の座標が特定される(外縁部でなく、太陽光発電パネルの四隅の座標であってもよい。)。
なお、本実施形態において、赤外線画像から太陽光発電パネルを検出する方法は、ディープラーニングによるものに限られない。パターンマッチング等、他の方法を用いることも可能である。また、太陽光発電パネルの検出は、各太陽光発電パネルごとでなくてもよく、例えば縦2列、横2行の太陽光発電パネル群であったり、縦2列、横1行の太陽光発電パネル群であってもよい。この検出単位は判定対象検出システムごとに決定されていて変更されない構成であっても、図示しない入力部を介したユーザーの操作によって設定される構成であってもよい。
また、上記では赤外線画像において撮像対象を検出する構成であった。しかしながら本実施形態はこれに限られない。例えば、次のような変形例によっても撮像対象を特定することが可能である。すなわち本システムでは、飛行体Dから可視光画像と赤外線画像とを受け、双方を利用可能である。さらに可視光画像と赤外線画像とは同一アングルで撮影されたものである。したがって、太陽光発電パネルの位置の特定は赤外線画像に限らず、可視光画像においても可能である。この場合、特定部430は、可視光画像において、上記いずれかの推論技術により可視光画像において撮像対象の位置を特定する。
次に可視光画像における特定した撮像対象の領域の座標について、特定部430はそのまま赤外線画像の座標において利用する。これは可視光画像と赤外線画像とで画角、アングル、縮尺等が同一あるいは実質的に同一(両画像におけるパネル位置の差分の許容範囲)であることを前提としている。
あるいは可視光画像と赤外線画像との間で画角、アングル、縮尺等がずれており、一方の画像の座標をそのまま他方の座標に置き換えることが許容できない(差分が大きい)場合は、特定部430は、何らかのランドマーク、マーカー、または撮像対象における形態的特徴および配置位置の特徴等を利用し、縮尺、位置合わせをするように構成されていてもよい。また位置合わせについてはこれに限られない。
例えば特定部430は、全球測位衛星システムからの航法信号から信号発信時刻を、可視光画像の付加情報として取得する。また、飛行体Dの速度センサー等から水平移動速度を取得する。また可視光画像に付帯された時刻と赤外線画像に付帯された時刻とを比較し、時刻差や撮影の時間差を求める。
また特定部430は、移動速度と上記時刻差等とに基づいて、両画像の位置のずれ量(各撮影位置間の距離)を求め、可視光画像および赤外線画像それぞれに対応する複合Pitch角θと、上記ずれ量とに基づいて、両画像がどの方位にどれだけ位置ずれしているかを求める。さらに画角の差、例えば可視光画像の方が広域である場合、特定部430はこのように特定した差分情報に基づいて、可視光画像内における赤外線画像が示す範囲を特定する処理を行う場合に、その処理の負荷を低減し、あるいはその処理結果の精度の向上を図ることが可能となる。
また、可視光画像と赤外線画像の位置の対応関係を求めることが可能となるため、両画像の画角を統一、あるいは両画像の画角の比を任意の比率となるように変更することも可能である。
以上の、撮像対象の検出を可視光画像で行って、その特定した領域の座標を赤外線画像に当てはめる構成については、以下の変形例および他の実施形態においても適用可能である。
温度情報取得部440は、特定部430により特定された赤外線画像における太陽光発電パネルごとに既知の任意の技術によって、パネル内の温度情報を取得する。
(制御部C・構成)
上記説明における各部の処理は、説明の便宜上、図1に示す制御部Cの制御の下に実行されるものとして説明した。この制御部Cについては、上記実施形態の説明とほぼ重複するので説明を割愛する。なお、本実施形態における複数の構成要素(例えば位置情報受信部410、画像受信部420、特定部430および温度情報取得部440のうち少なくとも2以上)を1つのプロセッサーへ統合してその機能を実現するようにしてもよい。
上記説明における各部の処理は、説明の便宜上、図1に示す制御部Cの制御の下に実行されるものとして説明した。この制御部Cについては、上記実施形態の説明とほぼ重複するので説明を割愛する。なお、本実施形態における複数の構成要素(例えば位置情報受信部410、画像受信部420、特定部430および温度情報取得部440のうち少なくとも2以上)を1つのプロセッサーへ統合してその機能を実現するようにしてもよい。
(制御部C・判定処理)
また制御部Cは、判定対象検出システムにおける判定処理についても実行する。例えば制御部Cは、赤外線画像から障害パネルを温度の差とパターンにより、判定することができる。具体例として、制御部Cは特定した太陽光発電パネルごとに、そこに含まれる画素ごとの温度情報に基づき、全画素の温度の平均値、または全画素の温度分布を求めてそのうちの高い温度を示す画素の数等により、閾値や適正範囲のレンジ等と比較して、パネルに異常が含まれるか否かを判定する。また、制御部Cは、異常温度を呈する画素の集合(パターン)の形状をあらかじめ記憶していて、そのパターンとの比較により、特定の異常の態様を特定してもよい。
また制御部Cは、判定対象検出システムにおける判定処理についても実行する。例えば制御部Cは、赤外線画像から障害パネルを温度の差とパターンにより、判定することができる。具体例として、制御部Cは特定した太陽光発電パネルごとに、そこに含まれる画素ごとの温度情報に基づき、全画素の温度の平均値、または全画素の温度分布を求めてそのうちの高い温度を示す画素の数等により、閾値や適正範囲のレンジ等と比較して、パネルに異常が含まれるか否かを判定する。また、制御部Cは、異常温度を呈する画素の集合(パターン)の形状をあらかじめ記憶していて、そのパターンとの比較により、特定の異常の態様を特定してもよい。
また制御部Cは、判定処理の後処理として太陽光発電パネルごとに異常があった場合は、そのパネルの位置を少なくとも特定してユーザーに任意の方法で提示する処理を行う(図3上側のブロックの縦4行目・横6列目にあるパネルの「DIFF」、または図39、図40等参照)。またパネル位置だけでなく、太陽光発電パネルごとの最高温度、平均温度、または異常画素の数等を画像データとして作成して表示する処理を実行してもよい。なお、制御部Cは、当該処理において「判定部」の一例に相当する。
[動作]
図16は、本実施形態における処理の流れを示す図である。以下に、図16を参照しつつ、判定対象検出システム400の処理の流れを、ステップ番号(S041~S045)に添って説明する。
図16は、本実施形態における処理の流れを示す図である。以下に、図16を参照しつつ、判定対象検出システム400の処理の流れを、ステップ番号(S041~S045)に添って説明する。
(S041)
判定対象検出システム400における位置情報受信部410は、飛行体Dから位置情報を受ける。また画像受信部420は赤外線画像を受ける。
判定対象検出システム400における位置情報受信部410は、飛行体Dから位置情報を受ける。また画像受信部420は赤外線画像を受ける。
(S042)
特定部430は、赤外線画像において太陽光発電パネルを特定する。
特定部430は、赤外線画像において太陽光発電パネルを特定する。
(S043)
温度情報取得部440は、特定部430により特定された赤外線画像における太陽光発電パネルごとにパネル内の温度情報を取得する。これは画素ごとに行ってもよく、複数画素を一単位として、画素群単位ごとの平均値を温度情報としてもよい。
温度情報取得部440は、特定部430により特定された赤外線画像における太陽光発電パネルごとにパネル内の温度情報を取得する。これは画素ごとに行ってもよく、複数画素を一単位として、画素群単位ごとの平均値を温度情報としてもよい。
(S044)
制御部Cは、赤外線画像から障害パネルを温度の差とパターンにより、検出する。
制御部Cは、赤外線画像から障害パネルを温度の差とパターンにより、検出する。
(S045)
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
[効果]
本実施形態によれば、赤外線画像の撮像対象の異常判定のミスが低減される。その理由の1つとして赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
本実施形態によれば、赤外線画像の撮像対象の異常判定のミスが低減される。その理由の1つとして赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
[変形例]
第4実施形態の変形例にかかる判定対象検出システム400について図17および図18を参照して説明する。以下の説明において、第4実施形態と重複する説明は割愛する。
第4実施形態の変形例にかかる判定対象検出システム400について図17および図18を参照して説明する。以下の説明において、第4実施形態と重複する説明は割愛する。
(概要)
第4実施形態と同様に、本変形例においても赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ(アスファルト舗装、水、植物、発電機器(パワーコントローラー、ケーブル)等)が含まれる可能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。
第4実施形態と同様に、本変形例においても赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ(アスファルト舗装、水、植物、発電機器(パワーコントローラー、ケーブル)等)が含まれる可能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。
本変形例における判定対象検出システム400は、例えばAI(ディープラーニング)推論モデルやパターンマッチングによる太陽光発電パネルの検出と、太陽光発電パネルの配列情報とによって、太陽光発電パネルの位置を検出する。
(判定対象検出システム400)
図17に示すように本変形例の判定対象検出システム400は、位置情報受信部410、画像受信部420、特定部430、温度情報取得部440および制御部Cと記憶部Sの他、設定部410aを含んで構成される。特定部430は第4実施形態と同様に赤外線画像から太陽光発電パネルを検出する。
図17に示すように本変形例の判定対象検出システム400は、位置情報受信部410、画像受信部420、特定部430、温度情報取得部440および制御部Cと記憶部Sの他、設定部410aを含んで構成される。特定部430は第4実施形態と同様に赤外線画像から太陽光発電パネルを検出する。
(設定部410a)
図2A・図2Bおよび図3に示すように、太陽光発電パネルのような撮像対象は、設置現場ごとに特有の配列が決められている場合がある。あるいは、撮像対象特有の配列の傾向がある場合がある。いずれの場合であっても、その配列の態様や状態を示す配列情報あらかじめ設定しておくことにより、赤外線画像から検出した撮像対象の位置について、その配列情報を利用して、特定ミスを低減することが可能である。例えば、当該配列情報と、赤外線画像において撮像対象が示す赤外線情報(あるいは温度情報)とに基づき、赤外線画像から太陽光発電パネルを検出することが可能である。この例であれば、図3のように、縦方向に4つのパネル群が横に7列、横方向に7つのパネル群の縦に4行の、2次元配列された太陽光発電パネルのブロックが1以上、赤外線画像に含まれている。ユーザーが図示しない入力部により赤外線画像の配列情報を入力すると、設定部410aは、その配列情報を記憶部Sに記憶させる。太陽光発電パネルの場合、パネル(例:シリコン)と外縁のフレーム(例:アルミ)とで画像において呈する温度情報が異なるため、赤外線情報等によりフレームを検出して1つ1つのパネルを識別することが検出の一例である。ただし、本変形例においては、配列情報をユーザーが入力する構成に限られない。例えば配列数を動的に導出することも可能である。この場合、導出した配列数を利用して特定ミスを低減する構成となる。
図2A・図2Bおよび図3に示すように、太陽光発電パネルのような撮像対象は、設置現場ごとに特有の配列が決められている場合がある。あるいは、撮像対象特有の配列の傾向がある場合がある。いずれの場合であっても、その配列の態様や状態を示す配列情報あらかじめ設定しておくことにより、赤外線画像から検出した撮像対象の位置について、その配列情報を利用して、特定ミスを低減することが可能である。例えば、当該配列情報と、赤外線画像において撮像対象が示す赤外線情報(あるいは温度情報)とに基づき、赤外線画像から太陽光発電パネルを検出することが可能である。この例であれば、図3のように、縦方向に4つのパネル群が横に7列、横方向に7つのパネル群の縦に4行の、2次元配列された太陽光発電パネルのブロックが1以上、赤外線画像に含まれている。ユーザーが図示しない入力部により赤外線画像の配列情報を入力すると、設定部410aは、その配列情報を記憶部Sに記憶させる。太陽光発電パネルの場合、パネル(例:シリコン)と外縁のフレーム(例:アルミ)とで画像において呈する温度情報が異なるため、赤外線情報等によりフレームを検出して1つ1つのパネルを識別することが検出の一例である。ただし、本変形例においては、配列情報をユーザーが入力する構成に限られない。例えば配列数を動的に導出することも可能である。この場合、導出した配列数を利用して特定ミスを低減する構成となる。
なお他の例としてディープラーニングにおいて上記教師データ群に加え、マルチモーダル学習という形でこの配列情報を利用することも可能である。
特定部430は、第1実施形態と同様に赤外線画像から太陽光発電パネルを検出し、さらに記憶部Sにおける配列情報を利用し、太陽光発電パネルを特定する。第1の例を挙げる。配列情報として図3のように4行、7列の太陽光発電パネル群があると設定されているときに、太陽光発電パネルがこの配列情報と異なる態様で太陽光発電パネルを検出する場合があり得る。例えば縦4行の設定であるのに、縦4行未満であったり、4行を超えた数を検出した場合や、横7列であるのに横7列未満であったり、7列を超えた数を検出する場合である。この場合、特定部430は再度検出をし、配列情報との差異がなくなるまで検出を繰り返してもよい。また、特定部430は図示しない表示部にエラーメッセージを出力させるか、あるいは図示しない音声出力部に警告音を出力させる等、任意の方法で検出エラーを報知するように構成されていてもよい。
次に第2の例を挙げる。配列情報として図3のようにマトリクス状の太陽光発電パネル群がある場合、そのパネル群の外縁の輪郭形状は例えば長方形となる。したがって、特定部430は太陽光発電パネルを検出した後、配列情報に基づき、さらに太陽光発電パネル群の外縁を特定する。さらに特定部130はその外縁から外れた位置において検出された太陽光発電パネルを検出エラーとして特定する。検出エラーがあった場合の、特定部430の処理は、第1の例と同様である。
なお、検出エラーの判定の後における判定対象検出システム400のとり得る処理の他の例については、第10実施形態の説明の後に詳述する(変形例1以降)。
なお、検出エラーの判定の後における判定対象検出システム400のとり得る処理の他の例については、第10実施形態の説明の後に詳述する(変形例1以降)。
[動作]
図18は、本変形例における処理の流れを示す図である。以下に、図18を参照しつつ、判定対象検出システム400の処理の流れを、ステップ番号(S041a~S045a)に添って説明する。
図18は、本変形例における処理の流れを示す図である。以下に、図18を参照しつつ、判定対象検出システム400の処理の流れを、ステップ番号(S041a~S045a)に添って説明する。
(S041a)
判定対象検出システム400における位置情報受信部410は、飛行体Dから位置情報を受ける。また画像受信部420は可視光画像および赤外線画像を受ける。
判定対象検出システム400における位置情報受信部410は、飛行体Dから位置情報を受ける。また画像受信部420は可視光画像および赤外線画像を受ける。
(S042a)
特定部430は、赤外線画像において太陽光発電パネルを特定する。
特定部430は、赤外線画像において太陽光発電パネルを特定する。
(S013a)
特定部430は、設定部410aにおいて設定された配列情報に基づき、S042aで特定した複数の太陽光発電パネルについて、検出エラーがあるか判定する。検出エラーがあった場合(S043a;Yes)、検出エラーがなくなるまで検出を繰り返す。なお、これに限らず検出エラーをユーザーに報知して太陽光発電パネルの検査を終了する構成であってもよい。
特定部430は、設定部410aにおいて設定された配列情報に基づき、S042aで特定した複数の太陽光発電パネルについて、検出エラーがあるか判定する。検出エラーがあった場合(S043a;Yes)、検出エラーがなくなるまで検出を繰り返す。なお、これに限らず検出エラーをユーザーに報知して太陽光発電パネルの検査を終了する構成であってもよい。
(S044a)
温度情報取得部140は、S043aの判定により検出エラーがない、またはなくなった場合(S043a;No)、特定部430により特定された赤外線画像における太陽光発電パネルごとにパネル内の温度情報を取得する。これは画素ごとに行ってもよく、複数画素を一単位として、画素群単位ごとの平均値を温度情報としてもよい。
温度情報取得部140は、S043aの判定により検出エラーがない、またはなくなった場合(S043a;No)、特定部430により特定された赤外線画像における太陽光発電パネルごとにパネル内の温度情報を取得する。これは画素ごとに行ってもよく、複数画素を一単位として、画素群単位ごとの平均値を温度情報としてもよい。
(S045a)
制御部Cは、赤外線画像から障害パネルを温度の差とパターンにより、検出する。
制御部Cは、赤外線画像から障害パネルを温度の差とパターンにより、検出する。
(S046a)
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
[効果]
本実施形態によれば、赤外線画像の撮像対象の異常判定のミスが低減される。その理由の1つとして赤外線画像内の撮像対象と、それ以外のものを識別し、撮影対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
本実施形態によれば、赤外線画像の撮像対象の異常判定のミスが低減される。その理由の1つとして赤外線画像内の撮像対象と、それ以外のものを識別し、撮影対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
さらに、本実施形態によれば太陽光発電パネルの検出エラーを配列情報に基づいて判定するので、太陽光発電パネルの障害の検知ミスを低減可能である。
[第5実施形態]
第5実施形態にかかる判定対象検出システム500について図19~図21を参照して説明する。以下の説明において、第4実施形態と重複する説明は割愛する。
第5実施形態にかかる判定対象検出システム500について図19~図21を参照して説明する。以下の説明において、第4実施形態と重複する説明は割愛する。
(概要)
第4実施形態と同様に、第5実施形態においても赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を、異常判定(障害パネル判定)に用いる情報から除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ(アスファルト舗装、水、植物、発電機器(パワーコントローラー、ケーブル)等)が含まれる可能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。
第4実施形態と同様に、第5実施形態においても赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を、異常判定(障害パネル判定)に用いる情報から除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ(アスファルト舗装、水、植物、発電機器(パワーコントローラー、ケーブル)等)が含まれる可能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。
第5実施形態はさらに、第4実施形態での太陽光発電パネル等の撮像対象の検出処理をするため、画像の傾き補正を実行する。第4実施形態の一例では、ディープラーニング技術を用いた推論モデル、パターンマッチング等の推論技術を利用して撮像対象の物体的特徴に基づく物体検知を行っている。これは太陽光発電パネルの場合、例えばその形態的特徴(外縁が矩形等)に基づき、撮像対象の領域を推論するものである。しかし、撮影対象物に対し撮像方向が傾いている場合、図20の左側図に示すように矩形領域を推論しても、検出した矩形領域内に、隣接する他の撮像対象や、撮像対象でない他の物が含まれてしまうおそれがある。そのため、第5実施形態においては、複数の撮像対象それぞれにおける所定位置を特定し、その各位置の位置関係から画像の傾きを算出する。さらに算出した傾きを補正することにより、撮像対象の検出ミスの低減を図る。
(判定対象検出システム500)
図19に示すように第5実施形態の判定対象検出システム500は、位置情報受信部510、画像受信部520、特定部530、温度情報取得部540および制御部Cと記憶部Sの他、第1の補正部510aを含んで構成される。特定部530は第1実施形態と同様に赤外線画像から太陽光発電パネルを検出する。
図19に示すように第5実施形態の判定対象検出システム500は、位置情報受信部510、画像受信部520、特定部530、温度情報取得部540および制御部Cと記憶部Sの他、第1の補正部510aを含んで構成される。特定部530は第1実施形態と同様に赤外線画像から太陽光発電パネルを検出する。
(第1の補正部510a)
第1実施形態と同様に赤外線画像から撮像対象、例えば太陽光発電パネルが特定される。第1の補正部510aは、特定された複数の太陽光発電パネルの所定位置をさらに特定する。例えば図20の左側の図に示すように特定した各撮像対象の領域における左上隅の位置(画像内の座標、以下「特定位置」とする)を特定する。次に第1の補正部510aは、最小二乗法により、特定位置それぞれとの距離が最小となる回帰直線を算出する。
第1実施形態と同様に赤外線画像から撮像対象、例えば太陽光発電パネルが特定される。第1の補正部510aは、特定された複数の太陽光発電パネルの所定位置をさらに特定する。例えば図20の左側の図に示すように特定した各撮像対象の領域における左上隅の位置(画像内の座標、以下「特定位置」とする)を特定する。次に第1の補正部510aは、最小二乗法により、特定位置それぞれとの距離が最小となる回帰直線を算出する。
次に第1の補正部510aは、赤外線画像に対するこの回帰直線の傾きを算出する。また第1の補正部510aはこの傾きがなくなるように画像を回転する補正をする。特定部530は、回転補正後において再度撮像対象の特定処理を実行する。なお、第1の補正部510aは、傾きが所定範囲(例えば±5°)以下であれば補正処理を実行しないように構成されていてもよい。
また、第1の補正部510aは、傾きが所定範囲(例えば±5°)以上である場合、当該画像を撮像エラーとして判定してもよい。エラー判定の結果、当該画像をパネル異常判定(障害パネル判定)の対象から除外する処理を実行してもよい。なお、当該画像を異常判定の対象から除外した場合であっても、次のような方法により対処可能である。例えば赤外線画像には方位情報および位置情報の少なくとも一方が対応づけられている。したがって、その除外した画像に対応付けられた撮像対象群は特定可能である。すなわち再度当該位置を空撮して画像を取得し直すことも可能である。またその部分のみユーザーが直接検査を行うことも可能である。
また、画像を異常判定の対象から除外した場合の他の対処方法を挙げる。飛行体による空撮では、そのときの環境(風や気圧およびその他の要因)の影響を受け、制御しようとした撮像方向と実際の撮像方向との間にずれが生じる場合がある。この問題を解消するため、1つの撮像対象についての空撮を複数回行うように、すなわちオーバーラップ撮影するように飛行体Dを制御してもよい。判定対象検出システム500では、そのオーバーラップ撮影に対応して、1つの撮像対象につき2以上の画像を取得する構成とすることが可能である。このような構成であれば、傾きの程度に応じてある1つの画像を除外しても、他の画像で補完することが可能である。すなわち他の画像において傾きが所定範囲内であれば、その画像において異常(障害パネル)判定を行うことが可能である。傾きが大きい場合、画像ブレ、つぶれ(解像度の低下等)等、傾きだけでない他の問題も発生していることが想定される。よって、上記第1の補正部510aによる傾きの判定は、他の要因による異常判定ミスの低減も併せて実行しうるものである。
上記の他の例におけるオーバーラップ撮影の重複の程度は例えば10%~95%の範囲のいずれかである。また空撮の時間的間隔が短い場合、空撮環境(強風等)の影響が変化せず、除外すると判定された画像の直後の画像も傾きの許容範囲を超える可能性がある。さらにオーバーラップ範囲が広すぎると、空撮時間の増大、およびシステム上の処理時間、処理負担の増大を招く可能性がある。これらを考慮してオーバーラップ撮影の重複の程度を例えば90%以下としてもよい。
これに対しオーバーラップの範囲が狭すぎると1つの画像を除外した場合に障害パネルの判定対象に含まれないものが出てくる可能性がある。これを考慮して重複の程度を50%以上としてもよい。
また撮影現場の上空の風速を利用して適切なオーバーラップの程度を算出し、算出結果に応じて都度設定される構成であってもよい。またオーバーラップの程度によっては、傾きが大きく除外された画像の直後の画像について、傾きの判定を経ずに除外する構成であってもよい。
[動作]
図21は、本実施形態における処理の流れを示す図である。以下に、図21を参照しつつ、判定対象検出システム500の処理の流れを、ステップ番号(S051~S056)に添って説明する。
図21は、本実施形態における処理の流れを示す図である。以下に、図21を参照しつつ、判定対象検出システム500の処理の流れを、ステップ番号(S051~S056)に添って説明する。
(S051)
判定対象検出システム500における位置情報受信部510は、飛行体Dから位置情報を受ける。また画像受信部520は可視光画像および赤外線画像を受ける。
判定対象検出システム500における位置情報受信部510は、飛行体Dから位置情報を受ける。また画像受信部520は可視光画像および赤外線画像を受ける。
(S052)
特定部530は、赤外線画像において太陽光発電パネルを特定する。
特定部530は、赤外線画像において太陽光発電パネルを特定する。
(S053)
第1の補正部510aは、複数の撮像対象それぞれにおける所定位置を特定し、その各位置の位置関係から最小二乗法に基づく回帰直線を算出する。また第1の補正部510aは回帰直線の画像に対する傾きを算出する。さらに第1の補正部510aは、算出した傾きを補正する。特定部530は、再度太陽光発電パネルを特定する。
第1の補正部510aは、複数の撮像対象それぞれにおける所定位置を特定し、その各位置の位置関係から最小二乗法に基づく回帰直線を算出する。また第1の補正部510aは回帰直線の画像に対する傾きを算出する。さらに第1の補正部510aは、算出した傾きを補正する。特定部530は、再度太陽光発電パネルを特定する。
(S054)
温度情報取得部540は、特定部530により特定された赤外線画像における太陽光発電パネルごとにパネル内の温度情報を取得する。これは画素ごとに行ってもよく、複数画素を一単位として、画素群単位ごとの平均値を温度情報としてもよい。
温度情報取得部540は、特定部530により特定された赤外線画像における太陽光発電パネルごとにパネル内の温度情報を取得する。これは画素ごとに行ってもよく、複数画素を一単位として、画素群単位ごとの平均値を温度情報としてもよい。
(S055)
制御部Cは、赤外線画像から、パネルごと(所定数パネル群ごと)に障害パネルを温度の差とパターンにより、検出する。
制御部Cは、赤外線画像から、パネルごと(所定数パネル群ごと)に障害パネルを温度の差とパターンにより、検出する。
(S056)
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
[効果]
本実施形態によれば、赤外線画像の撮像対象の異常判定(障害パネル判定)のミスが低減される。その理由の1つとして赤外線画像内の撮像対象と、それ以外のものを識別し、撮影対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、太陽光発電パネルの配置位置によって、影により直射日光を受ける位置とそうでない位置ができ、例えば太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もある。その点においても本実施形態では異常判定のミスを低減可能である。
本実施形態によれば、赤外線画像の撮像対象の異常判定(障害パネル判定)のミスが低減される。その理由の1つとして赤外線画像内の撮像対象と、それ以外のものを識別し、撮影対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、太陽光発電パネルの配置位置によって、影により直射日光を受ける位置とそうでない位置ができ、例えば太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もある。その点においても本実施形態では異常判定のミスを低減可能である。
さらに、本実施形態によれば一度検出した太陽光発電パネルの検出エラーの要因となり得る傾きを補正するので、太陽光発電パネルの障害の検知ミスを低減可能である。
[第6実施形態]
第6実施形態にかかる判定対象検出システム600について図22~図24を参照して説明する。以下の説明において、第4実施形態と重複する説明は割愛する。
第6実施形態にかかる判定対象検出システム600について図22~図24を参照して説明する。以下の説明において、第4実施形態と重複する説明は割愛する。
(概要)
第様に、第6実施形態においても赤外線画像内の撮像対象と、それ以外のものを識別し、撮影対象以外の温度情報を異常判定(障害パネル判定)に用いる情報から除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ(アスファルト舗装、水、植物、発電機器(パワーコントローラー、ケーブル)等)が含まれる可能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。
第様に、第6実施形態においても赤外線画像内の撮像対象と、それ以外のものを識別し、撮影対象以外の温度情報を異常判定(障害パネル判定)に用いる情報から除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ(アスファルト舗装、水、植物、発電機器(パワーコントローラー、ケーブル)等)が含まれる可能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。
第6実施形態の判定対象検出システム600はさらに、第4実施形態での太陽光発電パネル等の撮像対象の検出処理のミスを低減するため、撮像対象を検出した後、撮像対象の検出サイズのずれがあるか判定を行う。
第4実施形態の一例では、ディープラーニング技術を用いた推論モデル、パターンマッチング等の推論技術を利用して撮像対象の物体的特徴に基づく物体検知を行っている。これは太陽光発電パネルの場合、例えばその形態的特徴(外縁が矩形等)という特徴に基づき、撮像対象の領域を推論するものである。しかし、赤外線画像において撮影対象の外縁は明確に描画されない場合がある。結果、矩形領域を推論しても、図23に示すように検出した矩形領域に隣接する他の撮像対象や、または撮像対象でない他の物が含まれてしまうおそれがある。そのため、第6実施形態においては、複数の撮像対象それぞれにおけるサイズを算出し、その算出したサイズに基づき検出エラーの判定を行う。これにより、撮像対象の検出ミスの低減を図る。
すなわち、撮像対象の種類によっては、サイズが画一的になっている場合がある(太陽光発電パネル等)。したがって、そのサイズが画一的であることを利用して、各撮像対象のうちサイズが大きく検出されたもの(例:図23のL6)および小さく検出されたものがあれば、判定対象検出システム600がサイズのばらつきとして算出し、結果として誤検出があったか判定を行う。
例えば太陽光発電パネルの場合は、同一の発電所内において、施工上の理由や運用上の理由等により、その受光面、太陽光照射面等の面積や形状が概ね等しく形成されるように構成されている。なお施工上の理由とは、土地活用や太陽光の照射面等を考慮したものであり、運用上の理由とは状態監視や故障時の交換等を考慮したものである。
したがって、縦方向の長さ、横方向の長さ、外周、面積、対角線の長さ等は各パネルで大きく差が出ないように形成されている。この前提によれば、赤外線画像から、サイズが明らかに異なる太陽光発電パネルが検出された場合、検出ミスである可能性がある。この検出ミスは判定対象検出システムにおける温度情報の異常判定結果に支障をきたすため、判定対象検出システム600は、サイズが異なる撮像対象があった場合に検出エラーと判定することができる構成を有する。なお、他の撮像対象であっても、撮像対象特有の所定の規則性から外れるものが検出された場合、検出エラーとして判定することができ、このように撮像対象が太陽光発電パネルでないものでもこの実施形態の一例に含まれる。
(判定対象検出システム600)
図22に示すように第6実施形態の判定対象検出システム600は、位置情報受信部610、画像受信部620、特定部630、温度情報取得部640および制御部Cと記憶部Sの他、第1の判定部610aを含んで構成される。特定部630は第1実施形態と同様に赤外線画像から太陽光発電パネルを検出する。
図22に示すように第6実施形態の判定対象検出システム600は、位置情報受信部610、画像受信部620、特定部630、温度情報取得部640および制御部Cと記憶部Sの他、第1の判定部610aを含んで構成される。特定部630は第1実施形態と同様に赤外線画像から太陽光発電パネルを検出する。
(第1の判定部610a)
第1実施形態と同様に赤外線画像から撮像対象、例えば太陽光発電パネルが特定される。第1の判定部610aは、特定された複数の太陽光発電パネルにおける所定位置をさらに特定する。例えば図23に示すように特定した各撮像対象の領域における上端縁のいずれかの位置(画像内のY座標、以下「特定位置」とする)を特定する。次に第1の判定部610aは、赤外線画像における画像上の座標におけるY軸方向の長さを算出する。
第1実施形態と同様に赤外線画像から撮像対象、例えば太陽光発電パネルが特定される。第1の判定部610aは、特定された複数の太陽光発電パネルにおける所定位置をさらに特定する。例えば図23に示すように特定した各撮像対象の領域における上端縁のいずれかの位置(画像内のY座標、以下「特定位置」とする)を特定する。次に第1の判定部610aは、赤外線画像における画像上の座標におけるY軸方向の長さを算出する。
この撮像対象のY軸方向の長さとは、X軸方向の中央位置で求めてもよいし、X軸方向の一端側あるいは他端側でもよい。すなわち各撮像対象におけるX軸方向の所定位置におけるY軸方向の長さを算出する。例えば第1の判定部610aは上端(画像における上端)位置の座標と下端の座標の差をY軸方向の長さとして求める。また各撮像対象において、Y軸方向の長さを複数(所定数)算出して平均をとってもよい。この場合、所定数とは最大で、画像におけるX軸方向の画素数の数に相当する分だけ算出することになる。
次に第1の判定部610aは、算出した特徴量または特徴量に基づいて算定された数値と、判定値とを対比する。上記の例においては撮像対象のサイズそのものを示す数値、または当該サイズに基づいて算定された数値と、判定値とを対比する。一例を次に説明する。
第1の判定部610aは、上記のようにして太陽光発電パネルそれぞれのY軸方向の長さを算出した後、複数の太陽光発電パネルにおける当該長さの分散値を算出する。分散値の算出は例えば次式による。
第1の判定部610aは、各検出領域の長さの値から平均値を引いて、個々の長さと平均値の距離(偏差)を求める。また、第1の判定部610aは偏差の二乗平均により分散を求める。その分散値が大きいほど、平均値からの各検出領域の長さの散らばりが大きいということになる。
第1の判定部610aは、各検出領域の長さの値から平均値を引いて、個々の長さと平均値の距離(偏差)を求める。また、第1の判定部610aは偏差の二乗平均により分散を求める。その分散値が大きいほど、平均値からの各検出領域の長さの散らばりが大きいということになる。
また第1の判定部610aは、この分散値と判定値とを対比し、これらが所定の関係にある場合、検出エラーとして判定する。例えば、赤外線画像の1画像に含まれる全ての太陽光発電パネルの長さの分散値を算出し、その分散値と判定値を対比(例:差分を算出)する。この場合、分散値と判定値との差が所定範囲内でなければ第1の判定部610aは、検出エラーと判定するようにしてもよい。つまり、上記長さが長すぎるパネルが検出された場合も、短すぎるパネルが検出された場合のいずれもエラーとして判定されるようになっているということである。
なお、Y軸方向における長さでなく、X軸方向の長さ、検出した撮像対象の面積を判定に利用することも可能である。太陽光発電パネルを配列した太陽光発電施設においては、その発電効率を考慮して太陽光発電パネルを南向きに配置する傾向がある。この場合、発電機器(パワーコントローラー、ケーブル)は、太陽光発電パネル群に対する南北側に配置されないことが多い。同様に樹木等の植物も南北方向に隣接するものは極力除外されることが想定される。つまり、受光面に陰ができないように配慮されるということである。したがって、南北、すなわち赤外線画像におけるY軸方向において、温度のばらつきが抑制されていることになる。以上から、太陽光発電パネルの温度情報を示す赤外線画像においては、Y軸方向における撮像対象の端縁が精度よく検出しやすい。本実施形態はサイズのばらつきが大きいことによって、撮像対象の検出の適否を判定する構成であるため、Y軸方向における長さを利用する例について説明した。矩形の太陽光発電パネルでない他の撮像対象であれば、撮像対象自体、または配置場所の特性に応じて撮像対象におけるどのサイズを利用するか設定すればよい。
また、第1の判定部610aは、撮像画像における標本平均でなく発電所全体における母平均から分散を求めるように構成されていてもよい。その他に、第1の判定部610aは、分散でなく標準偏差を求めるように構成されていてもよい。その場合、判定値は標準偏差に対応した判定値となる。また第1の判定部610aは、平均値を判定値と対比するように構成されていてもよい。その場合、判定値は平均値に対応した判定値となる。また第1の判定部610aは、各撮像対象のサイズ(例えばY軸方向の長さ)そのものと、判定値を対比し、検出エラーの判定をする構成であってもよい。
一例として第1の判定部610aは、検出エラーの判定をした場合、対象とした画像を温度異常の判定対象(障害パネル判定の対象)から除外する。他の例として、第1の判定部610aは検出エラーの判定をした場合、サイズのばらつきが大きい撮像対象のみを除外して温度異常の判定を行うように構成されていてもよい。サイズのばらつきの大きさは、例えば1つの撮像対象におけるY軸方向の長さの算出値と、各撮像対象の長さ平均値との差が所定範囲内であるかにより判定可能である。また標準偏差や分散によって、各撮像対象のサイズのばらつきの大きさが許容範囲内であるか判定することも可能である。
[動作]
図24は、本実施形態における処理の流れを示す図である。以下に、図24を参照しつつ、判定対象検出システム600の処理の流れを、ステップ番号(S061~S067-2)に添って説明する。
図24は、本実施形態における処理の流れを示す図である。以下に、図24を参照しつつ、判定対象検出システム600の処理の流れを、ステップ番号(S061~S067-2)に添って説明する。
(S061)
判定対象検出システム600における位置情報受信部610は、飛行体Dから位置情報を受ける。また画像受信部620は可視光画像および赤外線画像を受ける。
判定対象検出システム600における位置情報受信部610は、飛行体Dから位置情報を受ける。また画像受信部620は可視光画像および赤外線画像を受ける。
(S062)
特定部630は、赤外線画像において太陽光発電パネルを特定する。
特定部630は、赤外線画像において太陽光発電パネルを特定する。
(S063)
第1の判定部610aは、複数の撮像対象それぞれにおける所定のサイズ(例えばY軸方向の長さ)を求める。また第1の判定部610aは、撮像対象のサイズのばらつきを求める。
第1の判定部610aは、複数の撮像対象それぞれにおける所定のサイズ(例えばY軸方向の長さ)を求める。また第1の判定部610aは、撮像対象のサイズのばらつきを求める。
(S064)
第1の判定部610aは、判定値に基づき、S063で求めたサイズのばらつきの大きさを判定する。ばらつきが大きいと判定された場合、S065に進む。ばらつきが大きくないと判定された場合、S065-2に進む。
第1の判定部610aは、判定値に基づき、S063で求めたサイズのばらつきの大きさを判定する。ばらつきが大きいと判定された場合、S065に進む。ばらつきが大きくないと判定された場合、S065-2に進む。
(S065)
S064においてサイズのばらつきが大きいと判定された画像があった場合(S064;Yes)、第1の判定部610aは検出エラーと判定する。さらにその場合、ばらつきが大きいと判定された対象を含む画像を、温度異常の判定対象から除外する。他の例として、第1の判定部610aは、サイズのばらつきが大きい撮像対象のみを除外して、S066の温度異常の判定の対象に当該画像を含めてもよい。温度情報取得部640は、除外されていない撮像対象それぞれについて温度情報を取得する。
S064においてサイズのばらつきが大きいと判定された画像があった場合(S064;Yes)、第1の判定部610aは検出エラーと判定する。さらにその場合、ばらつきが大きいと判定された対象を含む画像を、温度異常の判定対象から除外する。他の例として、第1の判定部610aは、サイズのばらつきが大きい撮像対象のみを除外して、S066の温度異常の判定の対象に当該画像を含めてもよい。温度情報取得部640は、除外されていない撮像対象それぞれについて温度情報を取得する。
(S066)
制御部Cは、除外した画像以外の赤外線画像(または検出エラーの撮像対象以外の検出領域)に基づき、パネルごと(所定数パネル群ごと)に障害パネルを温度の差とパターンにより、検出する。
制御部Cは、除外した画像以外の赤外線画像(または検出エラーの撮像対象以外の検出領域)に基づき、パネルごと(所定数パネル群ごと)に障害パネルを温度の差とパターンにより、検出する。
(S067)
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
(S065-2)
S064において全ての画像においてサイズのばらつきが大きくない(例えば所定範囲内である)と判定された場合(S064;No)、第1の判定部610aは検出エラーが無いものと判定する。またこの場合、S064において検出の適否の判定対象とした画像を全て温度異常の判定対象として含める。温度情報取得部640は、撮像対象それぞれについて温度情報を取得する。
S064において全ての画像においてサイズのばらつきが大きくない(例えば所定範囲内である)と判定された場合(S064;No)、第1の判定部610aは検出エラーが無いものと判定する。またこの場合、S064において検出の適否の判定対象とした画像を全て温度異常の判定対象として含める。温度情報取得部640は、撮像対象それぞれについて温度情報を取得する。
(S066-2)
制御部Cは、第1の判定部610aにより温度異常の判定対象とした全ての赤外線画像(判定した全ての検出領域)に基づき、パネルごと(所定数パネル群ごと)に障害パネルを温度の差とパターンにより、検出する。
制御部Cは、第1の判定部610aにより温度異常の判定対象とした全ての赤外線画像(判定した全ての検出領域)に基づき、パネルごと(所定数パネル群ごと)に障害パネルを温度の差とパターンにより、検出する。
(S067-2)
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
[効果]
本実施形態によれば、赤外線画像の撮像対象の異常判定(障害パネル判定)のミスが低減される。その理由の1つとして赤外線画像内の撮像対象と、それ以外のものを識別し、撮影対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
本実施形態によれば、赤外線画像の撮像対象の異常判定(障害パネル判定)のミスが低減される。その理由の1つとして赤外線画像内の撮像対象と、それ以外のものを識別し、撮影対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
さらに、本実施形態によれば撮像対象の検出ミスをサイズのばらつきに基づき判定し、ばらつきが大きい場合には、適宜当該画像またはエラーと判定された撮像対象を、温度の異常判定対象から除外する。したがって、障害パネルの特定ミスを低減可能である。
[第7実施形態]
第7実施形態にかかる判定対象検出システム700について図25~図27を参照して説明する。以下の説明において、第7実施形態と重複する説明は割愛する。
第7実施形態にかかる判定対象検出システム700について図25~図27を参照して説明する。以下の説明において、第7実施形態と重複する説明は割愛する。
(概要)
第4実施形態と同様に、第7実施形態においても赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定(障害パネル判定)に用いる情報から除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ(アスファルト舗装、水、植物、発電機器(パワーコントローラー、ケーブル)等)が含まれる可能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。
第4実施形態と同様に、第7実施形態においても赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定(障害パネル判定)に用いる情報から除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ(アスファルト舗装、水、植物、発電機器(パワーコントローラー、ケーブル)等)が含まれる可能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。
第7実施形態の判定対象検出システム700はさらに、第4実施形態での太陽光発電パネル等の撮像対象の検出処理のミスを低減するため、撮像対象を検出した後、撮像対象の整列位置のずれがあるか判定を行う。例えば撮像対象の外縁の境界部分または各撮像対象の領域の検出において誤検出があるか判定を行う。第4実施形態の一例では、ディープラーニング技術を用いた推論モデル、パターンマッチング等の推論技術を利用して撮像対象の物体的特徴に基づく物体検知を行っている。これは太陽光発電パネルの場合であれば例えばその形態的特徴(外縁が矩形等)に基づき、撮像対象の領域を推論するものである。しかし、赤外線画像において撮影対象の外縁は明確に描画されない場合がある。例えば図26に示すように、矩形領域を推論しても、検出した矩形領域が実際の撮像対象の位置とずれること、あるいはこの検出領域が実際の撮像対象の領域の範囲から部分的に突出(X軸方向やY軸方向等;図23参照)することがある。そのため、第7実施形態においては、撮像対象特有の所定の配列の規則性を利用し、規則性からずれたものがあるかについて判定する。例えば画像から特定した複数の撮像対象それぞれにおける所定位置をさらに特定し、その特定した位置の、配列規則からのずれ量を算出する。ずれ量が大きければ、検出エラーの判定を行う。これにより、撮像対象の検出ミスの低減を図る。
例えば太陽光発電パネルの場合は、その受光面、太陽光照射面等の面積や形状(矩形等)が概ね等しく形成され、なおかつそれらが規則的に行列方向に、二次元的に配列される傾向がある。したがって、複数の太陽光発電パネルそれぞれの外縁は、行方向にも列方向にも整列されていることが想定される。
この前提を利用して、赤外線画像から、Y軸方向における両端縁、X軸方向における両端縁、角部、受光面の中心位置等の特徴位置が、所定の方向において整列しているか、ずれているかを判定することで検出エラーを判定することが可能である。なお、所定の方向とは例えば、Y軸方向もしくはX軸方向、または、Y軸方向およびX軸方向に対して所定角度傾斜した方向である。
なお、他の撮像対象であっても、撮像対象特有の所定の規則性、例えば同心円状に配列される場合や、規則的な波形状に配列される場合において、その配列形状から外れるものが検出された場合、検出エラーとして判定することができ、このように撮像対象が太陽光発電パネルでないものでもこの実施形態の一例に含まれる。
(判定対象検出システム700)
図25に示すように第7実施形態の判定対象検出システム700は、位置情報受信部710、画像受信部720、特定部730、温度情報取得部740および制御部Cと記憶部Sの他、第2の判定部710aを含んで構成される。特定部730は第4施形態と同様に赤外線画像から太陽光発電パネルを検出する。
図25に示すように第7実施形態の判定対象検出システム700は、位置情報受信部710、画像受信部720、特定部730、温度情報取得部740および制御部Cと記憶部Sの他、第2の判定部710aを含んで構成される。特定部730は第4施形態と同様に赤外線画像から太陽光発電パネルを検出する。
(第2の判定部710a)
第1実施形態と同様に赤外線画像から撮像対象、例えば太陽光発電パネルが特定される。第2の判定部710aは、特定された複数の太陽光発電パネルにおける所定位置をさらに特定する。例えば図26に示すように第2の判定部710aは、特定部730により特定された各撮像対象の領域における上端縁のいずれかの位置(画像内のY座標、以下「Ymin」または「Yminn」とする)を特定する。次に第2の判定部710aは、当該領域における下端縁のいずれかの位置(画像内のY座標、以下「Ymax」または「Ymaxn」とする)を特定する。
第1実施形態と同様に赤外線画像から撮像対象、例えば太陽光発電パネルが特定される。第2の判定部710aは、特定された複数の太陽光発電パネルにおける所定位置をさらに特定する。例えば図26に示すように第2の判定部710aは、特定部730により特定された各撮像対象の領域における上端縁のいずれかの位置(画像内のY座標、以下「Ymin」または「Yminn」とする)を特定する。次に第2の判定部710aは、当該領域における下端縁のいずれかの位置(画像内のY座標、以下「Ymax」または「Ymaxn」とする)を特定する。
上記に限らず、第2の判定部710aは特定した行方向に対し、整列後の次行である各撮像対象Y´minnのばらつきと、Y´maxnのばらつきとを求めてもよい(Y´minnおよびY´maxnについては図26参照)。この分散値の算出は例えば次式による。
また第2の判定部710aは、この分散値と判定値とを対比し、これらが所定の関係にある場合、検出エラーとして判定する。例えば、所定の配列方向(行方向等)に含まれる全ての太陽光発電パネルのY座標の分散値を算出し、その分散値と判定値を対比(例:差分を算出)する。この場合、分散値と判定値との差が所定範囲内でなければ第2の判定部710aは、検出エラーと判定するようにしてもよい。つまり、上記Ymin1~Yminn(上端縁)、Ymax1~Ymaxn(下端縁)のうち、整列位置が許容範囲を超えているパネルが検出されたとき、エラーとして判定されるようになっている。
なお、Y座標でなく、X座標を判定に利用することも可能である。本実施形態でY座標を利用した整列位置のばらつきの例を説明している理由は、第6実施形態で説明したように、太陽光発電パネルの温度情報を示す赤外線画像においては、南北方向における撮像対象の端縁(上端/下端,Y座標)が精度よく検出しやすいためである。ただし矩形の太陽光発電パネルでない他の撮像対象であれば、撮像対象自体、または配置場所の特性に応じて撮像対象におけるどの位置(特徴位置(特定しやすい位置))を利用するか設定すればよい。
また、第2の判定部710aは、分散でなく標準偏差を求めるように構成されていてもよい。その場合、判定値は標準偏差に対応した判定値となる。
一例として第2の判定部710aは、検出エラーの判定をした場合、対象とした画像を温度異常の判定対象から除外する。他の例として、第2の判定部710aは検出エラーの判定をした場合、配列規則からのずれ量のばらつきが大きい撮像対象のみを除外して温度異常の判定を行うように構成されていてもよい。配列規則からのずれ量のばらつきの大きさは、例えば1つの撮像対象におけるY座標値と、各撮像対象のY座標の平均値との差が所定範囲内であるかにより判定可能である。また標準偏差や分散によって、各撮像対象における配列規則からのずれ量のばらつきの大きさが許容範囲内であるか判定することも可能である。
[動作]
図27は、本実施形態における処理の流れを示す図である。以下に、図27を参照しつつ、判定対象検出システム700の処理の流れを、ステップ番号(S071~S077-2)に添って説明する。
図27は、本実施形態における処理の流れを示す図である。以下に、図27を参照しつつ、判定対象検出システム700の処理の流れを、ステップ番号(S071~S077-2)に添って説明する。
(S071)
判定対象検出システム700における位置情報受信部710は、飛行体Dから位置情報を受ける。また画像受信部720は可視光画像および赤外線画像を受ける。
判定対象検出システム700における位置情報受信部710は、飛行体Dから位置情報を受ける。また画像受信部720は可視光画像および赤外線画像を受ける。
(S072)
特定部730は、赤外線画像において太陽光発電パネルを特定する。
特定部730は、赤外線画像において太陽光発電パネルを特定する。
(S073)
第2の判定部710aは、複数の撮像対象それぞれにおける上端縁と下端縁のY座標を特定する。また第2の判定部710aは、複数の撮像対象のこれらY座標のばらつきを求める。
第2の判定部710aは、複数の撮像対象それぞれにおける上端縁と下端縁のY座標を特定する。また第2の判定部710aは、複数の撮像対象のこれらY座標のばらつきを求める。
(S074)
第2の判定部710aは、判定値に基づき、S073で求めたY座標のばらつきの大きさを判定する。ばらつきが大きいと判定された場合、S075に進む。ばらつきが大きくないと判定された場合、S075-2に進む。
第2の判定部710aは、判定値に基づき、S073で求めたY座標のばらつきの大きさを判定する。ばらつきが大きいと判定された場合、S075に進む。ばらつきが大きくないと判定された場合、S075-2に進む。
(S075)
S074においてY座標のばらつき(例:整列分散)が大きいと判定された画像があった場合(S074;Yes)、第2の判定部710aは検出エラーと判定する。さらにその場合、ばらつきが大きいと判定された対象の画像を、温度異常の判定対象から除外する。他の例として、第2の判定部710aは、Y座標のばらつきが大きい撮像対象のみを除外して、S076の温度異常の判定の対象に当該画像を含めてもよい。温度情報取得部740は、除外されていない撮像対象それぞれについて温度情報を取得する。
S074においてY座標のばらつき(例:整列分散)が大きいと判定された画像があった場合(S074;Yes)、第2の判定部710aは検出エラーと判定する。さらにその場合、ばらつきが大きいと判定された対象の画像を、温度異常の判定対象から除外する。他の例として、第2の判定部710aは、Y座標のばらつきが大きい撮像対象のみを除外して、S076の温度異常の判定の対象に当該画像を含めてもよい。温度情報取得部740は、除外されていない撮像対象それぞれについて温度情報を取得する。
(S076)
制御部Cは、除外した画像以外の赤外線画像(または検出エラーの撮像対象以外の検出領域)に基づき、パネルごと(所定数パネル群ごと)に障害パネルを温度の差とパターンにより、検出する。
制御部Cは、除外した画像以外の赤外線画像(または検出エラーの撮像対象以外の検出領域)に基づき、パネルごと(所定数パネル群ごと)に障害パネルを温度の差とパターンにより、検出する。
(S077)
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
(S075-2)
S074において全ての画像においてY座標のばらつきが大きくない(例えば所定範囲内である)と判定された場合(S074;No)、第2の判定部710aは検出エラーが無いものと判定する。またこの場合、S074において検出の適否の判定対象とした画像を全て温度異常の判定対象として含める。温度情報取得部740は、撮像対象それぞれについて温度情報を取得する。
S074において全ての画像においてY座標のばらつきが大きくない(例えば所定範囲内である)と判定された場合(S074;No)、第2の判定部710aは検出エラーが無いものと判定する。またこの場合、S074において検出の適否の判定対象とした画像を全て温度異常の判定対象として含める。温度情報取得部740は、撮像対象それぞれについて温度情報を取得する。
(S076-2)
制御部Cは、第2の判定部710aにより温度異常の判定対象とした全ての赤外線画像(判定した全ての検出領域)に基づき、パネルごと(所定数パネル群ごと)に障害パネルを温度の差とパターンにより、検出する。
制御部Cは、第2の判定部710aにより温度異常の判定対象とした全ての赤外線画像(判定した全ての検出領域)に基づき、パネルごと(所定数パネル群ごと)に障害パネルを温度の差とパターンにより、検出する。
(S077-2)
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
[効果]
本実施形態によれば、赤外線画像の撮像対象の異常判定(障害パネル判定)のミスが低減される。その理由の1つとして赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
本実施形態によれば、赤外線画像の撮像対象の異常判定(障害パネル判定)のミスが低減される。その理由の1つとして赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
さらに、本実施形態によれば撮像対象の検出ミスを、撮像対象が所定の配列の規則性から外れたずれ量に基づき判定し、ずれ量が大きい場合には、適宜当該画像またはエラーと判定された撮像対象を、温度の異常判定対象から除外する。したがって、障害パネルの特定ミスを低減可能である。
[第8実施形態]
第8実施形態にかかる判定対象検出システム800について図28~図30を参照して説明する。以下の説明において、第4実施形態と重複する説明は割愛する。
第8実施形態にかかる判定対象検出システム800について図28~図30を参照して説明する。以下の説明において、第4実施形態と重複する説明は割愛する。
(概要)
第4実施形態と同様に、第8実施形態においても赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定(障害パネル判定)に用いる情報から除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ(アスファルト舗装、水、植物、発電機器(パワーコントローラー、ケーブル)等)が含まれる可能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。
第4実施形態と同様に、第8実施形態においても赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定(障害パネル判定)に用いる情報から除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ(アスファルト舗装、水、植物、発電機器(パワーコントローラー、ケーブル)等)が含まれる可能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。
第8実施形態の判定対象検出システム800はさらに、第4実施形態での太陽光発電パネル等の撮像対象の検出処理のミスを低減するため、撮像対象を検出した後、検出した撮像対象の配列方向にしたがい順次撮像対象の所定位置を特定する。さらに判定対象検出システム800は、判定対象である撮像対象または撮像対象群と、直前に所定位置を特定した対象との重畳の程度に応じて、検出エラーを判定する。例えば撮像対象の中心位置が、隣接する撮像対象の領域内に位置する場合、検出ノイズとして判定する。さらに検出ノイズとして判定された撮像対象(検出領域)を、障害パネル判定から除外する。
(判定対象検出システム800)
図28に示すように第8実施形態の判定対象検出システム800は、位置情報受信部810、画像受信部820、特定部830、温度情報取得部840および制御部Cと記憶部Sの他、第3の判定部810aを含んで構成される。特定部830は第1実施形態と同様に赤外線画像から太陽光発電パネルを検出する。
図28に示すように第8実施形態の判定対象検出システム800は、位置情報受信部810、画像受信部820、特定部830、温度情報取得部840および制御部Cと記憶部Sの他、第3の判定部810aを含んで構成される。特定部830は第1実施形態と同様に赤外線画像から太陽光発電パネルを検出する。
(第3の判定部810a)
第4実施形態と同様に赤外線画像から撮像対象、例えば太陽光発電パネルが特定される。第3の判定部810aは、特定された複数の太陽光発電パネルにおける所定位置をさらに特定する。例えば図29に示すように第3の判定部810aは、特定部830により特定された各撮像対象の領域における左端縁のいずれかの位置(画像内のX座標、以下「Xmin」とする)を特定する。次に第3の判定部810aは、当該領域における右端縁のいずれかの位置(画像内のX座標、以下「Xmax」とする)を特定する。さらに第3の判定部810aは、各撮像対象の領域における中心位置(画像内のX座標;以下「CenterX」とする。)を特定する。
第4実施形態と同様に赤外線画像から撮像対象、例えば太陽光発電パネルが特定される。第3の判定部810aは、特定された複数の太陽光発電パネルにおける所定位置をさらに特定する。例えば図29に示すように第3の判定部810aは、特定部830により特定された各撮像対象の領域における左端縁のいずれかの位置(画像内のX座標、以下「Xmin」とする)を特定する。次に第3の判定部810aは、当該領域における右端縁のいずれかの位置(画像内のX座標、以下「Xmax」とする)を特定する。さらに第3の判定部810aは、各撮像対象の領域における中心位置(画像内のX座標;以下「CenterX」とする。)を特定する。
次に第3の判定部810aは、特定した各撮像対象についてX軸方向の中心位置CenterXが隣接する撮像対象の領域内に含まれるか判定する。例えば図29に示すようにCenterXが隣接する領域のX軸方向の一端(例えばX軸方向における左端位置;「Prev Xmin」とする)と、他端(例えばX軸方向における右端位置;「Prev Xmax」とする)との間に位置する場合、第3の判定部810aが、判定対象の領域を、隣接する領域内に含まれると判定するように構成されていてもよい。
なお、本実施形態の説明において、判定しようとする撮像対象の領域の中心位置を用いているのは、第6実施形態で説明したように太陽光発電パネルを一例として挙げているためである。すなわち太陽光発電施設においては、X軸方向の端側にある太陽光発電パネルにおいて陰ができる可能性が全パネルに対して相対的に高くなっている。したがって、相対的にはY軸方向よりX軸方向の端縁の検出において技術的困難性が高いといえる。よって、例えば判定しようとする撮像対象の領域のX軸方向の端縁が「Prev Xmin」と「Prev Xmax」との間に位置するときにエラーと判定するとすれば、エラー判定の確率が高くなり、赤外線画像によってはエラー判定が頻発する可能性がある。したがって、隣接する領域と判定領域の重複の程度が例えば30%以上であることを指標とすることや、本実施形態のように中心位置を基準とすることにより、エラー判定の頻発を防ぐことができる。
このような目的からすれば、本実施形態において、判定しようとする撮像対象の領域の基準位置を中心位置とする構成に限られない。例えば、基準位置は、X軸方向における対象領域の一端および他端の双方から、対象領域の全長の30%にあたる長さ以上離れた任意の位置としてもよい。
このような目的からすれば、本実施形態において、判定しようとする撮像対象の領域の基準位置を中心位置とする構成に限られない。例えば、基準位置は、X軸方向における対象領域の一端および他端の双方から、対象領域の全長の30%にあたる長さ以上離れた任意の位置としてもよい。
上記のように重複の程度を比率、割合で算定する場合(「30%以上の重複」等)は、両者の双方に属する面積と、各判定対象領域の面積とを対比する方法が一例である。あるいは「Prev Xmin」から判定対象領域の「Xmin」までの長さと、判定対象領域のX軸方向の長さの比率により重複の程度を判定することも可能である。
なお、X軸方向における重畳の程度でなく、Y軸方向を基準とする事も可能である。例えば第6実施形態や第7実施形態と本実施形態とを組み合わせるにあたり、第6実施形態や第7実施形態で、各撮像対象の領域のX軸方向のずれや突出を基準とする場合、本実施形態の位置ずれにおいてはY軸方向を基準とすることが考えられる。X軸方向とY軸方向の双方で検出エラーを判定することで、より検出エラーによる障害パネル判定の判定ミスを提言することが可能である。
一例として第3の判定部810aは、検出エラーの判定をした場合、対象とした画像を温度異常の判定対象(障害パネル判定の対象)から除外する。他の例として、第3の判定部810aは検出エラーの判定をした場合、位置ずれが大きい撮像対象のみを除外して温度異常の判定を行うように構成されていてもよい。位置ずれが大きさの基準は、上記判定基準と同じであってもよく、変更してもよい。
[動作]
図30は、本実施形態における処理の流れを示す図である。以下に、図30を参照しつつ、判定対象検出システム800の処理の流れを、ステップ番号(S081~S087-2)に添って説明する。
図30は、本実施形態における処理の流れを示す図である。以下に、図30を参照しつつ、判定対象検出システム800の処理の流れを、ステップ番号(S081~S087-2)に添って説明する。
(S081)
判定対象検出システム800における位置情報受信部810は、飛行体Dから位置情報を受ける。また画像受信部820は可視光画像および赤外線画像を受ける。
判定対象検出システム800における位置情報受信部810は、飛行体Dから位置情報を受ける。また画像受信部820は可視光画像および赤外線画像を受ける。
(S082)
特定部830は、赤外線画像において太陽光発電パネルを特定する。
特定部830は、赤外線画像において太陽光発電パネルを特定する。
(S083)
第3の判定部810aは、複数の撮像対象それぞれにおける所定位置のX座標を特定し、それにより隣接する領域との重畳の程度を判定する。例えば第3の判定部810aは、Xmin1~Xminnと、Xmax1~Xmaxnと、CenterX1~CenterXnとを特定する。
第3の判定部810aは、複数の撮像対象それぞれにおける所定位置のX座標を特定し、それにより隣接する領域との重畳の程度を判定する。例えば第3の判定部810aは、Xmin1~Xminnと、Xmax1~Xmaxnと、CenterX1~CenterXnとを特定する。
(S084)
次に第3の判定部810aは、判定対象の領域のCenterXが隣接する撮像対象の領域内に含まれるか判定する。例えば図17に示すようにCenterXnが隣接する領域の「Prev Xmin」と、「Prev Xmax」との間に位置するか判定する。
次に第3の判定部810aは、判定対象の領域のCenterXが隣接する撮像対象の領域内に含まれるか判定する。例えば図17に示すようにCenterXnが隣接する領域の「Prev Xmin」と、「Prev Xmax」との間に位置するか判定する。
(S085)
S084において判定対象の領域のCenterXが隣接する撮像対象の領域内に含まれると判定された場合(S084;Yes)、第3の判定部810aはその領域を検出エラーと判定する。さらにその場合、第3の判定部810aは、隣接領域に含まれると判定された対象の画像自体を、温度異常の判定対象(障害パネル判定)から除外する。他の例として、第3の判定部810aは、該当の撮像対象領域のみを除外して、S086の温度異常の判定(障害パネルの判定)の対象に当該画像を含めてもよい。温度情報取得部840は、除外されていない撮像対象それぞれについて温度情報を取得する。
S084において判定対象の領域のCenterXが隣接する撮像対象の領域内に含まれると判定された場合(S084;Yes)、第3の判定部810aはその領域を検出エラーと判定する。さらにその場合、第3の判定部810aは、隣接領域に含まれると判定された対象の画像自体を、温度異常の判定対象(障害パネル判定)から除外する。他の例として、第3の判定部810aは、該当の撮像対象領域のみを除外して、S086の温度異常の判定(障害パネルの判定)の対象に当該画像を含めてもよい。温度情報取得部840は、除外されていない撮像対象それぞれについて温度情報を取得する。
(S086)
制御部Cは、除外した画像以外の赤外線画像(または検出エラーの撮像対象以外の検出領域)に基づき、パネルごと(所定数パネル群ごと)に障害パネルを温度の差とパターンにより、検出する。
制御部Cは、除外した画像以外の赤外線画像(または検出エラーの撮像対象以外の検出領域)に基づき、パネルごと(所定数パネル群ごと)に障害パネルを温度の差とパターンにより、検出する。
(S087)
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
(S085-2)
S084において全ての画像において判定領域のCenterXが隣接領域内に含まれないと判定された場合(S084;No)、第3の判定部810aは検出エラーが無いものと判定する。またこの場合、S084において検出の適否の判定対象とした全ての画像(判定した全ての検出領域)を温度異常の判定対象として含める。温度情報取得部840は、撮像対象それぞれについて温度情報を取得する。
S084において全ての画像において判定領域のCenterXが隣接領域内に含まれないと判定された場合(S084;No)、第3の判定部810aは検出エラーが無いものと判定する。またこの場合、S084において検出の適否の判定対象とした全ての画像(判定した全ての検出領域)を温度異常の判定対象として含める。温度情報取得部840は、撮像対象それぞれについて温度情報を取得する。
(S086-2)
制御部Cは、第3の判定部810aにより温度異常の判定対象とした全ての赤外線画像に基づき、パネルごと(所定数パネル群ごと)障害パネルを温度の差とパターンにより、検出する。
制御部Cは、第3の判定部810aにより温度異常の判定対象とした全ての赤外線画像に基づき、パネルごと(所定数パネル群ごと)障害パネルを温度の差とパターンにより、検出する。
(S087-2)
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
[効果]
本実施形態によれば、赤外線画像の撮像対象の異常判定(障害パネル判定)のミスが低減される。その理由の1つとして赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
本実施形態によれば、赤外線画像の撮像対象の異常判定(障害パネル判定)のミスが低減される。その理由の1つとして赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
さらに、本実施形態によれば撮像対象の検出ミスを、撮像対象領域と隣接領域との重畳の程度に基づき判定し、重畳の程度が大きい場合には、適宜当該画像またはエラーと判定された撮像対象を、温度の異常判定対象から除外する。したがって、障害パネルの特定ミスを低減可能である。
[第9実施形態]
第9実施形態にかかる判定対象検出システム900について図31~図34を参照して説明する。以下の説明において、第4実施形態と重複する説明は割愛する。
第9実施形態にかかる判定対象検出システム900について図31~図34を参照して説明する。以下の説明において、第4実施形態と重複する説明は割愛する。
(概要)
第4実施形態と同様に、第9実施形態においても赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定(障害パネル判定)に用いる情報から除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ(アスファルト舗装、水、植物、発電機器(パワーコントローラー、ケーブル)等)が含まれる可能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。
第4実施形態と同様に、第9実施形態においても赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定(障害パネル判定)に用いる情報から除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ(アスファルト舗装、水、植物、発電機器(パワーコントローラー、ケーブル)等)が含まれる可能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。
第9実施形態の判定対象検出システム900はさらに、第4実施形態での太陽光発電パネル等の撮像対象の検出処理のミスを低減するため、撮像対象を検出した後、検出した撮像対象の配列方向にしたがい順次撮像対象の所定位置を特定する。さらに判定対象検出システム900は、撮像対象の配列の規則性にしたがって、赤外線画像において特定された複数の撮像対象を1まとめに集合させる(以下、集合体を「クラスター」とする)。また本実施形態においては、所定位置のクラスターに含まれるはずの撮像対象の所定数が記憶されている。判定対象検出システム900は、1つのクラスターの検出数が所定数を満たすかに基づき、検出エラーを判定する。
さらに判定対象検出システム900は、隣接するクラスター間の距離に基づきさらに検出エラーの判定を追加して実行するように構成されていてもよい(下記変形例)。さらに判定対象検出システム900は、検出エラーとして判定された撮像対象(検出領域)を、障害パネル判定から除外する。
(判定対象検出システム900)
図31に示すように第9実施形態の判定対象検出システム900は、位置情報受信部910、画像受信部920、特定部930、温度情報取得部940および制御部Cと記憶部Sの他、第4の判定部910aを含んで構成される。特定部930は第1実施形態と同様に赤外線画像から太陽光発電パネルを検出する。
図31に示すように第9実施形態の判定対象検出システム900は、位置情報受信部910、画像受信部920、特定部930、温度情報取得部940および制御部Cと記憶部Sの他、第4の判定部910aを含んで構成される。特定部930は第1実施形態と同様に赤外線画像から太陽光発電パネルを検出する。
(第4の判定部910a)
第1実施形態と同様に赤外線画像から撮像対象、例えば太陽光発電パネルが特定される。第4の判定部910aは、特定された複数の太陽光発電パネルにおける所定位置をさらに特定する。例えば撮像対象が2次元的に配列されている場合がある。この場合、図32に示すように赤外線画像においてX軸方向に整列されて並ぶ撮像対象を1つのクラスターとしてまとめることが可能である(ClusterC~ClusterF参照)。
第1実施形態と同様に赤外線画像から撮像対象、例えば太陽光発電パネルが特定される。第4の判定部910aは、特定された複数の太陽光発電パネルにおける所定位置をさらに特定する。例えば撮像対象が2次元的に配列されている場合がある。この場合、図32に示すように赤外線画像においてX軸方向に整列されて並ぶ撮像対象を1つのクラスターとしてまとめることが可能である(ClusterC~ClusterF参照)。
一例として第4の判定部910aは、Y軸方向における上端縁および下端縁、または上端縁側の角部および下端縁側の角部等、撮像対象のYminとYmaxを特定する。さらに第4の判定部910aは、X軸方向に並ぶ撮像対象を1つのクラスターに含めるように、検出された複数の撮像対象において、YminとYmaxにおけるY座標が近いものを求める。一例として、第4の判定部910aは、1つの検出領域のYminの座標を基準に、他の検出領域のYminと対比し、当該他の検出領域のうちY座標として所定距離内あるものを特定する。
第4の判定部910aは同様に、1つの検出領域のYmaxの座標を基準に、他の検出領域のYmaxと対比し、当該他の検出領域のうちY座標として所定距離内あるものを特定する。このようにして第4の判定部910aは、上記1つの検出領域と特定した他の検出領域とを1つのクラスターに属するものとして対応づける。このようにして第4の判定部910aは、赤外線画像においてクラスターおよびクラスター内の検出領域を特定していく。
上記クラスターの形成は、YminとYmaxにおけるY座標が近いものを求めるものであるが、これは一例であって、本実施形態はこれに限られない。例えば、第4の判定部910aは、Ymin、Ymaxの少なくともいずれか一方、またはいずれかのみにおけるY座標が近いものを求めてクラスターを形成してもよい。また他の例として撮像対象の中心点を基準にそのY座標が近いものを求めてクラスターを形成してもよい。同様に、多角形の撮像対象である場合は角部のいずれか、あるいは角部のうち任意の数点であってもよい。
次に第4の判定部910aは、各クラスター(図32;ClusterA~ClusterF参照)に含まれる検出領域の数を求める。またこのクラスター内の領域検出数と、記憶されている所定数とを対比する。すなわち、判定対象検出システム900は、当該記憶された1つのクラスターに含まれるべき所定数と、実際にクラスターに含まれた撮像対象の検出数とを対比する。この所定数は、撮像対象や配置場所の特性、配列の規則性から導かれ、例えばユーザーにより設定されてもよい。
第4の判定部910aは、クラスター内の検出数が所定数に満たない場合、当該クラスターに属する検出領域をすべて検出エラーとして判定する。その場合、一例として第4の判定部910aは、対象とした画像を温度異常の判定対象から除外する。他の例として、第4の判定部910aは、判定にかかるクラスターに属する検出領域を除外して温度異常の判定を行うように構成されていてもよい。なお、上記に限らず、Y軸方向に並ぶ撮像対象を1つのクラスターにまとめる構成であってもよい。
[変形例]
次に、第9実施形態の変形例について説明する。この変形例においても第9実施形態のように複数の撮像対象を1つのクラスターとしてまとめる処理を実行する。ただし本変形例では、第4の判定部910aは、クラスター内の各撮像対象におけるYminの平均値、Ymaxの平均値を求め、これを当該クラスターのYmin、Ymaxとする。なお、クラスターのYmin、Ymaxは属する各撮像対象のYmin、Ymaxの中央値であってもよい。さらに第4の判定部910aは、Y軸方向における直近のクラスターまでの距離の分散値を求める。また求めた分散値と判定値とを対比し、両者が所定の関係にある場合に検出エラーとして判定する。分散値の算出は例えば次式による。
次に、第9実施形態の変形例について説明する。この変形例においても第9実施形態のように複数の撮像対象を1つのクラスターとしてまとめる処理を実行する。ただし本変形例では、第4の判定部910aは、クラスター内の各撮像対象におけるYminの平均値、Ymaxの平均値を求め、これを当該クラスターのYmin、Ymaxとする。なお、クラスターのYmin、Ymaxは属する各撮像対象のYmin、Ymaxの中央値であってもよい。さらに第4の判定部910aは、Y軸方向における直近のクラスターまでの距離の分散値を求める。また求めた分散値と判定値とを対比し、両者が所定の関係にある場合に検出エラーとして判定する。分散値の算出は例えば次式による。
第4の判定部910aは、判定対象のクラスターと直近のクラスターまでの距離から、全クラスターそれぞれにおける直近の他のクラスターまでの距離の平均値の差を求め、偏差の二乗平均により分散を求める。その分散値が大きいほど、平均値からの各データの散らばりが大きいということになる。
また、本変形例においてはクラスター間の間隔のばらつきを判定するための判定値を図示しない記憶手段に記憶している。第4の判定部910aは、上記分散値と判定値とを対比し、これらが所定の関係にある場合、検出エラーとして判定する。例えば、判定対象のクラスターのYminと上方のクラスターのYmaxとの間隔の分散値を算出し、その分散値と判定値を対比(例:差分を算出)する。同様に判定対象のクラスターのYmaxと上方のクラスターのYminとの間隔の分散値を算出し、その分散値と判定値を対比する。この場合、分散値と判定値との差が所定範囲内でなければ第4の判定部910aは、検出エラーと判定するようにしてもよい。図33の例においては、撮像対象が2次元配列されており、撮像対象の配置効率からしてもクラスター間には大きな間隔が設けられない。よって、判定対象のクラスターの上辺側および下辺側の双方において、所定間隔より長い間隔が空いていれば、そのクラスターに属する検出領域はすべて検出ノイズであるとしてよい。
上記クラスター間の間隔のばらつきの判定は、判定対象のYminと上方のクラスターのYmaxとの間隔についてのものであった。しかしながらこれは一例であって、本実施形態はこれに限られない。例えば、第4の判定部910aは、判定対象のYminと上方(または下方)のクラスターのYminとの間隔についてのばらつきを判定してもよい。また例えば、第4の判定部910aは、判定対象のYmaxと上方(または下方)のクラスターのYmaxとの間隔についてのばらつきを判定してもよい。
太陽光発電パネルの例においては、上記のようなX軸方向に並ぶクラスターであれば、これらをY方向に隣接して配列したアレイ構成となる傾向がある。この場合、判定対象のクラスターのYminと、上方に位置するクラスターのYmaxの差は理論最適値では0となる。分散で比較する上記本実施形態の一例においては、基準となる平均値の上振れも下振れも検出ノイズとして判断されやすい。よって、このような検出ノイズの大きさは、単一方向である方がそのノイズは検出されやすいといえる。
すなわち、平均値からマイナス方向に下振れするケースは、クラスターが重なっている状態といえるが、このケースは、第7実施形態のような技術にて除去可能である。つまり、検出ノイズは上振れ(クラスター間に間隔が生じている場合)に集約すると、ノイズの発生を低減しやすくなる。よって、本実施形態の説明を判定対象のYminと上方のクラスターのYmaxとの間隔についてのものを中心に説明した。
一例として第4の判定部910aは、検出エラーの判定をした場合、対象とした画像を温度異常の判定対象から除外する。他の例として、第4の判定部910aは検出エラーの判定をした場合、判定にかかるクラスターに属する検出領域を除外して温度異常の判定を行うように構成されていてもよい。なお、上記に限らず、Y軸方向に並ぶ撮像対象を1つのクラスターにまとめる構成であってもよい。
[動作]
図34は、本実施形態(クラスター内検出数による判定)における処理の流れを示す図である。以下に、図34を参照しつつ、判定対象検出システム900の処理の流れを、ステップ番号(S091~S097-2)に添って説明する。
図34は、本実施形態(クラスター内検出数による判定)における処理の流れを示す図である。以下に、図34を参照しつつ、判定対象検出システム900の処理の流れを、ステップ番号(S091~S097-2)に添って説明する。
(S091)
判定対象検出システム900における位置情報受信部910は、飛行体Dから位置情報を受ける。また画像受信部920は可視光画像および赤外線画像を受ける。
判定対象検出システム900における位置情報受信部910は、飛行体Dから位置情報を受ける。また画像受信部920は可視光画像および赤外線画像を受ける。
(S092)
特定部930は、赤外線画像において太陽光発電パネルを特定する。
特定部930は、赤外線画像において太陽光発電パネルを特定する。
(S093)
第4の判定部910aは、撮像対象の配列規則に基づき、その規則性にしたがった一部の配列に含まれる複数の撮像対象を1つのクラスターとしてまとめる。複数の撮像対象が2次元的に配列される場合、図32,33に示すように赤外線画像においてX軸方向に整列されて並ぶ撮像対象を1つのクラスターとしてまとめる。例えば赤外線画像の各撮像対象における所定位置(例:YminとYmax)を特定する。また第4の判定部910aは、特定した所定位置、例えばY座標を基準として所定距離内にある複数の領域を1つのクラスターとしてまとめる
第4の判定部910aは、撮像対象の配列規則に基づき、その規則性にしたがった一部の配列に含まれる複数の撮像対象を1つのクラスターとしてまとめる。複数の撮像対象が2次元的に配列される場合、図32,33に示すように赤外線画像においてX軸方向に整列されて並ぶ撮像対象を1つのクラスターとしてまとめる。例えば赤外線画像の各撮像対象における所定位置(例:YminとYmax)を特定する。また第4の判定部910aは、特定した所定位置、例えばY座標を基準として所定距離内にある複数の領域を1つのクラスターとしてまとめる
(S094)
第4の判定部910aは、各クラスター(図32;ClusterA~ClusterF参照)に含まれる検出領域の数を求め、記憶されている所定数と対比する。第4の判定部910aは、対比の結果、検出領域数が所定数を満たすか判定する。
第4の判定部910aは、各クラスター(図32;ClusterA~ClusterF参照)に含まれる検出領域の数を求め、記憶されている所定数と対比する。第4の判定部910aは、対比の結果、検出領域数が所定数を満たすか判定する。
(S095)
S94の対比の結果、クラスター内の検出領域数が所定数に満たない場合(S094;Yes)、第4の判定部910aは当該クラスターに属する領域を検出エラーと判定する。さらにその場合、第4の判定部910aは、対象とした画像を温度異常の判定対象から除外する。他の例として、判定にかかるクラスターに属する各検出領域を、温度異常の判定対象(障害パネル判定)のみを除外して、S096の温度異常の判定の対象に当該画像を含めてもよい。他の例として、第4の判定部910aは、該当の撮像対象領域のみを除外して、S096の温度異常の判定の対象に当該画像を含めてもよい。温度情報取得部940は、除外されていない撮像対象それぞれについて温度情報を取得する。
S94の対比の結果、クラスター内の検出領域数が所定数に満たない場合(S094;Yes)、第4の判定部910aは当該クラスターに属する領域を検出エラーと判定する。さらにその場合、第4の判定部910aは、対象とした画像を温度異常の判定対象から除外する。他の例として、判定にかかるクラスターに属する各検出領域を、温度異常の判定対象(障害パネル判定)のみを除外して、S096の温度異常の判定の対象に当該画像を含めてもよい。他の例として、第4の判定部910aは、該当の撮像対象領域のみを除外して、S096の温度異常の判定の対象に当該画像を含めてもよい。温度情報取得部940は、除外されていない撮像対象それぞれについて温度情報を取得する。
(S096)
制御部Cは、除外した画像以外の赤外線画像(または検出エラーの撮像対象以外の検出領域)に基づき、パネルごと(所定数パネル群ごと)に障害パネルを温度の差とパターンにより、検出する。
制御部Cは、除外した画像以外の赤外線画像(または検出エラーの撮像対象以外の検出領域)に基づき、パネルごと(所定数パネル群ごと)に障害パネルを温度の差とパターンにより、検出する。
(S097)
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
(S095-2)
S094においてクラスター内の検出領域数が所定数を満たすと判定された場合(S094;No)、第4の判定部910aは検出エラーが無いものと判定する。またこの場合、S094において検出の適否の判定対象とした全ての画像(判定した全ての検出領域)を温度異常の判定対象として含める。温度情報取得部940は、撮像対象それぞれについて温度情報を取得する。
S094においてクラスター内の検出領域数が所定数を満たすと判定された場合(S094;No)、第4の判定部910aは検出エラーが無いものと判定する。またこの場合、S094において検出の適否の判定対象とした全ての画像(判定した全ての検出領域)を温度異常の判定対象として含める。温度情報取得部940は、撮像対象それぞれについて温度情報を取得する。
(S096-2)
制御部Cは、第4の判定部910aにより温度異常の判定対象とした全ての赤外線画像に基づき、パネルごと(所定数パネル群ごと)障害パネルを温度の差とパターンにより、検出する。
制御部Cは、第4の判定部910aにより温度異常の判定対象とした全ての赤外線画像に基づき、パネルごと(所定数パネル群ごと)障害パネルを温度の差とパターンにより、検出する。
(S097-2)
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
[変形例の動作]
本実施形態の上記変形例の場合、上記S094において第4の判定部910aは、複数の撮像対象それぞれにおける所定位置(例:YminとYmax)を特定し、それにより直近の他の領域との間隔を求める。
本実施形態の上記変形例の場合、上記S094において第4の判定部910aは、複数の撮像対象それぞれにおける所定位置(例:YminとYmax)を特定し、それにより直近の他の領域との間隔を求める。
また上記変形例の場合、S095においてS94の対比の結果、判定対象のクラスターの上辺側および下辺側の双方において、所定間隔より長い間隔が空いている場合(S094;Yes)、そのクラスターに属する検出領域、第4の判定部910aは当該クラスターに属する領域を検出エラーと判定する。エラー判定の後の処理は第9実施形態と同様である。
また上記変形例の場合、S095-2において、S094の対比の結果、判定対象のクラスターの上辺側、下辺側のいずれかにおいて、間隔が所定の長さ以内である場合(S094;No)、第4の判定部910aは検出エラーが無いものと判定する。またこの場合、S094において検出の適否の判定対象とした全ての画像(判定した全ての検出領域)を温度異常の判定対象として含める。
[効果]
本実施形態によれば、赤外線画像の撮像対象の異常判定(障害パネル判定)のミスが低減される。その理由の1つとして赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
本実施形態によれば、赤外線画像の撮像対象の異常判定(障害パネル判定)のミスが低減される。その理由の1つとして赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
さらに、本実施形態によれば撮像対象の検出ミスを、撮像の配列の規則性からの逸脱の有無あるいは逸脱の程度に基づき判定する。また判定結果に基づき、適宜エラー判定された画像またはエラーと判定された撮像対象を、温度の異常判定対象から除外する。したがって、障害パネルの特定ミスを低減可能である。
[第10実施形態]
第10実施形態にかかる判定対象検出システム1000について図35~図38を参照して説明する。以下の説明において、第4実施形態と重複する説明は割愛する。
第10実施形態にかかる判定対象検出システム1000について図35~図38を参照して説明する。以下の説明において、第4実施形態と重複する説明は割愛する。
(概要)
第4実施形態と同様に、第10実施形態においても赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定(障害パネル判定)に用いる情報から除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ(アスファルト舗装、水、植物、発電機器(パワーコントローラー、ケーブル)等)が含まれる可能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。
第4実施形態と同様に、第10実施形態においても赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定(障害パネル判定)に用いる情報から除外する処理を行う。すなわち、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズ(アスファルト舗装、水、植物、発電機器(パワーコントローラー、ケーブル)等)が含まれる可能性を低減する。さらに太陽光発電パネル配列による異常判定ミスも低減する。
第10実施形態の判定対象検出システム1000はさらに、第4実施形態での太陽光発電パネル等の撮像対象の検出処理のミスを低減するため、撮像対象を検出した後、検出した撮像対象の配列方向にしたがい順次撮像対象の所定位置を特定する。さらに判定対象検出システム1000は、撮像対象の配列の規則性にしたがって、赤外線画像において特定された複数の撮像対象を1つのクラスターにまとめる。また本実施形態においては、撮像対象の1つの群(クラスター群)における、最下端位置のクラスターの下辺位置を基準に、当該クラスターに含まれる撮像対象のうち、クラスターの下辺位置からずれたものを補正する。なお、下辺位置とは図36に示すように、当該図の視点における下側を示すものであり、実空間における鉛直下方を示すものではない。太陽光発電施設においては、この下側は、南側となる傾向にある。
すなわち、上記の通り太陽光発電施設においては、太陽光発電パネルは南向きに配置される傾向がある。またこの場合、太陽光発電パネルは受光面が南向きとなるように北側が高く南側が低くなるように、つまり南側に下り傾斜となるような架台上に設けられる(図37参照)。
このような構成においては、図37に示すように、最下端のクラスターに属する各太陽光発電パネルの南側には、日陰領域と日向領域ができる。例えば、1ブロックの最下端に位置するパネルにおいては、その南側に隣接するパネルの北側端部(図36においては上端部)に太陽光が遮られ、日陰領域ができる。ただし、図37のように日陰領域の北側は、当該南側隣接パネルの北側端部によって、太陽光が遮られないので、その領域(直射光が照射される領域)は日向領域となる(図36;符号SP参照)。
日向領域は日陰領域より温度が相対的に高まることから、障害パネルの判定時に検出ノイズとなりうる。本実施形態は下記構成により、この検出ノイズを低減させることを可能にする。
(判定対象検出システム1000)
図35に示すように第10実施形態の判定対象検出システム1000は、位置情報受信部1010、画像受信部1020、特定部1030、温度情報取得部1040および制御部Cと記憶部Sの他、第5の判定部1010aおよび補正部1010bを含んで構成される。特定部1030は第4実施形態と同様に赤外線画像から太陽光発電パネルを検出する。
図35に示すように第10実施形態の判定対象検出システム1000は、位置情報受信部1010、画像受信部1020、特定部1030、温度情報取得部1040および制御部Cと記憶部Sの他、第5の判定部1010aおよび補正部1010bを含んで構成される。特定部1030は第4実施形態と同様に赤外線画像から太陽光発電パネルを検出する。
(第5の判定部1010a)
第4実施形態と同様に赤外線画像から撮像対象、例えば太陽光発電パネルが特定される。第5の判定部1010aは、第6実施形態と同様に、赤外線画像においてX軸方向に整列されて並ぶ撮像対象を1つのクラスターとしてまとめることが可能である(図36:Cluster_num1~Cluster_num4参照)。
第4実施形態と同様に赤外線画像から撮像対象、例えば太陽光発電パネルが特定される。第5の判定部1010aは、第6実施形態と同様に、赤外線画像においてX軸方向に整列されて並ぶ撮像対象を1つのクラスターとしてまとめることが可能である(図36:Cluster_num1~Cluster_num4参照)。
さらに第5の判定部1010aは、クラスター内の各撮像対象におけるYmaxの平均値を求め、これを当該クラスターのYmaxとする。なお、クラスターのYmaxは属する各撮像対象のYmaxの中央値であってもよい。
また第5の判定部1010aは、複数の撮像対象を2次元配列した1ブロック分におけるクラスターの最下段(図36:Cluster_num4参照)を特定する。特定の方法は、例えば次の通りである。制御部Cは、クラスター特定後の赤外線画像を図示しない表示手段(システム外の表示手段を含む)に表示させる(図36参照)。また制御部Cは、当該赤外線画像において撮像対象の配列ごとに、各クラスターを識別するための表示をする制御を実行する。この識別表示は、図36の例であればクラスター上に表示された通し番号である。その他ユーザーが各クラスターを指定可能な他の識別表示であってもよい。
この状態においてユーザーはクラスターごとの識別表示について表示手段を介して視認でき、さらに図示しない入力手段を用いて指定可能に構成されている。この構成において、ユーザーが当該入力手段を用いて画面上の識別表示群のうち、いずれかの識別表示(段数番号、クラスター番号等)を指定すると、制御部Cは、当該指定操作を受け付け、当該クラスターを赤外線画像において特定する。
なお、複数の撮像対象の2次元配列におけるクラスター最下段の特定方法としては、他の方法であってもよい。例えば各クラスターのうち、クラスター上辺(Ymin)側に対する直近の他の領域との間隔が所定間隔内であり、さらにクラスター下辺(Ymax)側に対する直近の他の領域との間隔が所定間隔を超えているクラスターを、最下段のクラスターと判定することも可能である。この構成の場合、下辺側に他の領域が無いクラスターも最下段のクラスターと判定される。
最下段のクラスターの特定後、第5の判定部1010aはクラスターに属する各検出領域のYmaxの座標とクラスターのYmaxの座標とを対比する。例えば第5の判定部1010aは、各検出領域のYmaxの座標とクラスターのYmaxとの座標の差分(距離)を求める。さらに第5の判定部1010aは、差分が所定範囲内であるかどうか判定する。一例として第5の判定部1010aは、この差分と判定値とを対比する。差分が所定範囲を超えていれば、第5の判定部1010aはその検出領域を特定する。
(補正部1010b)
補正部1010bは、第5の判定部1010aにより特定された検出領域の下辺をクラスターの下辺に対応させる。例えば補正部1010bは、当該検出領域のYmaxのY座標を、上記求められた差分に基づきクラスターのYmaxのY座標に対応するように補正する。
補正部1010bは、第5の判定部1010aにより特定された検出領域の下辺をクラスターの下辺に対応させる。例えば補正部1010bは、当該検出領域のYmaxのY座標を、上記求められた差分に基づきクラスターのYmaxのY座標に対応するように補正する。
[動作]
図38は、本実施形態における処理の流れを示す図である。以下に、図38を参照しつつ、判定対象検出システム1000の処理の流れを、ステップ番号(S101~S108-2)に添って説明する。
図38は、本実施形態における処理の流れを示す図である。以下に、図38を参照しつつ、判定対象検出システム1000の処理の流れを、ステップ番号(S101~S108-2)に添って説明する。
(S101)
判定対象検出システム1000における位置情報受信部1010は、飛行体Dから位置情報を受ける。また画像受信部1020は可視光画像および赤外線画像を受ける。
判定対象検出システム1000における位置情報受信部1010は、飛行体Dから位置情報を受ける。また画像受信部1020は可視光画像および赤外線画像を受ける。
(S102)
特定部1030は、赤外線画像において太陽光発電パネルを特定する。
特定部1030は、赤外線画像において太陽光発電パネルを特定する。
(S103)
第5の判定部1010aは、撮像対象の配列規則に基づき、その規則性にしたがった一部の配列に含まれる複数の撮像対象を1つのクラスターとしてまとめる。複数の撮像対象が2次元的に配列される場合、図36に示すように赤外線画像においてX軸方向に整列されて並ぶ撮像対象を1つのクラスターとしてまとめる。例えば赤外線画像の各撮像対象における所定位置(例:YminとYmax)を特定する。また第5の判定部1010aは、特定した所定位置、例えばY座標を基準として所定距離内にある複数の領域を1つのクラスターとしてまとめる
第5の判定部1010aは、撮像対象の配列規則に基づき、その規則性にしたがった一部の配列に含まれる複数の撮像対象を1つのクラスターとしてまとめる。複数の撮像対象が2次元的に配列される場合、図36に示すように赤外線画像においてX軸方向に整列されて並ぶ撮像対象を1つのクラスターとしてまとめる。例えば赤外線画像の各撮像対象における所定位置(例:YminとYmax)を特定する。また第5の判定部1010aは、特定した所定位置、例えばY座標を基準として所定距離内にある複数の領域を1つのクラスターとしてまとめる
(S104)
第5の判定部1010aは、撮像対象の2次元配列の1ブロック分に含まれる各クラスター(図36:Cluster_num1~Cluster_num4参照)のうち、最下段のクラスターを特定する。
第5の判定部1010aは、撮像対象の2次元配列の1ブロック分に含まれる各クラスター(図36:Cluster_num1~Cluster_num4参照)のうち、最下段のクラスターを特定する。
(S105)
第5の判定部1010aはクラスターに属する各検出領域のYmaxの座標とクラスターのYmaxの座標とを対比する。さらに第5の判定部1010aは、差分が所定範囲内であるかどうか判定する。
第5の判定部1010aはクラスターに属する各検出領域のYmaxの座標とクラスターのYmaxの座標とを対比する。さらに第5の判定部1010aは、差分が所定範囲内であるかどうか判定する。
(S106)
S105の対比の結果、最下段のクラスター内の検出領域のうち、その下辺がクラスターの下辺と離隔しているものがある場合(S105;Yes)、補正部1010bはその検出領域の下辺を、当該クラスターの下辺に対応させる補正を行う。
S105の対比の結果、最下段のクラスター内の検出領域のうち、その下辺がクラスターの下辺と離隔しているものがある場合(S105;Yes)、補正部1010bはその検出領域の下辺を、当該クラスターの下辺に対応させる補正を行う。
(S107)
温度情報取得部1040は、最下段のクラスター内の検出領域の下辺が補正された状態の検出領域を含めて温度情報を取得し、パネルごと(所定数パネル群ごと)に障害パネルを温度の差とパターンにより、検出する。
温度情報取得部1040は、最下段のクラスター内の検出領域の下辺が補正された状態の検出領域を含めて温度情報を取得し、パネルごと(所定数パネル群ごと)に障害パネルを温度の差とパターンにより、検出する。
(S108)
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
(S106-2)
S0105においてクラスター内のすべての検出領域の下辺それぞれと、クラスターの下辺との差が所定範囲内であれば(S104;No)、補正部1010bの補正処理を行うことなく、パネルごと(所定数パネル群ごと)に温度情報を取得する。
S0105においてクラスター内のすべての検出領域の下辺それぞれと、クラスターの下辺との差が所定範囲内であれば(S104;No)、補正部1010bの補正処理を行うことなく、パネルごと(所定数パネル群ごと)に温度情報を取得する。
(S107-2)
温度情報取得部1040は、パネルごと(所定数パネル群ごと)に、温度の差とパターンにより、障害パネルを検出する。
温度情報取得部1040は、パネルごと(所定数パネル群ごと)に、温度の差とパターンにより、障害パネルを検出する。
(S108-2)
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
制御部Cは、赤外線画像から検出した障害パネルをユーザーに示す。
[効果]
本実施形態によれば、赤外線画像の撮像対象の異常判定(障害パネル判定)のミスが低減される。その理由の1つとして赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
本実施形態によれば、赤外線画像の撮像対象の異常判定(障害パネル判定)のミスが低減される。その理由の1つとして赤外線画像内の撮像対象と、それ以外のものを識別し、撮像対象以外の温度情報を異常判定に用いる情報から除外していることが挙げられる。例えば、太陽光発電施設においては、1つの太陽光発電パネル群と他の太陽光発電パネル群との間に、発電機器(パワーコントローラーやケーブル)、アスファルト舗装、水、植物等、太陽光発電パネルとは全く異なる温度情報を呈する物が存在している。赤外線画像全体で温度異常の検出を行うと、そのようなノイズが多数含まれる可能性があり、異常判定に支障をきたすおそれがある。本実施形態によれば、太陽光発電パネルをまず特定し、異常判定は太陽光発電パネルごと、または太陽光発電パネル群ごとに実行する。その結果、ノイズが含まれる可能性を低減可能である。さらに、また太陽光発電パネルの配置位置によって、例えば影により太陽光発電パネル配列の右上隅と左下隅で温度情報の平均値が異なってくる場合もあり、その点においても異常判定のミスを低減可能である。
さらに、本実施形態によれば、撮像対象群を含む各ブロックの最下段クラスターの下辺位置に対し、各検出領域の下辺位置の逸脱を判定し、許容範囲を超えて逸脱する検出領域があれば、その領域の下辺位置をクラスターに合わせる補正を行う。また本実施形態では、補正後において障害パネル判定を行う。したがって、障害パネルの特定ミスを低減可能である。
[変形例1]
次に、上記各実施形態における検出エラーの判定の後における判定対象検出システムのとり得る処理の他の例を説明する。上記実施形態(第5~第9)においては、撮像対象の検出エラーを判定し、検出エラーがあれば、当該検出領域あるいは当該検出領域が含まれる画像を障害パネル判定から除外するように構成されている。しかしながら、他の構成とすることも可能である。例えば判定対象検出システムは、図示しない表示手段(システム外の表示手段を含む)にエラーメッセージを出力させるか、あるいは図示しない音声出力部に警告音を出力させる等、任意の方法で検出エラーを報知するように構成することが可能である。
次に、上記各実施形態における検出エラーの判定の後における判定対象検出システムのとり得る処理の他の例を説明する。上記実施形態(第5~第9)においては、撮像対象の検出エラーを判定し、検出エラーがあれば、当該検出領域あるいは当該検出領域が含まれる画像を障害パネル判定から除外するように構成されている。しかしながら、他の構成とすることも可能である。例えば判定対象検出システムは、図示しない表示手段(システム外の表示手段を含む)にエラーメッセージを出力させるか、あるいは図示しない音声出力部に警告音を出力させる等、任意の方法で検出エラーを報知するように構成することが可能である。
さらに判定対象検出システムの制御部Cは、上記ユーザーへの報知後または報知を経ずに、検出エラーにかかる領域を含む画像をユーザーに呈する。これは図示しない任意の表示手段(システム外の表示手段を含む)に当該画像を表示させることがその一例である。さらに当該画像における配列情報と適合しない部分をマニュアル操作により補完するかについてユーザーに選択を促すメッセージを表示する。
図3,図39・40等に示すように、特定部によって特定された撮像対象は表示手段によりユーザーに認識可能にすることが可能である。つまり、制御部Cは、特定部が赤外線画像において撮像対象として特定した領域を、赤外線画像においてユーザーが視認可能な状態とすることが可能である。例えば図3,図39・40等に示すように撮像対象の領域の外縁を他と識別可能に描画することが可能である。その他、任意の方法で個々の撮像対象の領域全体を他と識別可能に描画(網掛け、反転表示、点滅表示)することが可能である。
さらに制御部Cは、赤外線画像における検出エラーとなった領域を表示された画像上でスライド移動させる操作を実行できるように表示する。例えば制御部Cはエラー判定となった領域の外縁を強調表示する。さらにユーザーがポインティングデバイスのような任意の入力手段により、画像上のポインタ等を当該表示領域上に重畳させると、制御部Cは当該領域を画像上でスライドさせる操作を受け付け可能な状態に移行させる。さらにその状態でユーザーが入力手段を介して領域を画像上の任意の位置に移動させるとその指定位置に当該領域を示す表示が画像上で移動する。
さらにユーザーが入力手段を介して当該領域の移動操作を完成させる操作を実行すると、制御部Cは移動前の当該領域の座標値を、移動後の座標値に書き換える。本実施形態では、上記のようなマニュアル操作によって検出エラーにかかる領域を修正する操作を可能とする構成を有する。本実施形態によっても、障害パネルの特定ミスを低減可能である。
[変形例2]
上記実施形態においては、飛行体Dにおける空撮画像において可視光画像と赤外線画像を取得する構成であった。しかしながら、撮像対象によっては、赤外線画像のみを取得する構成であってもよい。
上記実施形態においては、飛行体Dにおける空撮画像において可視光画像と赤外線画像を取得する構成であった。しかしながら、撮像対象によっては、赤外線画像のみを取得する構成であってもよい。
[変形例3]
上記実施形態においては、飛行体Dにおける空撮画像において可視光画像と赤外線画像を取得する構成であった。しかしながら、撮像対象によっては、空撮画像でなく、撮像対象の上方に固定された(例えば天井部分、または上方に突出した構造物(ポール等)の上部に固定された)撮影手段により、撮像しその画像を状態判定する構成であってもよい。例えば、倉庫や工場において多数配列された撮像対象(保管品、製造品等)の温度情報から状態判定をする構成であってもよい。
上記実施形態においては、飛行体Dにおける空撮画像において可視光画像と赤外線画像を取得する構成であった。しかしながら、撮像対象によっては、空撮画像でなく、撮像対象の上方に固定された(例えば天井部分、または上方に突出した構造物(ポール等)の上部に固定された)撮影手段により、撮像しその画像を状態判定する構成であってもよい。例えば、倉庫や工場において多数配列された撮像対象(保管品、製造品等)の温度情報から状態判定をする構成であってもよい。
上記変形例3から把握される判定対象検出システムとして次のような特徴を挙げることが可能である。
[特徴1]
撮像対象の上方から当該撮像対象を撮影することにより取得された赤外線画像を受信する画像受信部と、
前記赤外線画像から撮像対象または所定数の撮像対象群を特定する特定部と、
特定した前記撮像対象ごとまたは前記撮像対象群ごとに赤外線情報に基づく温度情報を求める温度情報取得部と、
前記温度情報取得部により求められた前記温度情報に基づき、特定した前記撮像対象ごとまたは前記撮像対象群ごとに異常判定をする判定部と、
を備える判定対象検出システム。
[特徴1]
撮像対象の上方から当該撮像対象を撮影することにより取得された赤外線画像を受信する画像受信部と、
前記赤外線画像から撮像対象または所定数の撮像対象群を特定する特定部と、
特定した前記撮像対象ごとまたは前記撮像対象群ごとに赤外線情報に基づく温度情報を求める温度情報取得部と、
前記温度情報取得部により求められた前記温度情報に基づき、特定した前記撮像対象ごとまたは前記撮像対象群ごとに異常判定をする判定部と、
を備える判定対象検出システム。
[変形例4]
上記実施形態においては、撮像対象に対してその上方から撮影した画像に基づき、温度情報から撮像対象の状態判定をする構成であった。しかしながら、撮像対象によっては、撮像対象の上方でなく、所定距離だけ離隔した水平方向から撮影した画像を利用して状態判定をする構成であってもよい。例えば、鉛直方向に2次元配列された撮像対象(ビルの窓ガラス)に対し、所定距離だけ離れた位置において上方に突出した構造物(ポール等)のいずれかの位置(例:中央位置)に撮影手段が固定されているものとする。この状態で当該撮影手段により、水平方向に当該所定距離だけ離れた撮像対象を撮像する構成であってもよい。また取得された画像に基づき状態判定する構成であってもよい。
上記実施形態においては、撮像対象に対してその上方から撮影した画像に基づき、温度情報から撮像対象の状態判定をする構成であった。しかしながら、撮像対象によっては、撮像対象の上方でなく、所定距離だけ離隔した水平方向から撮影した画像を利用して状態判定をする構成であってもよい。例えば、鉛直方向に2次元配列された撮像対象(ビルの窓ガラス)に対し、所定距離だけ離れた位置において上方に突出した構造物(ポール等)のいずれかの位置(例:中央位置)に撮影手段が固定されているものとする。この状態で当該撮影手段により、水平方向に当該所定距離だけ離れた撮像対象を撮像する構成であってもよい。また取得された画像に基づき状態判定する構成であってもよい。
[整列位置検出システム]
第5実施形態~第7実施形態における技術的思想は、撮像対象の温度情報を利用した判定対象検出システムに限らず、整列位置検出システムとして利用することが可能である。この整列位置検出システムについて以下説明する。
第5実施形態~第7実施形態における技術的思想は、撮像対象の温度情報を利用した判定対象検出システムに限らず、整列位置検出システムとして利用することが可能である。この整列位置検出システムについて以下説明する。
[上記第5実施形態の転用]
第5実施形態は画像の傾き補正をするものである。これは温度検出に限らず、単に規則的に整列または配列する前提となっている多数の撮像対象の配列位置の検出に利用可能である。
第5実施形態は画像の傾き補正をするものである。これは温度検出に限らず、単に規則的に整列または配列する前提となっている多数の撮像対象の配列位置の検出に利用可能である。
上記実施形態のように、複数配列された撮像対象群を撮像した画像から、個々の撮像対象を検出することが可能である。このとき、2次元配列のように、規則的に並んでいるはずの撮像対象がその規則からずれてしまっている場合、または抜けてしまっている場合が生じうる。例えば同種または同一の製品を2次元配列してパッケージする前提の場合に、当該製品の抜け、位置ずれなどが生じうる。あるいは自動車を所定間隔で所定の配置規則で駐車すべきときに、駐車位置のずれ、抜け等が生じうる。
複数配列された撮像対象群を撮像した画像を利用して個々の撮像対象の検出をすることで、このような配列位置の点検が可能である。
このような構成において、画像の傾きがあると撮像対象の検出に支障をきたすおそれがあり、配置ずれ、配置抜けの点検ミスが生じうる。これに対し、この整列位置検出システムでは、まず第5実施形態のように画像の傾きを検出する。この画像は赤外線画像であってもよく、可視光画像であってもよい。傾きの検出後は、第5実施形態のように傾き補正を実行してもよい。または、第5実施形態のように撮像エラーとして、配置ずれ、配置抜けの点検対象から当該画像を除外する処理を実行してもよい。
このような構成において、画像の傾きがあると撮像対象の検出に支障をきたすおそれがあり、配置ずれ、配置抜けの点検ミスが生じうる。これに対し、この整列位置検出システムでは、まず第5実施形態のように画像の傾きを検出する。この画像は赤外線画像であってもよく、可視光画像であってもよい。傾きの検出後は、第5実施形態のように傾き補正を実行してもよい。または、第5実施形態のように撮像エラーとして、配置ずれ、配置抜けの点検対象から当該画像を除外する処理を実行してもよい。
整列位置検出システムでは、第4実施形態の特定部と同様に、撮像対象を特定し、さらに撮像対象の配列を特定する(例:縦4行、横7列等)。これは、いわゆる人工知能(AI)を用いたディープラーニング(深層学習)により作成された推論モデルを用いたものであってもよく、パターンマッチング等、他の方法を用いてもよい。次に所定の制御部等により、ユーザーにより設定された配列情報と、画像から当該特定された撮像対象の配列とが対比され、配置ずれ、配置抜けの点検処理が実行される。
上記第5実施形態の転用から把握される整列位置検出システムとして次のような特徴を挙げることが可能である。
[特徴2]
撮像対象を撮像した画像を受信する画像受信部と、
前記画像から撮像対象または所定数の撮像対象群を特定する特定部と、
前記撮像対象に対する撮像方向の傾きを求め、当該求めた傾きに基づき傾き補正をする補正部と、
前記補正後の画像において、既定の配列規則から外れる撮像対象、または既定の配列規則から抜けた撮像対象の有無を判定する第7の判定部と、
を備える整列位置検出システム。
[特徴2]
撮像対象を撮像した画像を受信する画像受信部と、
前記画像から撮像対象または所定数の撮像対象群を特定する特定部と、
前記撮像対象に対する撮像方向の傾きを求め、当該求めた傾きに基づき傾き補正をする補正部と、
前記補正後の画像において、既定の配列規則から外れる撮像対象、または既定の配列規則から抜けた撮像対象の有無を判定する第7の判定部と、
を備える整列位置検出システム。
[上記第6実施形態の転用]
第6実施形態は撮像対象のサイズ(撮像対象に対する少なくとも1方向からの視点でみたサイズ)が画一的であることを利用して、撮像対象の検出ミスの低減を図るものである。これは温度検出に限らず、単に規則的に整列または配列する前提となっている多数の撮像対象の配列位置の検出に利用可能である。
第6実施形態は撮像対象のサイズ(撮像対象に対する少なくとも1方向からの視点でみたサイズ)が画一的であることを利用して、撮像対象の検出ミスの低減を図るものである。これは温度検出に限らず、単に規則的に整列または配列する前提となっている多数の撮像対象の配列位置の検出に利用可能である。
上記第5実施形態を転用した整列位置検出システムのように、複数配列された撮像対象群を撮像した画像から、個々の撮像対象を検出することで、整列した撮像対象の位置ずれや抜けの点検が可能である。
このような構成において、撮像対象の検出ミスにより、サイズが画一的であるはずの撮像対象が大きく検出され、または小さく検出されると当該点検にミスが生じうる。これに対し、この上記第6実施形態を転用した整列位置検出システムでは、まず第6実施形態のように、検出した各撮像対象の領域のサイズを求める。なお、画像は赤外線画像であってもよく、可視光画像であってもよい。
次に、第6実施形態と同様に、撮像対象のサイズ、または当該サイズに基づいて算定された数値と、判定値とを対比することにより、検出ミスを判定する。
検出ミスの判定後は、検出エラーがあったことをユーザーに報知してもよく、また検出エラーにかかる撮像対象を画像において強調表示してもよい。または、検出エラーとして、配置ずれ、配置抜けの点検対象から当該画像を除外する処理を実行してもよい。
なお、整列位置検出システムでは、上記第5実施形態を転用した整列位置検出システムと同様に特定部により撮像対象の配列を特定する。
上記第6実施形態の転用から把握される整列位置検出システムとして次のような特徴を挙げることが可能である。
[特徴3]
撮像対象を撮像した画像を受信する画像受信部と、
前記画像から撮像対象または所定数の撮像対象群を特定する特定部と、
前記特定部が特定した前記撮像対象または前記撮像対象群のサイズを算出し、当該算出値のばらつきと、当該ばらつきの許容範囲を示す判定値とを比較し、当該ばらつきが当該判定値に対して所定の関係にある場合、特定エラーとして判定する第8の判定部を備える整列位置検出システム。
[特徴4]
撮像対象を撮像した画像を受信する画像受信部と、
前記画像から撮像対象または所定数の撮像対象群を特定する特定部と、
前記画像において、既定の配列規則から外れる撮像対象、または既定の配列規則から抜けた撮像対象の有無を判定する第9の判定部と、
を備える整列位置検出システム。
[特徴3]
撮像対象を撮像した画像を受信する画像受信部と、
前記画像から撮像対象または所定数の撮像対象群を特定する特定部と、
前記特定部が特定した前記撮像対象または前記撮像対象群のサイズを算出し、当該算出値のばらつきと、当該ばらつきの許容範囲を示す判定値とを比較し、当該ばらつきが当該判定値に対して所定の関係にある場合、特定エラーとして判定する第8の判定部を備える整列位置検出システム。
[特徴4]
撮像対象を撮像した画像を受信する画像受信部と、
前記画像から撮像対象または所定数の撮像対象群を特定する特定部と、
前記画像において、既定の配列規則から外れる撮像対象、または既定の配列規則から抜けた撮像対象の有無を判定する第9の判定部と、
を備える整列位置検出システム。
[上記第7実施形態の転用]
第7実施形態は撮像対象の配列規則を利用して、撮像対象の検出ミスの低減を図るものである。すなわち、撮像対象を検出した後、撮像対象の整列位置のずれがあるか判定を行う。例えば撮像対象の外縁の境界部分または各撮像対象の領域の検出において誤検出があるか判定を行う。これは温度検出に限らず、単に規則的に整列または配列する前提となっている多数の撮像対象の配列位置の検出に利用可能である。
第7実施形態は撮像対象の配列規則を利用して、撮像対象の検出ミスの低減を図るものである。すなわち、撮像対象を検出した後、撮像対象の整列位置のずれがあるか判定を行う。例えば撮像対象の外縁の境界部分または各撮像対象の領域の検出において誤検出があるか判定を行う。これは温度検出に限らず、単に規則的に整列または配列する前提となっている多数の撮像対象の配列位置の検出に利用可能である。
上記第5実施形態を転用した整列位置検出システムのように、複数配列された撮像対象群を撮像した画像から、個々の撮像対象を検出することで、整列した撮像対象の位置ずれや抜けの点検が可能である。
このような構成において、当該第4実施形態を転用した整列位置検出システムにおいては、第7実施形態と同様に撮像対象特有の所定の配列の規則性を利用し、規則性からずれたものがあるかについて判定する。例えば画像から特定した複数の撮像対象それぞれにおける所定位置をさらに特定し、その特定した位置の、配列規則からのずれ量を算出する。ずれ量が大きければ、検出エラーの判定を行う。これにより、撮像対象の検出ミスの低減を図る。
すなわち、上記第7実施形態のように、検出した各撮像対象の領域における所定位置をさらに特定する。例えば所定位置は「Ymin」または「Yminn」である。なお、画像は赤外線画像であってもよく、可視光画像であってもよい。
次に、第7実施形態と同様に、特定した各撮像対象の所定位置のばらつきを求める。このばらつきに対して、許容できる範囲と許容できない範囲とを判定値により判定する。第4実施形態と同様にばらつきが許容できない範囲である場合検出エラーとして判定する。
検出エラーの判定後は、検出エラーがあったことをユーザーに報知してもよく、また検出エラーにかかる撮像対象を画像において強調表示してもよい。または、検出エラーとして、配置ずれ、配置抜けの点検対象から当該画像を除外する処理を実行してもよい。
なお、この整列位置検出システムでは、上記第5実施形態を転用した整列位置検出システムと同様に特定部により撮像対象の配列を特定する。
上記第7実施形態の転用から把握される整列位置検出システムとして次のような特徴を挙げることが可能である。
[特徴5]
撮像対象を撮像した画像を受信する画像受信部と、
前記画像から撮像対象または所定数の撮像対象群を特定する特定部と、
前記特定部が特定した前記撮像対象または前記撮像対象群の位置関係に基づき、いずれかの前記撮像対象または前記撮像対象群における配列からからのずれ量を求め、当該ずれ量の許容範囲を示す判定値と当該ずれ量とを比較し、当該ずれ量が当該判定値に対して所定の関係にある場合、特定エラーとして判定する第10の判定部と、
を備える整列位置検出システム。
[特徴5]
撮像対象を撮像した画像を受信する画像受信部と、
前記画像から撮像対象または所定数の撮像対象群を特定する特定部と、
前記特定部が特定した前記撮像対象または前記撮像対象群の位置関係に基づき、いずれかの前記撮像対象または前記撮像対象群における配列からからのずれ量を求め、当該ずれ量の許容範囲を示す判定値と当該ずれ量とを比較し、当該ずれ量が当該判定値に対して所定の関係にある場合、特定エラーとして判定する第10の判定部と、
を備える整列位置検出システム。
なお、上記3系統の整列位置検出システムは適宜組み合わせることが可能である。
この発明の実施形態を説明したが、上記の実施形態は例として提示したものであり、発明の範囲を限定することを意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100、200、300、 状態判定システム
400、500、600、700、800、900,1000 判定対象検出システム
110、210、310、410、510、610、710 位置情報受信部
120、220、320、420、520、620、720、
820、920、1020 画像受信部
130、230、330、430、530、630、730、
830、930、1030 特定部
140、240、340、440、540、640、740、
840、940、1040 温度情報取得部
150、150A、250、350 高温情報取得部
160、260、360 中温域取得部
170、270、370 基準値取得部
180、280、380 判定対象値取得部
190、290、390 判定部
391 被疑対象特定部
410a 設定部
510a、1010b 補正部
610a、710a、810a、910a、1010a 第1~第5の判定部
D 飛行体
D1 撮影部
D2 位置取得部
D3 ジャイロスコープ
D4 ジンバル
D5 地磁気センサー
400、500、600、700、800、900,1000 判定対象検出システム
110、210、310、410、510、610、710 位置情報受信部
120、220、320、420、520、620、720、
820、920、1020 画像受信部
130、230、330、430、530、630、730、
830、930、1030 特定部
140、240、340、440、540、640、740、
840、940、1040 温度情報取得部
150、150A、250、350 高温情報取得部
160、260、360 中温域取得部
170、270、370 基準値取得部
180、280、380 判定対象値取得部
190、290、390 判定部
391 被疑対象特定部
410a 設定部
510a、1010b 補正部
610a、710a、810a、910a、1010a 第1~第5の判定部
D 飛行体
D1 撮影部
D2 位置取得部
D3 ジャイロスコープ
D4 ジンバル
D5 地磁気センサー
Claims (13)
- 飛行体から赤外線画像を受信する画像受信部と、
赤外線画像から撮像対象を含むあらかじめ設定された設定領域を特定する特定部と、
特定した設定領域ごとに赤外線情報に基づく温度情報の分布を求める温度情報取得部と、
分布のうち、最高温度を含む第1の設定範囲に含まれた温度情報の第1の平均値を求める高温情報取得部と、
分布のうち、前記第1の設定範囲未満の温度であって、当該範囲と重複しない第2の設定範囲に含まれた温度情報の第2の平均値を求める中温域取得部と、
第1の平均値と第2の平均値の差である基準値を求める基準値取得部と、
前記設定領域および隣接する他の設定領域を含む、複数の設定領域をグループとし、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める判定対象値取得部と、
判定対象値に基づいて障害のおそれがある撮像対象を特定する判定部と、を備える
状態判定システム。 - 前記第1の平均値にかかる設定範囲を異ならせることにより、障害の種類を判定可能である
ことを特徴とする請求項1に記載の状態判定システム。 - 飛行体から赤外線画像を受信する画像受信部と、
赤外線画像から撮像対象を含むあらかじめ設定された設定領域を特定する特定部と、
特定した設定領域ごとに赤外線情報に基づく温度情報の分布を求める温度情報取得部と、
分布のうち、最高温度未満である第2の設定範囲に含まれた温度情報の第2の平均値を求める中温域取得部と、
最高温度と第2の平均値の差である基準値を求める基準値取得部と、
前記設定領域および隣接する他の設定領域を含む、複数の設定領域をグループとし、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める判定対象値取得部と、
判定対象値に基づいて撮像対象の異常判定をする判定部と、を備える
状態判定システム。 - 前記判定対象値取得部は、前記基準値のばらつきとして、基準値の標準偏差を求め、さらに設定領域ごとの偏差値を求め、
前記判定部は偏差値と第1の閾値との対比による異常判定をする
ことを特徴とする請求項1~3のいずれか1項に記載の状態判定システム。 - 前記判定部は、基準値のばらつきまたは前記平均値が第1の閾値より大きいと判定すると、その原因となった障害被疑領域を特定し、
その障害被疑領域を含まないように、再度基準値が求められ、それに基づき障害のおそれがある撮像対象の特定が実行される
ことを特徴とする請求項4に記載の状態判定システム。 - 前記判定部は、障害被疑領域が特定されなくなるまで、または障害被疑領域の面積もしくは比率が予め定めた値を下回るまで、基準値の再算出から障害被疑領域の特定処理を繰り返す
ことを特徴とする請求項5に記載の状態判定システム。 - 飛行体から赤外線画像を受信する画像受信部と、
赤外線画像から撮像対象を含むあらかじめ設定された設定領域を特定する特定部と、
特定した設定領域ごとに赤外線情報に基づく温度情報の分布を求める温度情報取得部と、
分布のうち、最高温度を含む第1の設定範囲に含まれた温度情報の第1の平均値を求める高温情報取得部と、
分布のうち、前記第1の設定範囲未満の温度であって、当該範囲と重複しない第2の設定範囲に含まれた温度情報の第2の平均値を求める中温域取得部と、
第1の平均値と第2の平均値の差である基準値を求める基準値取得部と、
前記設定領域および隣接する他の設定領域を含む、複数の設定領域をグループとし、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める判定対象値取得部と、
判定対象値と第1の閾値に基づいて障害のおそれがある撮像対象である被疑対象を特定する被疑対象特定部と、
特定された被疑対象における高温部分のパターンに基づき、撮像対象の障害の分類をし、分類のうち、特定分類の場合は被疑対象の判定対象値と第2の閾値とに基づき改めて被疑対象を特定する判定部と、
を備える
状態判定システム。 - 前記判定部の障害の分類には、クラスター障害、ひび割れ、汚れ、およびセル障害のうち少なくとも2分類が含まれる
ことを特徴とする請求項7に記載の状態判定システム。 - 前記判定部が被疑対象の障害分類をクラスター障害以外と判定した場合に第2の閾値が用いられ、
前記第2の閾値は、前記第1の閾値と比較して設定領域に含まれる被疑対象が少なくなるように設定される
ことを特徴とする請求項7または8に記載の状態判定システム。 - 前記判定部はディープラーニング技術に基づき、被疑対象の障害の分類を推論する
ことを特徴とする請求項7~9のいずれか1項に記載の状態判定システム。 - 飛行体から赤外線画像を受信する工程と、
赤外線画像から撮像対象を含むあらかじめ設定された設定領域を特定する工程と、
特定した設定領域ごとに赤外線情報に基づく温度情報の分布を求める工程と、
分布のうち、最高温度を含む第1の設定範囲に含まれた温度情報の第1の平均値を求める工程と、
分布のうち、前記第1の設定範囲未満の温度であって、当該範囲と重複しない第2の設定範囲に含まれた温度情報の第2の平均値を求める工程と、
第1の平均値と第2の平均値の差である基準値を求める工程と、
前記設定領域および隣接する他の設定領域を含む、複数の設定領域をグループとし、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める工程と、
判定対象値に基づいて障害のおそれがある撮像対象を特定する工程と、を備える
状態判定方法。 - 飛行体から赤外線画像を受信する工程と、
赤外線画像から撮像対象を含むあらかじめ設定された設定領域を特定する工程部と、
特定した設定領域ごとに赤外線情報に基づく温度情報の分布を求める工程と、
分布のうち、最高温度未満である第2の設定範囲に含まれた温度情報の第2の平均値を求める工程と、
最高温度と第2の平均値の差である基準値を求める工程と、
前記設定領域および隣接する他の設定領域を含む、複数の設定領域をグループとし、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める工程と、
判定対象値に基づいて撮像対象の異常判定をする工程と、を備える
状態判定方法。 - 飛行体から赤外線画像を受信する工程と、
赤外線画像から撮像対象を含むあらかじめ設定された設定領域を特定する工程と、
特定した設定領域ごとに赤外線情報に基づく温度情報の分布を求める工程と、
分布のうち、最高温度を含む第1の設定範囲に含まれた温度情報の第1の平均値を求める工程と、
分布のうち、前記第1の設定範囲未満の温度であって、当該範囲と重複しない第2の設定範囲に含まれた温度情報の第2の平均値を求める工程と、
第1の平均値と第2の平均値の差である基準値を求める工程と、
前記設定領域および隣接する他の設定領域を含む、複数の設定領域をグループとし、グループごとに各設定領域の基準値のばらつきを示す値および平均値のうち少なくともいずれか一方に基づく判定対象値を求める工程と、
判定対象値と第1の閾値に基づいて障害のおそれがある撮像対象である被疑対象を特定する工程と、
特定された被疑対象における高温部分のパターンに基づき、撮像対象の障害の分類をし、分類のうち、特定分類の場合は被疑対象の判定対象値と第2の閾値と基づき改めて被疑対象を特定する工程と、を備える
状態判定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020174972A JP2022066062A (ja) | 2020-10-16 | 2020-10-16 | 状態判定システムおよび状態判定方法。 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020174972A JP2022066062A (ja) | 2020-10-16 | 2020-10-16 | 状態判定システムおよび状態判定方法。 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022066062A true JP2022066062A (ja) | 2022-04-28 |
Family
ID=81387855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020174972A Pending JP2022066062A (ja) | 2020-10-16 | 2020-10-16 | 状態判定システムおよび状態判定方法。 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022066062A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116660317A (zh) * | 2023-07-25 | 2023-08-29 | 北京智芯微电子科技有限公司 | 光伏阵列的热斑检测方法、***、处理器及存储介质 |
US11822047B1 (en) * | 2022-06-22 | 2023-11-21 | National Institute of Meteorological Sciences | Meteorological observation device for observing the weather in the atmospheric boundary layer or planetary boundary layer |
-
2020
- 2020-10-16 JP JP2020174972A patent/JP2022066062A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11822047B1 (en) * | 2022-06-22 | 2023-11-21 | National Institute of Meteorological Sciences | Meteorological observation device for observing the weather in the atmospheric boundary layer or planetary boundary layer |
CN116660317A (zh) * | 2023-07-25 | 2023-08-29 | 北京智芯微电子科技有限公司 | 光伏阵列的热斑检测方法、***、处理器及存储介质 |
CN116660317B (zh) * | 2023-07-25 | 2023-12-22 | 北京智芯微电子科技有限公司 | 光伏阵列的热斑检测方法、***、处理器及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2021202277B2 (en) | Avian detection systems and methods | |
CN112184711B (zh) | 一种光伏组件缺陷检测和定位方法及*** | |
CN109655040B (zh) | 一种基于无人机靶向技术的边坡位移监测方法 | |
US20150134152A1 (en) | Integrated remote aerial sensing system | |
CN104091369B (zh) | 一种无人机遥感影像建筑物三维损毁检测方法 | |
US20210266461A1 (en) | Defect detection system using a camera equipped uav for building facades on complex asset geometry with optimal automatic obstacle deconflicted flightpath | |
KR101985019B1 (ko) | 드론과 gis를 사용한 이상 발열 태양광 모듈 검출 방법 | |
JP2022066062A (ja) | 状態判定システムおよび状態判定方法。 | |
KR101832454B1 (ko) | 드론 기반 열적외선 센서를 이용한 태양광 셀 발열 위치 분석 방법 | |
CN111879292A (zh) | 一种海岸线动态监控方法、监控设备及存储介质 | |
Guo et al. | Detecting and positioning of wind turbine blade tips for uav-based automatic inspection | |
JP5152913B2 (ja) | 洋上監視システムおよび方法 | |
Wang et al. | Convolutional neural-network-based automatic dam-surface seepage defect identification from thermograms collected from UAV-mounted thermal imaging camera | |
CN112270234B (zh) | 一种基于航拍图像的输电线路绝缘子目标识别方法 | |
JP6799635B2 (ja) | 空撮画像位置特定システムおよび空撮画像位置特定方法。 | |
CN116893685A (zh) | 一种无人机航线规划方法及*** | |
Li et al. | Prediction of wheat gains with imagery from four-rotor UAV | |
Bommes et al. | Georeferencing of photovoltaic modules from aerial infrared videos using structure‐from‐motion | |
CN111473774A (zh) | 无人机单航带倾斜摄影电力线障碍物巡检方法 | |
CN116342693A (zh) | 一种基于点云和卷积神经网络的桥梁缆索表面损伤快速定位方法 | |
Rezk et al. | Autonomous PV Panel Inspection With Geotagging Capabilities Using Drone | |
JP7308733B2 (ja) | 状態判定システムおよび状態判定方法。 | |
CN112257575B (zh) | 一种固定点位森林林火定位方法 | |
JP2023158721A (ja) | 状態判定システムおよび状態判定方法。 | |
JP2022167442A (ja) | 特徴領域判定システムおよび特徴領域判定方法。 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230601 |