JP2021111852A - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理システム、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2021111852A JP2021111852A JP2020001631A JP2020001631A JP2021111852A JP 2021111852 A JP2021111852 A JP 2021111852A JP 2020001631 A JP2020001631 A JP 2020001631A JP 2020001631 A JP2020001631 A JP 2020001631A JP 2021111852 A JP2021111852 A JP 2021111852A
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- color image
- temperature
- detection frame
- imaging data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 72
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000001514 detection method Methods 0.000 claims abstract description 79
- 238000003384 imaging method Methods 0.000 claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 61
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 description 54
- 238000010586 diagram Methods 0.000 description 15
- 238000000034 method Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 230000005856 abnormality Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000004073 vulcanization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0044—Furnaces, ovens, kilns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0096—Radiation pyrometry, e.g. infrared or optical thermometry for measuring wires, electrical contacts or electronic systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/025—Interfacing a pyrometer to an external device or network; User interface
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/08—Optical arrangements
- G01J5/0859—Sighting arrangements, e.g. cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/21—Monitoring or handling of messages
- H04L51/224—Monitoring or handling of messages providing notification on incoming messages, e.g. pushed notifications of received messages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/634—Warning indications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Radiation Pyrometers (AREA)
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
- Alarm Systems (AREA)
Abstract
【課題】監視対象の温度を適切に検知できる。【解決手段】情報処理装置100は、撮像装置から出力される撮像データを受信する情報受信部と、受信した前記撮像データに基づき色画像を生成し、生成した前記色画像を表示装置へ表示させる処理部と、を備え、前記処理部は、前記撮像データに基づき、複数の領域で構成される検知枠を生成し、生成した前記検知枠を前記色画像に重ねて前記表示装置へ表示させ、複数の前記領域毎に温度情報を表示させる。【選択図】図8
Description
本開示は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。
熱画像センサからの熱画像データを入力し、予め設定されたカラーマップに基づき、熱画像データをRGB画像へ変換して可視化し、さらに、熱画像データを複数のエリアデータへ細分化し、それぞれのエリアに閾値温度を設けて、エリアごとの温度と閾値温度とを比較して、閾値温度を超えた場合に発報する技術が知られている(例えば特許文献1)。熱画像センサは、設備などの監視対象から発生する赤外線量を入力して、熱画像データとして出力するサーモカメラなどである。特許文献1の従来技術によれば、監視エリア(熱画像センサの画角相当)内においてオペレータが任意に設定した検知エリアの設定情報に基づき、トレンドグラフを作成して、トレンドグラフを表示装置へリアルタイムに表示できる。
しかしながら、従来技術によれば、検知エリアが監視エリア内の一部に限定されるため、例えば、異常状態となった監視対象から発生した火花などが、検知エリア外に存在する装置などに飛び火した場合、当該装置の温度が異常な値になり得るが、検知エリア外に存在する装置であるため、異常検知を行うことが困難である。このように、従来技術では、監視対象の温度を検知する上で改善の余地がある。
本開示は、上記課題に鑑み、監視対象の温度を適切に検知できる。
上記課題に鑑み、本開示に係る情報処理装置は、撮像装置から出力される撮像データを受信する情報受信部と、受信した前記撮像データに基づき色画像を生成し、生成した前記色画像を表示装置へ表示させる処理部と、を備え、前記処理部は、前記撮像データに基づき、複数の領域で構成される検知枠を生成し、生成した前記検知枠を前記色画像に重ねて前記表示装置へ表示させ、複数の前記領域毎に温度情報を表示させる。
本開示によれば、監視対象の温度を適切に検知できるという効果を奏する。
以下、本開示を実施するための形態について図面を用いて説明する。
図1は本実施の形態に係る情報処理装置100の構成例を示す図である。情報処理装置100は、撮像装置の一例であるカメラ1からの撮像データを入力して各種処理を行う処理部101と、各種データを記憶する記憶部103とを備える。また、情報処理装置100は、処理部101による処理結果を表示する表示装置102と接続されている。尚、図1の例では、表示装置102は、情報処理装置100の外部に設けられるものとしたが、表示装置102は、情報処理装置100が有していても良い。
撮像データには、少なくとも温度撮像データが含まれ、RGB撮像データが含まれるるとより好ましい。温度撮像データ及びRGB撮像データの詳細については後述する。
情報処理装置100には、例えばクラウドサーバなどの外部装置200が接続される。なお外部装置200は、クラウドサーバに限定されず、例えば、記録媒体等でもよい。また、情報処理装置100は、処理部101による処理結果が表示される表示装置102が接続される。
以下に、図2を参照して、処理部101から表示装置102に送信されるデータについて説明する。
図2は、本実施の形態に係る表示装置102に送信するデータの一例を示す図である。本実施形態の処理部101は、表示装置102に対し、処理結果として、検知枠の名前を示す情報、表示装置102における検知枠の表示位置を示す情報、検知枠の温度代表値、検知枠の温度閾値、アラートグラフ(高温)、アラートグラフ(低温)、アラートグラフが真になった時間等を送信する。なお、処理部101の処理の詳細は後述する。
図3及び図4を参照して情報処理装置100の監視対象301について説明する。図3は監視対象301を含む機器300を横側から見た図である。図4は監視対象301を含む機器300を上側から見た図である。この機器300は、例えば加硫炉であり、ここでは、加硫炉の発熱部(例えば電気ヒータなど)を、情報処理装置100の監視対象301としている。点線で囲まれる領域は、カメラ1による監視領域1aであり、監視領域1aには、監視対象301と、監視対象301の周囲領域302とが含まれる。監視領域1aのサイズは、例えば、カメラ1が備えるサーモカメラ及びRGBカメラのそれぞれの画角に等しい。サーモカメラ及びRGBカメラの詳細については後述する。
なお、周囲領域302は、発熱部の周囲全体でもよいし、発熱部の周囲の一部でもよい。発熱部の周囲の一部は、例えば発熱部の正面側(カメラ1側)の領域、発熱部の背面側(カメラ1側とは反対側)の領域でもよいし、これらの領域以外の部分(発熱部の上部側など)でもよい。
なお、機器300は、加硫炉に限定されず、例えば、鉛バッテリー、配電盤などでもよい。機器300が鉛バッテリーの場合、例えば、鉛バッテリー本体が監視対象301に相当し、鉛バッテリーの正極端子又は負極端子に接続される配線などが周囲領域302に存在する設備に相当する。機器300が配電盤の場合、例えば、配電盤本体が監視対象301に相当し、配電盤に接続されるケーブルなどが周囲領域302に存在する設備に相当する。
以下、図5を参照して、情報処理装置100による監視動作の概要を説明し、その後、図6などを参照して、情報処理装置100の構成及び動作を詳細に説明する。
図5は本実施の形態に係る情報処理装置100による監視動作の概要を説明するための図である。まず情報処理装置100は、監視領域1aを撮像して得られた撮像データに基づき、監視領域1aの色画像10を生成し、生成した色画像10を表示装置102へ表示させる。色画像10は、例えば、監視対象301の色画像301aと、周囲領域302の色画像302aとを含む。次に情報処理装置100は、監視領域1aを撮像して得られた撮像データに基づき、監視領域1aの温度を検知するための検知枠20を生成し、生成した検知枠20を色画像10に重ねて、表示装置102へ表示させる。
なお、検知枠20は、少なくとも、色画像301a及び色画像302aのそれぞれの少なくとも一部と重なるように表示されるものとし、色画像301a及び色画像302aのそれぞれの全体と重なるように表示されることがより好ましい。
また、検知枠20の形状は四角形状に限定されず、色画像301a及び色画像302aのそれぞれの少なくとも一部と重なるように表示されるような形状であれば、たとえば楕円形などでもよい。また、検知枠20を構成する複数のセル(複数の領域)20aも、四角形状以外の形状でもよい。また、図示例の複数のセル20aは、規則的に縦と横に配列されているが、不規則に配列されてもよい。
そして、情報処理装置100は、検知枠20を構成する複数のセル20aのそれぞれにおいて、色画像301a及び色画像302aの温度を、所定の閾値(異常温度判定用の設定値)と比較し、温度が閾値を超える場合、アラート処理を行う。アラート処理は、例えば表示装置102、外部装置200などにメールで報知し、外部装置200などに設けられるシグナルライトの色表示を通常状態から警告状態に変化させ、外部装置200などに設けられるスピーカーから警報音を発生させる、などの処理である。
なお、閾値には、上限値から下限値まで、例えば100℃〜90℃まで一定の幅を持たせて、その上限値を超えたとき、又は下限値未満となったとき、アラート処理が行われる。アラート処理の例は後述する。
図6は情報処理装置100のハードウェア構成例を示す図である。情報処理装置100は、CPU(Central Processing Unit)501、RAM(Random Access Memory)502、ROM(Read Only Memory)503、ストレージ504、ネットワークI/F(Interface)505、入力デバイス506、表示デバイス507、外部I/F508、及び、データ、制御信号等を伝送するバス509を有する。
CPU501は、ROM503やストレージ504等に格納されたプログラムやデータをRAM502上に読み出し、処理を実行することで、情報処理装置100の各機能を実現する演算装置である。RAM502は、CPU501のワークエリア等として用いられる揮発性のメモリである。ROM503は不揮発性のメモリである。ストレージ504は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の記憶装置であり、例えば、OS(Operation System)、アプリケーションプログラム、各種データ等を記憶する。
ネットワークI/F505は、情報処理装置100をネットワーク104に接続するための通信インタフェースである。入力デバイス506は、マウス、キーボード等の入力装置であり、情報処理装置100に各種の操作を入力するために用いられる。表示デバイス507はディスプレイ等の表示装置であり、情報処理装置100による処理結果等を表示するために用いられる。外部I/F508は、情報処理装置100に外部装置200を接続するためのインタフェースである。情報処理装置100の機能は、例えば、所定のプログラムを実行することにより実現される。
図7はカメラ1のハードウェア構成例を示す図である。カメラ1は、CPU601、メモリ602、ネットワークI/F603、サーモカメラ605、RGB(Red/Green/Blue)カメラ606、及び、データ、制御信号等を伝送するバス609等を有する。
CPU601は、メモリ602に格納された所定のプログラムを実行することにより、カメラ1の各機能を実現する演算装置である。メモリ602は、例えば、RAM、ROM、フラッシュROM等の記憶装置である。ネットワークI/F603は、カメラ1をネットワーク104に接続するための通信インタフェースである。
サーモカメラ605は、監視対象301が発する熱を赤外線として撮像する撮像手段である。サーモカメラ605は、例えば、図3及び図4に示すように、監視領域1a内を撮像して、撮像した監視領域1a内の物体や空間の温度に換算することで、温度撮像データを生成して出力する。温度撮像データは、MxN(例えば縦60×横80)の複数の画素(ピクセル)で構成される。複数の画素には、監視領域1a内の監視対象301に対応する画素群と、監視対象301の周囲領域302に対応する画素群とが含まれる。
RGBカメラ606は、例えば、監視領域1a内を撮像して、撮像した監視領域1a内の物体や空間の色を、RGB(3色)のそれぞれの強度値で表すRGB撮像データを生成して出力する。RGB撮像データは、温度撮像データと同様に、MxNの複数の画素(ピクセル)で構成される。
以下では、温度撮像データとRGB撮像データを区別しない場合、「撮像データ」と称する場合がある。
図8は情報処理装置100及びカメラ1の機能構成例を示す図である。情報処理装置100は、通信部701、情報受信部702、検知部703、通知制御部704、表示制御部707、及び記憶部103を備える。情報処理装置100は、所定のプログラムを実行することにより、通信部701、情報受信部702、検知部703、通知制御部704、表示制御部707などの機能を実現する。
通信部701は、情報処理装置100をネットワーク104に接続して、カメラ1、外部装置200等との通信を行う。情報受信部702は、カメラ1からの撮像データを受信して、記憶部103に記憶する。
検知部703は、カメラ1からの撮像データに基づき、検知枠20内の各領域(セル20a)における温度変化を検知する。通知制御部704は、検知枠20を構成する複数のセル20aにおいて、色画像301a及び色画像302aの温度を所定の閾値(異常温度判定用の設定値)と比較し、温度が閾値を超える場合、アラート処理、すなわち報知(通知)処理を行う。なお、以下の説明では、通知処理を行うことを、温度が閾値を超えることを通知する、と表現する場合がある。
表示制御部707は、例えば表示装置102による表示を制御し、又は外部装置200による表示を制御する。表示制御部707は、色画像表示部707a、検知枠表示部707b、及び温度表示部707cを備える。
色画像表示部707aは、監視対象と監視対象の周囲とを含む監視領域を撮像する撮像部から出力される撮像データに基づき、監視領域の色画像を生成し、生成した色画像を表示装置へ表示させる。検知枠表示部707bは、撮像データに基づき、監視領域の温度を検知するための複数のセルで構成される検知枠を生成して、生成した検知枠を色画像に重ねて表示装置へ表示させる。温度表示部707cは、検知枠を構成する複数のセルに、少なくとも温度を表示させる。
つまり、温度表示部707cは、検知枠を構成する複数の領域毎に、少なくとも温度を示す温度情報を表示させる。
温度の表示は、例えば、温度の値(25℃、40℃など)、温度の値に対応する色(25℃は青、40℃は赤など)でもよい。
カメラ1は、通信部721、撮像データ取得部722、及び情報送信部724を備える。
通信部721は、カメラ1をネットワーク104に接続して、情報処理装置100等と通信を行う。撮像データ取得部722は、前述したサーモカメラ605及びRGBカメラ606を利用して撮像データを取得する。情報送信部724は、撮像データ取得部722で取得された撮像データを、情報処理装置100に送信する。
次に図9から図17を参照して情報処理装置100の動作を説明する。
図9は情報処理装置100の動作例を説明するためのフローチャートである。
ステップS1において、情報処理装置100のプログラムが起動することにより、処理部101がカメラ1にアクセスして、撮像データを取得する。
ステップS2において、撮像データを取得した処理部101は、あらかじめ設定されたカラーマップに基づき、撮像データをRGB色画像へ変換する。変換された色画像は、情報処理装置100のメモリに記録される(ステップS3)。
処理部101は、所定時間分(例えば数分間)の撮像データが溜まったとき(ステップS4;Yes)、動画ファイルを保存フォルダへ保存する(ステップS5)。
これにより、監視対象301で異常が発生した場合、オペレータは、監視対象301とその周囲の状況を動画で確認でき、異常原因を容易に特定できる。
ステップS6において、処理部101は、色画像をGUI画面(表示装置102、外部装置200のモニタなどに表示される操作画面など)へ表示させて、さらに、色画像の上に検知枠を描画させる。
色画像及び検知枠の一例を図10に示す。図10は検知枠と色画像の一例を示す図である。図10の左側には検知枠の一例が示され、図10の右側には色画像の一例が示される。
図11はGUI画面に表示される色画像の一例を示す図である。図11には、検知枠が重ねられる前の状態が示される。なお、色画像は、図11において(1)で示す領域(GUI画面の左側の領域)に表示される。
図12はGUI画面上の色画像に検知枠を重ねた状態を表す図である。検知枠は、例えば100個の格子(縦10セル×横10セル)で構成される。この検知枠が色画像に重なるように表示される。このとき、検知枠は、色画像と区別できるような色(例えば青色)で表示される。
なお、GUI画面の右側の領域には、(2)〜(6)で示される設定用ボタンなどが表示される。例えば(2)の「設定」欄には、画像を保存する際の任意の名前を設定できる。(3)の「検知枠表示」ボタンは、撮像データのみ表示させるか、検知枠のみ表示させるか、これらの双方を表示させるかを切り替えるためのボタンである。(4)の「検知枠設定」欄は、温度閾値を設定できる。(5)の「メール設定」欄は、報知先のメールアドレスを設定できる。(6)の「カメラ画像設定」欄は、色画像の表示態様を任意に変更するために設けられ、例えば、温度範囲を20℃から300℃までの範囲に設定したり、検知枠内のセルの色を、異常検知時に例えば赤色に塗り潰す(他のセルは変更なし)などの設定を行うことができる。
図9に戻り、ステップS7において、処理部101は、図12に示すように、検知枠内の各セル(枠)に、枠名(各枠の名前、例えばG1などである。Gがグリッドの略である。)、温度、閾値、時間などを表示させる。なお、枠名、温度、閾値、時間が変化すると、処理部101は、検知枠内の情報を逐次更新する。
ステップS8において、処理部101は、例えばステップS20の処理において、各セルに対応する温度が閾値を超えたことにより、アラートフラグが真(=1)になった判断した場合、該当するセルの検知枠を、例えば青色から赤色に変化させる(ステップS9)。すなわち、複数のセルの内、温度が異常温度に達した箇所を強調表示させる。
そして処理部101は、そのときの静止画像(GUI画面、色画像など)を保存フォルダへ保存し(ステップS10)、通知制御部704は、その画像をメールに添付し、アラートメールとして任意のメールアドレスへ送信する(ステップS11)。なお、保存フォルダは、記憶部103に生成されても良い。したがって、記憶部103は、色画像を記憶する記憶部の一例である。
次に、ステップS12〜ステップS17において、処理部101は、温度撮像データ(例えば横80×縦60のピクセルで構成されるデータ)を、例えば横10×縦10で小行列に分割、すなわち色画像を小行列に分割する(図13参照)。これにより、小行列の1つあたりN/10×M/10の行列となる。N及びMは1以上の整数である。分割された温度撮像データの小行列データを順番に処理し、小行列内のすべての温度ピクセルから平均温度値を計算し(図13参照)、ノイズ処理を行う。ノイズ処理は、突発的な異常を排除するための処理である。
ステップS18において、処理部101は、プログラム起動後である場合(ステップS18;Yes)、温度撮像データを閾値として登録する(ステップS19)。
続いて、処理部101は、計算した平均温度値と閾値を比較して、平均温度値が閾値を超えた場合(ステップS20;Yes)、アラートフラグを立てる(ステップS21)。
最後に、処理部101は、計算した平均温度値をCSV形式(図13参照)で保存フォルダへ保存する(ステップS22)。
なお、ここまでは色画像上に検知枠を描画する動作例について説明したが、RGB画像上に検知枠を描画してもよい。以下では、図14から図16を参照し、RGB画像に検知枠を描画等する動作例について説明する。なお、以下では、図9に示す処理と同様の処理については説明を省略し、図9に示す処理と異なる処理について説明する。
図14は変形例に係る動作例を説明するためのフローチャートである。図15はGUI画面に表示されるRGB画像の一例を示す図である。図16はGUI画面上のRGB画像に検知枠を重ねた状態を表す図である。
例えばステップS1の前に、処理部101は、カメラ1からのRGB撮像データを取得すると、RGB撮像データをRGB画像へ変換する(ステップS31)。処理部101は、図15に示すようにRGB画像をGUI画面へ表示し、さらに、図16に示すようにRGB画像の上に検知枠を描画する(ステップS36)。
なお、RGB撮像データをRGB画像へ変換する処理は、ステップS2で行ってもよいし、色画素への変換処理後(ステップS36など)に行ってもよい。また、処理部101は、RGB画像を色画像と共にメモリに記録し、RGB画像が所定時間溜まったとき、動画ファイルを任意の保存フォルダへ保存してもよい。これにより、オペレータは、図15に示すような鮮明な動画像を確認しながら、異常原因を容易に特定できる。
ステップS37において、処理部101は、検知枠内の各セル(枠)に、枠名、温度、閾値、時間などを表示する。
続いて、ステップS12から〜ステップS17において、処理部101は、温度撮像データを、例えば横10×縦10で小行列に分割する。これにより、小行列の1つあたりM/10×N/10の行列となる。M及びNは1以上の整数である。分割された温度撮像データの小行列データを順番に処理し、小行列内のすべての温度ピクセルの中から代表値を計算し、ノイズ処理を行う。
処理部101は、プログラム起動後に所定時間が経過するまでは、計算したピクセルの代表値をメモリに保存することで、所定時間分の温度撮像データから、代表値を計算して閾値値として登録する(ステップS18〜ステップS19)。
その後、処理部101は、メモリをクリアし(ステップS50)、気温や季節変動による外部温度変化があった場合は閾値にその変動分を反映し、新たな閾値とする(ステップS51)。
計算した平均温度値と閾値を比較して平均温度値が閾値を外れた場合はアラートフラグを立てる(ステップS21)。最後に計算した平均温度値をファイルとして保存フォルダへ保存する(ステップS52)。
図17は温度の変化傾向を表すグラフの表示例を示す図である。図17に示すグラフは、例えば、図12に示す複数のセル(グリッド)内の任意のものが選択されたときに表示され、それぞれのセルに表示される温度の時系列的な推移を表す。当該グラフは、例えば一定間隔(数秒間隔、数分間隔など)で計測された温度をプロットしたものである。これにより、各グリッドでの温度の変化傾向(温度変化トレンド)を確認できる。
また、閾値を超えた時刻に示されるバーをオペレータがクリックすることで、該当する時刻に撮像された画像のファイル(動画ファイル、静止画ファイルの少なくとも一方)を再生し、あるいはアラート履歴を表示させてもよい。なお、図12に示す複数のセル(グリッド)内、任意に複数のセルをまとめて選択した場合に、それらのセルの温度の平均値をグラフ表示するように構成してもよい。
以上に説明したように、本実施の形態に係る情報処理装置100は、監視対象と監視対象の周囲とを含む監視領域を撮像する撮像部から出力される撮像データに基づき、監視領域の色画像を生成し、生成した色画像を表示部へ表示させる色画像表示部と、撮像データに基づき、監視領域の温度を検知するための複数のセルで構成される検知枠を生成して、生成した検知枠を色画像に重ねて表示部へ表示させる検知枠表示部と、セルに温度を表示させる温度表示部と、を備えるように構成される。
この構成によれば、監視対象301とその周囲領域302とを含む監視領域1aを撮像して得られた撮像データによって、監視領域1aの色画像10に検知枠20が重ね合わせた状態で表示装置へ表示され、検知枠20内のセルに少なくとも監視領域1a内の温度が表示される。従って、図3及び図4のような監視領域1aが設定された場合でも、監視対象301から発生した火花などが監視対象301の周囲に存在する設備に飛び火したときに、当該設備の温度を監視できる。また、監視対象301の周囲に熱源(例えば人や移動式の装置など)が近づいたときでも、監視対象301に異常が生じていない場合には、当該熱源によって監視対象301の温度異常を誤検知することがない。その結果、監視対象301以外の熱源による、監視対象301の温度異常の誤検知を抑制しながら、適切に監視対象301の温度を検知できる。
また情報処理装置100によれば、色画像全体に検知エリア(検知枠)を設けることにより、広域の温度を捉えることができる熱画像センサ(カメラ1)の特徴を充分に活かすことができる。
また、動画像を記録することにより、熱画像センサの温度を可視化するという特徴を充分に活かすことができる。なお、従来技術では、温度が閾値温度を超えたときの画像のみが保存されるため、監視対象301の出火時点の前後一定時間の状況を確認できない。これに対して、本実施の形態の情報処理装置100によれば、監視対象301の状態を詳細に確認でき、例えば監視対象301の出火の原因が、周囲設備の異常に起因するのか、監視対象301自体の異常に起因するのか、などを切り分けることができる。さらに、温度撮像データのグラフよりも、動画像の方が視覚的に異常温度の傾向や原因を捉えやすい。
また、本実施の形態によれば、カメラ1の画角内であれば、どの位置の温度変化にも対応できるため、システムの稼働中は常にエリアごとの温度撮像データと熱画像センサの可視化画像を保存して、情報処理装置100による通知処理の前後の温度撮像データに基づき、異常傾向を分析できる。
なお、検知枠の生成方法は、特に限定されるものではなく、行列データで検知枠を生成してもよいし、例えばワイヤーフレームで検知枠を表現してもよい。
また、情報処理装置100は、色画像の生成が停止後、一定時間経過したとき自動的に再起動するように構成してもよい。これにより、色画像などの生成が一時的に停止した場合でも、画像生成のリアルタイム性を損なうことなく継続した監視が可能になる。
また、サーモカメラ605及びRGBカメラ606のそれぞれの画角が異なる場合があるため、情報処理装置100は、色画像又はRGB画像に検知枠を重ね合わせるとき、サーモカメラ605及びRGBカメラ606のそれぞれの画角を補正して、補正後の色画像又はRGB画像に検知枠を重ねるように構成することが好ましい。
また、本実施の形態に係る情報処理システムは、情報処理装置100と撮像部であるカメラ1とを備える。
また、本実施の形態に係る情報処理装置の情報処理方法は、撮像装置から出力される撮像データにを受信する受信ステップと、受信した前記撮像データに基づき色画像を生成し、生成した前記色画像を表示装置へ表示させる処理ステップと、を備え、前記処理ステップは、前記撮像データに基づき、複数の領域で構成される検知枠を生成し、生成した前記検知枠を前記色画像に重ねて前記表示装置へ表示させ、複数の前記領域毎に温度情報を表示させる。
また、本実施の形態に係るプログラムは、コンピュータに、撮像装置から出力される撮像データにを受信する受信ステップと、受信した前記撮像データに基づき色画像を生成し、生成した前記色画像を表示装置へ表示させる処理ステップと、を実行させ、前記処理ステップは、前記撮像データに基づき、複数の領域で構成される検知枠を生成し、生成した前記検知枠を前記色画像に重ねて前記表示装置へ表示させ、複数の前記領域毎に温度情報を表示させる。
1 :カメラ
1a :監視領域
10 :色画像
20 :検知枠
100 :情報処理装置
101 :処理部
102 :表示装置
300 :機器
301 :監視対象
301a :色画像
302 :周囲領域
302a :色画像
605 :サーモカメラ
606 :RGBカメラ
703 :検知部
704 :通知制御部
707 :表示制御部
1a :監視領域
10 :色画像
20 :検知枠
100 :情報処理装置
101 :処理部
102 :表示装置
300 :機器
301 :監視対象
301a :色画像
302 :周囲領域
302a :色画像
605 :サーモカメラ
606 :RGBカメラ
703 :検知部
704 :通知制御部
707 :表示制御部
Claims (12)
- 撮像装置から出力される撮像データを受信する情報受信部と、
受信した前記撮像データに基づき色画像を生成し、生成した前記色画像を表示装置へ表示させる処理部と、を備え、
前記処理部は、前記撮像データに基づき、複数の領域で構成される検知枠を生成し、生成した前記検知枠を前記色画像に重ねて前記表示装置へ表示させ、
複数の前記領域毎に温度情報を表示させる、情報処理装置。 - 前記色画像を複数記憶する記憶部を備え、
前記処理部は、記憶された複数の前記色画像を動画として前記表示装置へ表示させる請求項1に記載の情報処理装置。 - 前記表示装置に、パラメータを変更するGUIを表示させる請求項1又は2に記載の情報処理装置。
- 前記領域に、温度を判定する閾値を表示させる請求項1から3の何れか一項に記載の情報処理装置。
- 前記閾値は、上限値から下限値までの一定の幅を持つ値であり、
前記温度が上限値を超えたとき、又は前記温度が前記下限値未満となったときに、閾値ほ超えたことを通知する通知制御部を有する、請求項4に記載の情報処理装置。 - 前記通知は、前記色画像を含むメールにより行う請求項5に記載の情報処理装置。
- 外部装置に対して前記通知を行う請求項5又は6に記載の情報処理装置。
- 複数の前記領域の内、温度が異常温度に達した箇所を強調表示させる請求項1から7の何れか一項に記載の情報処理装置。
- 前記色画像の生成が停止後、一定時間経過したとき自動的に再起動する請求項1から8の何れか一項に記載の情報処理装置。
- 請求項1から9の何れか一項に記載の情報処理装置と、
前記撮像装置と、前記表示装置と、
を備える情報処理システム。 - 情報処理装置による情報処理方法であって、前記情報処理装置が、
撮像装置から出力される撮像データにを受信する受信ステップと、
受信した前記撮像データに基づき色画像を生成し、生成した前記色画像を表示装置へ表示させる処理ステップと、を備え、
前記処理ステップは、
前記撮像データに基づき、複数の領域で構成される検知枠を生成し、生成した前記検知枠を前記色画像に重ねて前記表示装置へ表示させ、
複数の前記領域毎に温度情報を表示させる、情報処理方法。 - コンピュータに、
撮像装置から出力される撮像データにを受信する受信ステップと、
受信した前記撮像データに基づき色画像を生成し、生成した前記色画像を表示装置へ表示させる処理ステップと、を実行させ、
前記処理ステップは、
前記撮像データに基づき、複数の領域で構成される検知枠を生成し、生成した前記検知枠を前記色画像に重ねて前記表示装置へ表示させ、
複数の前記領域毎に温度情報を表示させる、処理を前記コンピュータに実行させるプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020001631A JP2021111852A (ja) | 2020-01-08 | 2020-01-08 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
US17/771,814 US20230003585A1 (en) | 2020-01-08 | 2020-12-17 | Information processing apparatus, information processing system, information processing method, and storage medium |
CN202080092052.XA CN114930801A (zh) | 2020-01-08 | 2020-12-17 | 信息处理装置、信息处理***、信息处理方法和存储介质 |
EP20828558.5A EP4088448A1 (en) | 2020-01-08 | 2020-12-17 | Information processing apparatus, information processing system, information processing method, and storage medium |
PCT/IB2020/062077 WO2021140389A1 (en) | 2020-01-08 | 2020-12-17 | Information processing apparatus, information processing system, information processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020001631A JP2021111852A (ja) | 2020-01-08 | 2020-01-08 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021111852A true JP2021111852A (ja) | 2021-08-02 |
Family
ID=73856535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020001631A Pending JP2021111852A (ja) | 2020-01-08 | 2020-01-08 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230003585A1 (ja) |
EP (1) | EP4088448A1 (ja) |
JP (1) | JP2021111852A (ja) |
CN (1) | CN114930801A (ja) |
WO (1) | WO2021140389A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116740653A (zh) * | 2023-08-14 | 2023-09-12 | 山东创亿智慧信息科技发展有限责任公司 | 一种配电箱运行状态监测方法及*** |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH089949A (ja) * | 1994-06-28 | 1996-01-16 | Japan Tobacco Inc | 燃焼試験装置 |
JPH10148580A (ja) * | 1996-11-19 | 1998-06-02 | Nippon Avionics Co Ltd | 擬似カラー熱画像をアラーム表示に用いた温度監視方法及び装置 |
JPH10274972A (ja) * | 1998-04-22 | 1998-10-13 | Fuji Xerox Co Ltd | ユーザインターフェース用表示装置 |
JP2004289323A (ja) * | 2003-03-19 | 2004-10-14 | Fujitsu General Ltd | 監視カメラシステムの制御方法 |
JP3634845B2 (ja) * | 2000-09-04 | 2005-03-30 | 昇 早川 | 温度表示装置及び温度監視システム |
JP2010181324A (ja) * | 2009-02-06 | 2010-08-19 | Sanyo Electric Co Ltd | 温度計測表示装置および携帯情報通信端末 |
JP2010216858A (ja) * | 2009-03-13 | 2010-09-30 | Yamagata-Chino Corp | トレンドグラフ表示システム |
US20110001809A1 (en) * | 2009-07-01 | 2011-01-06 | Fluke Corporation | Thermography methods |
JP2011047747A (ja) * | 2009-08-26 | 2011-03-10 | Sanyo Electric Co Ltd | 温度計測表示装置及び携帯情報通信端末 |
JP2016520836A (ja) * | 2013-05-29 | 2016-07-14 | 浩 王 | 熱画像装置、分析装置および熱画像撮影方法、分析方法 |
US20170094228A1 (en) * | 2015-06-29 | 2017-03-30 | Quantum IR Technologies, LLC | Methods and systems for hotspot detection |
WO2019203351A1 (ja) * | 2018-04-20 | 2019-10-24 | パナソニックIpマネジメント株式会社 | 画像表示装置及び画像表示方法 |
US20190364227A1 (en) * | 2004-12-03 | 2019-11-28 | Fluke Corporation | Visible light and ir combined image camera |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7187840B2 (ja) | 2018-06-29 | 2022-12-13 | 株式会社アイシン | 牽引支援装置 |
-
2020
- 2020-01-08 JP JP2020001631A patent/JP2021111852A/ja active Pending
- 2020-12-17 US US17/771,814 patent/US20230003585A1/en active Pending
- 2020-12-17 CN CN202080092052.XA patent/CN114930801A/zh active Pending
- 2020-12-17 EP EP20828558.5A patent/EP4088448A1/en active Pending
- 2020-12-17 WO PCT/IB2020/062077 patent/WO2021140389A1/en unknown
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH089949A (ja) * | 1994-06-28 | 1996-01-16 | Japan Tobacco Inc | 燃焼試験装置 |
JPH10148580A (ja) * | 1996-11-19 | 1998-06-02 | Nippon Avionics Co Ltd | 擬似カラー熱画像をアラーム表示に用いた温度監視方法及び装置 |
JPH10274972A (ja) * | 1998-04-22 | 1998-10-13 | Fuji Xerox Co Ltd | ユーザインターフェース用表示装置 |
JP3634845B2 (ja) * | 2000-09-04 | 2005-03-30 | 昇 早川 | 温度表示装置及び温度監視システム |
JP2004289323A (ja) * | 2003-03-19 | 2004-10-14 | Fujitsu General Ltd | 監視カメラシステムの制御方法 |
US20190364227A1 (en) * | 2004-12-03 | 2019-11-28 | Fluke Corporation | Visible light and ir combined image camera |
JP2010181324A (ja) * | 2009-02-06 | 2010-08-19 | Sanyo Electric Co Ltd | 温度計測表示装置および携帯情報通信端末 |
JP2010216858A (ja) * | 2009-03-13 | 2010-09-30 | Yamagata-Chino Corp | トレンドグラフ表示システム |
US20110001809A1 (en) * | 2009-07-01 | 2011-01-06 | Fluke Corporation | Thermography methods |
JP2011047747A (ja) * | 2009-08-26 | 2011-03-10 | Sanyo Electric Co Ltd | 温度計測表示装置及び携帯情報通信端末 |
JP2016520836A (ja) * | 2013-05-29 | 2016-07-14 | 浩 王 | 熱画像装置、分析装置および熱画像撮影方法、分析方法 |
US20170094228A1 (en) * | 2015-06-29 | 2017-03-30 | Quantum IR Technologies, LLC | Methods and systems for hotspot detection |
WO2019203351A1 (ja) * | 2018-04-20 | 2019-10-24 | パナソニックIpマネジメント株式会社 | 画像表示装置及び画像表示方法 |
Also Published As
Publication number | Publication date |
---|---|
EP4088448A1 (en) | 2022-11-16 |
CN114930801A (zh) | 2022-08-19 |
US20230003585A1 (en) | 2023-01-05 |
WO2021140389A1 (en) | 2021-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021042816A1 (zh) | 一种检测监控设备故障的方法、装置 | |
US10796543B2 (en) | Display control apparatus, display control method, camera system, control method for camera system, and storage medium | |
US10719946B2 (en) | Information processing apparatus, method thereof, and computer-readable storage medium | |
US10404947B2 (en) | Information processing apparatus, information processing method, camera system, control method for camera system, and storage medium | |
WO2017107647A1 (zh) | 一种基于摄像机的监控方法、装置及*** | |
US20110285846A1 (en) | Electronic device and method for monitoring specified area | |
KR101685950B1 (ko) | 자가 고장 진단 기능이 구비된 올인원 녹화 장치 | |
KR102497380B1 (ko) | 실시간 온도변화 및 전원 상태 확인이 가능한 전원제어 분전반 및 이를 이용한 제어 방법 | |
US20160372157A1 (en) | Display control apparatus, display control method, and storage medium | |
JP2021111852A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JPWO2020085303A1 (ja) | 情報処理装置及び情報処理方法 | |
JP5710230B2 (ja) | 監視システムおよび監視方法 | |
JP7047638B2 (ja) | ガス可視化用画像処理装置、ガス可視化用画像処理方法、ガス可視化用画像処理プログラム、及び、ガス検知システム | |
US11792503B2 (en) | Imaging apparatus | |
JP5461623B2 (ja) | 監視システムにおける監視データ処理 | |
TWM464777U (zh) | 監控裝置 | |
JP5814668B2 (ja) | 画像処理装置 | |
US11172159B2 (en) | Monitoring camera system and reproduction method | |
TWM495585U (zh) | 居家保全影像監控系統 | |
JP2022147686A (ja) | 撮像システム及び撮像方法 | |
KR20100120929A (ko) | 송전선로 감시진단용 카메라센서의 촬영영상 판독방법 | |
JP2017055262A (ja) | データ欠損画素検出装置 | |
TW201828146A (zh) | 電腦程序管理方法與系統 | |
JP6128203B2 (ja) | 画像認識装置 | |
JP2021108448A (ja) | サーマルカメラ健全度モニタリング |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240305 |