JP5772272B2 - 情報処理装置、及び情報処理方法 - Google Patents

情報処理装置、及び情報処理方法 Download PDF

Info

Publication number
JP5772272B2
JP5772272B2 JP2011134376A JP2011134376A JP5772272B2 JP 5772272 B2 JP5772272 B2 JP 5772272B2 JP 2011134376 A JP2011134376 A JP 2011134376A JP 2011134376 A JP2011134376 A JP 2011134376A JP 5772272 B2 JP5772272 B2 JP 5772272B2
Authority
JP
Japan
Prior art keywords
visible light
thermal image
light image
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011134376A
Other languages
English (en)
Other versions
JP2013002959A (ja
Inventor
笠間 晃一朗
晃一朗 笠間
純子 戸川
純子 戸川
俊宏 浅見
俊宏 浅見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011134376A priority Critical patent/JP5772272B2/ja
Priority to US13/477,193 priority patent/US20120320086A1/en
Publication of JP2013002959A publication Critical patent/JP2013002959A/ja
Application granted granted Critical
Publication of JP5772272B2 publication Critical patent/JP5772272B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Radiation Pyrometers (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、情報処理装置、及び情報処理方法に関する。
従来、画像処理技術の発達に伴い、小型の表示装置においても、物体の可視光画像の表示や撮影の可能な携帯端末がある。これらの携帯端末の中には、可視光画像だけでなく、物体の温度分布を画面上で容易に認識可能とする熱画像(サーモグラフィ)を表示するものもある。可視光画像は、可視光が物体によって反射した光を結像したものであることから、携帯端末のユーザは、可視光画像の解像度によっては、肉眼によっても物体の細部まで視認することができる。これに対し、熱画像は、物体の有する表面温度の差を色で識別表示するものであることから、ユーザは、物体の外形を認識することはできるが、細部の状態まで視認することは困難である。近年、これらの画像の特徴を活かし、可視光画像と熱画像とを同一画面上に重ねて表示する技術が提案されている。
特開2010−181324号公報 特開2005−037366号公報
しかしながら、上述した技術では、ユーザは、2つの画像を同時に見ることができるものの、同一の物体を撮像対象とする可視光画像と熱画像とを重ね合わせただけのため、一方の画像が他方の画像に埋もれてしまい、画像が見難くなってしまうという問題点があった。特に、物体における温度差が大きい場合には、ユーザは、周囲とは温度の異なる特定部分の温度分布を、より詳細に知りたいことが想定される。このような場合、2つの画像を重畳すると、特定部分の可視光画像が熱画像の色に埋もれてしまい、このことが、正確な温度分布を容易に認識することの妨げとなっていた。その結果、ユーザは、画面上の物体において、どの部位がどの程度の温度であるのかを明瞭に把握することが困難となっていた。
開示の技術は、上記に鑑みてなされたものであって、物体の特定部分の温度分布を明瞭かつ容易に認識することのできる情報処理装置、及び情報処理方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本願の開示する情報処理装置は、一つの態様において、可視光画像と熱画像とを重ねて表示させる。情報処理装置は、可視光画像取得部と熱画像取得部と表示制御部とを有する。可視光画像取得部は、物体の可視光画像を取得する。熱画像取得部は、前記物体の温度分布を示す熱画像を取得する。表示制御部は、取得された前記可視光画像と前記熱画像とを用いて、周囲の温度と異なる部分を特定し、当該特定部分の熱画像を、他の部分とは異なる表示形態で表示させる。
本願の開示する情報処理装置の一つの態様によれば、物体の特定部分の温度分布を明瞭かつ容易に認識することができるという効果を奏する。
図1は、情報処理装置の機能的構成を示す図である。 図2は、情報処理装置のハードウェア構成を示す図である。 図3は、情報処理装置の動作を説明するためのフローチャートである。 図4は、熱画像と可視光画像との対応付けを図るためのマトリックス情報の一例を示す図である。 図5は、可視光画像に対する輪郭特定処理を説明するためのフローチャートである。 図6は、熱画像の特定領域に対する表示形態変更処理を説明するためのフローチャートである。
以下に、本願の開示する情報処理装置、及び情報処理方法の実施例を、図面を参照しながら詳細に説明する。なお、以下の実施例により本願の開示する情報処理装置、及び情報処理方法が限定されるものではない。
以下、本願の開示する情報処理装置の実施例について、図面を参照しながら説明する。まず、本願の開示する一実施例に係る情報処理装置の構成を説明する。図1は、本実施例に係る情報処理装置10の機能的構成を示す図である。図1に示すように、情報処理装置10は、撮像部11と、可視光画像取得部12と、熱画像センサ13と、熱画像取得部14と、アプリケーション処理部15とを有する。これら各構成部分は、一方向又は双方向に、信号やデータの入出力が可能なように接続されている。
撮像部11は、固体撮像素子と画像処理プロセッサとを有し、固体撮像素子により撮像された被写体としての物体の写真を、画像処理プロセッサによりデジタル画像データに変換する。撮像部11は、このデジタル画像データを、可視光画像として可視光画像取得部12に出力する。
可視光画像取得部12は、後述するアプリケーション処理部15から通知された撮影モードに応じて、撮像部11に対する撮像手法の設定を行う。設定対象となる情報には、撮像画面のサイズ、フォーカス位置、フレームレート等が含まれる。また、可視光画像取得部12は、撮像部11から可視光画像を取得し、アプリケーション処理部15に出力する。
熱画像センサ13は、64画素以上のサーモパイル素子がアレイ状に実装された非接触型のセンサであり、撮像部11により撮像される被写体から放出される赤外線に基づいて、物体の表面温度を測定する。熱画像センサ13は、当該測定された表面温度の差が色で識別表示された温度分布の画像データを、熱画像として熱画像取得部14に出力する。なお、熱画像センサ13は、赤外線アレイセンサであってもよい。赤外線アレイセンサは、撮像部11の被写体から放射される赤外線を受光し、焦電効果を利用して被写体の表面温度をセンシングする。
熱画像取得部14は、熱画像センサ13から所定周期で入力される温度の情報を素子毎に保持及び管理する。熱画像取得部14は、例えば、可視光画像取得部12が撮像部11から可視光画像を取得する契機に応じて熱画像センサ13から熱画像を取得し、アプリケーション処理部15に出力する。なお、熱画像取得部14は、可視光画像取得部12の動作とは関係なく、熱画像センサ13から熱画像を取得してもよい。
アプリケーション処理部15は、可視光画像取得部12により取得された可視光画像と、熱画像取得部14により取得された熱画像とを用いて、後述のマトリックス情報から、周囲の温度と異なる部分を特定する。アプリケーション処理部15は、当該特定部分の熱画像を、他の部分とは異なる表示形態、すなわち、他の部分よりも高い画素数あるいは高い透過度で表示装置に表示させる。例えば、アプリケーション処理部15は、熱画像上で周囲と温度が異なる領域に相当する可視光画像の輝度を基に、当該領域の境界を画定する輪郭を特定するため、輪郭特定処理を実行する。また、アプリケーション処理部15は、輪郭特定処理により特定された輪郭内の可視光画像に相当する熱画像の表示形態を、高画素数または高透過度とするため、表示形態変更処理を実行する。すなわち、表示形態の変更前には、熱画像の画素数は、可視光画像の画素数よりも少ないが、アプリケーション処理部15は、後述する表示形態変更処理の実行により、熱画像の画素数の値を従前より増加させ、可視光画像の画素数と同等若しくはそれ以上の値に変更する。
なお、上述した情報処理装置10は、物理的には、例えば携帯電話によって実現される。図2は、情報処理装置10としての携帯電話のハードウェア構成を示す図である。図2に示すように、情報処理装置10は、物理的には、CPU(Central Processing Unit)10aと、カメラ10bと、熱画像センサ10cと、メモリ10dと、表示装置10eと、アンテナAを有する無線部10fとを有する。撮像部11は、上述したように、カメラ10bにより実現される。可視光画像取得部12、熱画像取得部14、アプリケーション処理部15は、例えばCPU10a等の集積回路によって実現される。また、可視光画像及び熱画像の各データは、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等のメモリ10dに保持される。可視光画像及び熱画像の重畳表示は、LCD(Liquid Crystal Display)等の表示装置10eにより実現される。
次に、情報処理装置10の動作を説明する。
図3は、情報処理装置10の動作を説明するためのフローチャートである。ユーザが、情報処理装置10の表示制御アプリケーションを起動すると(S1)、アプリケーション処理部15は、撮影モードを「熱画像」として、その旨を可視光画像取得部12に通知する(S2)。当該通知を受けた可視光画像取得部12は、撮像部11に対して、撮像画面のサイズ、フォーカス位置、フレームレート等の設定を行う(S3)。例えば、「熱画像」モード以外のモードとしては、被写体の可視光画像のみを撮像の対象とするモード(以下、「可視光画像モード」と記す。)がある。情報処理装置10は、可視光画像モードでは、レンズと被写体とのフォーカス距離を算出し、露光により被写体表面から得られた反射光を撮像素子において結像し、AD(Analog to Digital)変換した後、そのデータを可視光画像として、メモリ10dに記録する。これに対して、熱画像モードでは、情報処理装置10は、可視光画像に加えて、熱画像を撮像の対象とする。熱画像モードでは、情報処理装置10は、被写体から放射されている赤外線を検出し、その強度から被写体表面の温度分布を測定する動作を行う。すなわち、情報処理装置10は、被写体からレンズを介して集光された赤外線の放射エネルギー量を温度に換算し、温度に応じて画素単位で色付けを行った後、そのデータを熱画像として、上記可視光画像と併せて、メモリ10dに記録する。
撮像部11は、S3での設定内容に基づき被写体を撮像すると、撮像結果としての可視光画像を可視光画像取得部12に出力する。可視光画像取得部12は、当該可視光画像を撮像部11から入力し、これをアプリケーション処理部15に出力する(S4)。アプリケーション処理部15は、入力された可視光画像のデータをメモリ10dに保持させる。
一方、熱画像取得部14では、熱画像センサ13から所定周期で入力される熱画像のデータ(温度分布像データ)を取得し、これをアプリケーション処理部15に出力する(S5)。アプリケーション処理部15は、入力された熱画像のデータをメモリ10dに保持させる。
アプリケーション処理部15は、予めマッチングされた、メモリ10d内のマトリックス情報を参照して、輪郭特定処理(S6)及び表示形態変更処理(S7)を実行する。このとき参照されるマトリックス情報の一例を図4に示す。図4は、熱画像と可視光画像との対応付けを図るためのマトリックス情報151の一例を示す図である。図4に示すように、マトリックス情報151においては、320行、640列分の温度値、並びにY値及びUV値が、情報処理装置10の表示画面の全ての画素(640×320画素)に対応付けて保持されている。各温度値は、熱画像センサ13により測定された物体の表面温度を表す値である。また、各Y値は、可視光画像における輝度信号Yの値を表し、各UV値は、可視光画像における2つの色差信号U,Vの値を表す。これらの値は、物体の移動や表面温度の変化に伴い、個別かつ随時に更新可能に保持されている。
以下、図5を参照しながら、S6の輪郭特定処理について説明する。
図5は、可視光画像に対する輪郭特定処理を説明するためのフローチャートである。図5のS61では、アプリケーション処理部15は、S4及びS5で保持された、同サイズの可視光画像と熱画像の各データを、メモリ10dから取得する。次に、アプリケーション処理部15は、可視光画像データにおける1画素毎のY値及びUV値と、熱画像データにおける1画素毎の温度値とを、上記マトリックス情報151として取得し、メモリ10dに保持させる(S62)。マトリックス情報151の取得は、各データの上から1行ずつ、かつ、1画素毎に行われる。
アプリケーション処理部15は、マトリックス情報151を基に、隣接する画素との温度差が7℃以上あるか否かの判定を行う(S63)。かかる判定についても、熱画像データの上から1行ずつ、かつ、1画素毎に行われる。上記判定の結果、隣接する画素との温度差が7℃以上ある場合には(S63;Yes)、アプリケーション処理部15は、その画素の行及び列のペア値を、「位置情報」としてメモリ10dに保持させる(S64)。これに対して、隣接する画素との温度差が7℃未満である場合には(S63;No)、アプリケーション処理部15は、S64の処理を省略して、S65の処理に移行する。
S63及びS64の各処理は、熱画像データ上の全ての画素について繰り返し実行され(S65;Yes)、上記判定の行われていない残りの画素が無くなった時点(S65;No)で、アプリケーション処理部15は、S66以降の処理に移行する。
S66では、アプリケーション処理部15は、マトリックス情報151を基に、隣接する画素との輝度差(Y値の差)が、256階調で40階調以上あるか否かの判定を行う。かかる判定処理は、可視光画像データ上の全ての画素に対してではなく、S64において保持された、温度差のある画素の位置情報に相当する領域に対してのみ実行される。すなわち、アプリケーション処理部15は、温度差が小さい(7℃未満)と判定された領域については輝度差の判定処理を実行しない。したがって、全ての画素について実行する場合と比較して、輪郭特定処理に係る処理負荷が軽減されると共に、処理速度が向上する。
S66における判定の結果、隣接する画素との輝度差が40階調以上ある場合には(S66;Yes)、アプリケーション処理部15は、その画素に相当する位置情報(S64で保持された位置情報)を、「輪郭情報」としてメモリ10dに保持させる(S67)。これに対して、隣接する画素との輝度差が40階調未満である場合には(S66;No)、アプリケーション処理部15は、S67の処理を省略して、S68以降の処理に移行する。
なお、アプリケーション処理部15は、周囲との温度差が認められた全ての画素について、輝度差の判定処理を行うのではなく、温度差のある領域と他の領域との境界付近についてのみ、輝度差の判定処理を行うものとしてもよい。この場合、アプリケーション処理部15は、温度差のある領域内部における輝度差を認識することができないため、当該領域内部の輪郭を特定することはできないが、当該領域と他の領域との境界付近における輝度差を認識することはできる。したがって、かかる態様においても、アプリケーション処理部15は、温度差のある領域を囲う部分(輪郭部分)を特定することはできる。更に、輝度差の判定は、境界付近についてのみ行われるため、温度差が大きい(7℃以上)と判定された領域についてのみ行われる場合と比較してもなお、限定された領域に対して行われることになる。換言すれば、輝度差の判定処理の対象は、輪郭を特定するために最小限必要な画素に留まる。したがって、輪郭特定処理に係る処理負荷は軽減され、処理速度は向上する。
S66及びS67の各処理は、周囲と温度差があると判定された、可視光画像データ上の全ての画素について繰り返し実行され(S68;Yes)、上記判定の行われていない残りの画素が無くなった時点(S68;No)で、S69以降の処理に移行する。
S69では、アプリケーション処理部15は、S64で保持された位置情報の内、S67で輪郭情報として保持された位置情報の範囲内に属する画素を、「輪郭内情報」として保持する。これにより、物体において周囲と温度の異なる部分が、輪郭内情報を基に、可視光画像データ上で特定可能となる。
次に、図6を参照しながら、S7の表示形態変更処理について説明する。
図6は、熱画像の特定領域に対する表示形態変更処理を説明するためのフローチャートである。S71では、アプリケーション処理部15は、高画素数表示、高透過度表示の内、何れの表示形態が指示されているかを判定する。表示形態は、予め高画素数表示に設定されているが、自動またはユーザの手動操作により、高透過度表示に切替え可能である。
S71において、表示形態として「高画素数表示」が指示されている場合(S71;高画素数表示)には、アプリケーション処理部15は、輪郭内情報に相当する領域の熱画像の画素数を増加させる(S72)。以下、情報処理装置10が、最大で1200×600の画素数による表示が可能な表示装置10eを備える場合を例に採り、熱画像の画素数を増加させる方法について具体的に説明する。情報処理装置10は、輪郭内の表示形態を変更する前においては、例えば400×200の画素数により表示していた熱画像の画素数を、S72において、例えば600×300または1200×600の画素数に変更する。すなわち、表示形態の変更前は、アプリケーション処理部15は、表示形態の変更対象となる領域の熱画像データを構成する最小画素の内、左上端に位置する最小画素を特定し、当該画素から3行3列分の画素の温度値の平均値を温度値としていた。S72における表示形態の変更に際し、アプリケーション処理部15は、S69で保持された輪郭内情報から、表示形態を変更する領域を特定し、当該領域に該当する熱画像データを構成する最小画素の内、左上端に位置する最小画素を特定する。次に、アプリケーション処理部15は、特定された左上端の画素を基点として、x行x列分(x=2または1)の画素の温度値の平均値を算出し、この平均値を新たな温度値とすることで、マトリックス情報151を更新する。これに伴い、上記平均値の算出対象となる最小画素の数は、3行3列分(9画素)から、2行2列分(4画素)または1行1列分(1画素)に減少する。これにより、輪郭内情報に相当する領域の熱画像データは、従前より高い画素数(例えば、600×300画素)で温度分布がマッピングされたデータに更新される。
S71において、表示形態として「高透過度表示」が指示されている場合(S71;高透過度表示)には、アプリケーション処理部15は、S69で保持された輪郭内情報に相当する領域の熱画像の表示色の透過度を増加させる(S73)。これにより、輪郭内情報に相当する領域の熱画像データは、従前より高い透過度で温度分布がマッピングされたデータに更新される。なお、従前より高い透過度とは、輪郭外における透過度が0%であり、領域内における従前の透過度が20%である場合、例えば50%程度である。
図3に戻り、S8では、アプリケーション処理部15は、S4で入力された可視光画像、及びS5で入力された熱画像の各データを重畳させて、表示装置10eに表示させる。
以上説明したように、本実施例に係る情報処理装置10は、可視光画像と熱画像とを重ねて表示させる。情報処理装置10は、可視光画像取得部12と熱画像取得部14とアプリケーション処理部15とを有する。可視光画像取得部12は、物体の可視光画像を取得し、熱画像取得部14は、物体の温度分布を示す熱画像を取得する。アプリケーション処理部15は、取得された可視光画像と熱画像とを用いて、周囲の温度と異なる部分を特定し、当該特定部分の熱画像を、他の部分とは異なる表示形態で表示させる。これにより、情報処理装置10に表示させる画像上において、周囲とは温度差のある物体の特定部分が、他の部分とは異なる表示形態で表示されるため、ユーザは、物体の特定部分の温度分布を明瞭かつ容易に認識することができる。また、情報処理装置10は、上記特定部分についてのみ表示形態を変更する。したがって、画像全体について表示形態を変更する場合と比較して、処理の対象となる画像領域は減少する。その結果、表示制御に係る処理負荷が軽減されると共に、処理速度が向上する。
特に、アプリケーション処理部15は、特定部分の熱画像を、他の部分よりも高い画素数で表示させることができる。すなわち、情報処理装置10は、周囲とは温度差のある物体の特定部分を、他の部分よりも高い画素数で表示させると共に、それ以外の部分を、従前の画素数で表示させる。これにより、物体の特定部分の温度分布が詳細に表示される。熱画像上の温度分布が詳細に表示されると、ユーザは、その熱画像から部位の判別をし易くなるため、物体の部位と表面温度との対応関係を、より明確に認識することが可能となる。
更に、アプリケーション処理部15は、特定部分の熱画像を、他の部分よりも高い透過度で表示させることができる。すなわち、情報処理装置10は、周囲とは温度差のある物体の特定部分を、他の部分よりも高い透過度で表示させると共に、それ以外の部分を、従前の透過度で表示させる。これにより、物体の特定部分の可視光画像は、熱画像(温度分布の色)を透過してユーザの目に届き、熱画像に隠れることなく見易い状態で表示される。可視光画像が表示されると、ユーザは、その可視光画像を基に部位の判別をし易くなるため、併せて表示されている熱画像を参照することで、物体の部位と表面温度との対応関係を、より明確に認識することが可能となる。
なお、上記実施例では、本願の開示する情報処理装置10では、輪郭内の表示形態は、高解像度または高透過度の何れかに択一的に設定されるものとしたが、輪郭内の表示形態は、高解像度かつ高透過度による表示であってもよい。かかる態様によれば、より詳細な温度分布の判る高解像度表示によるメリットと、可視光画像から物体の部位を判別し易い高透過度表示によるメリットとを併有することで、可視光画像と熱画像との詳細な照合を簡易迅速に行うことができる。その結果、物体の特定部分に対応する輪郭内の温度分布を、より明瞭かつ容易に認識することが可能となる。より具体的には、例えば、物体が人体若しくはその一部である場合、ユーザは、人体のどの部位がどれ位の温度であるかを具体的に(高画素数)かつ明確に(高透過度)判別可能となる。また、例えば、物体が人体以外(天ぷら油や哺乳瓶)である場合、同一画像内に、同程度の温度の別の物体があると、熱画像のみからでは、何れの物体が測定対象であるかの判別が困難である。この場合、情報処理装置10は、熱画像の透過度を上げて、明瞭な可視光画像を併せて表示させる。これにより、ユーザは、画像上に複数存在する物体の内、何れの物体が測定対象であるかを明確かつ容易に判別可能となる。
また、輪郭内の表示形態の選択に関し、上記実施例では、表示形態は、予め高画素数表示に設定されているものとした。しかしながら、情報処理装置10は、これに限らず、表示形態の選択基準を設定しておき、その基準を満たすか否かに応じて、何れかの表示形態が自動的に選択されるものとしてもよい。選択基準としては、例えば、上記輪郭内に属する画素のマトリックス情報(温度値)の平均値が、人体の発する温度の範囲内にあるか否かを用いることができる。すなわち、輪郭内の温度値が体温程度(30〜38℃程度)でない場合には、情報処理装置10は、表示形態として高画素数表示を選択し、反対に、輪郭内の温度値が体温程度である場合には、高透過度表示を選択する。
輪郭内の温度値が体温程度の場合には、その輪郭内の物体は人体若しくはその一部である可能性が高い。人体は、部位による温度差が小さいため、温度差による部位の識別が困難であることから、詳細な温度分布の表示よりも、部位の識別の容易性を優先させることが望ましい。すなわち、画像から部位を容易に識別可能とするため、可視光画像を見易くすることが望ましい。そこで、情報処理装置10は、高透過度表示を表示形態として選択する。これに対して、輪郭内の温度値が体温程度以外の場合には、その輪郭内の物体は人体若しくはその一部でない可能性が高い。人体以外の物体(例えば、天ぷら油)は、人体と比較して場所による温度の違いが大きいため、温度差による場所の識別が比較的容易であり、また識別する必要性も高いことから、場所の識別容易性よりも、詳細な温度分布の表示を優先させることが望ましい。すなわち、画像から詳細な温度分布を容易に視認可能とすべく、熱画像の解像度を増加させることが望ましい。そこで、情報処理装置10は、高画素数表示を表示形態として選択する。
上述したように、情報処理装置10は、所定の基準に従い、被写体としての物体の種類や状態に応じて、表示形態を適宜変更することで、より物体に適した形態での画像表示を行うことができる。したがって、情報処理装置10は、異なる複数の表示形態(高画素数表示、高透過度表示)それぞれの利点を活かした木目細やかな表示制御を実現することが可能となる。その結果、情報処理装置10の利便性、実用性が向上する。
更に、上記実施例では、情報処理装置10は、輪郭の特定(輪郭部分の認識)に、可視光画像の輝度差を用いるものとしたが、これに限らず、色味の差を用いてもよい。色味は、輝度と比較して差分の認識が困難であることから、輝度を補填するものとして、輝度と組み合わせて用いることが好ましいが、単独で用いてもよい。情報処理装置10は、輪郭の特定に輝度と色味を併用することで、より正確な輪郭の特定が可能となり、ユーザは、温度の異なる部分を明確かつ詳細に把握することができる。
また、上記実施例では、情報処理装置10は、温度が周囲と異なる部分の表示形態を変更するものとしたが、これに限らず、熱画像上の色の属性(明度、彩度、色相など)が異なる部分の表示形態を変更するものとしてもよい。
10 情報処理装置
10a CPU
10b カメラ
10c 熱画像センサ
10d メモリ
10e 表示装置
10f 無線部
11 撮像部
12 可視光画像取得部
13 熱画像センサ
14 熱画像取得部
15 アプリケーション処理部
151 マトリックス情報

Claims (4)

  1. 可視光画像と熱画像とを重ねて表示させる情報処理装置において、
    物体の可視光画像を取得する可視光画像取得部と、
    前記物体の温度分布を示す熱画像を取得する熱画像取得部と、
    前記可視光画像上の画素に対し、隣接する画素との輝度差が所定値以上あるか否かの判定を行う際、隣接する画素との温度差が所定値以上ある領域に対してのみ前記判定を行って輪郭情報を求め、前記輪郭情報の範囲内に属する領域の熱画像を、他の部分とは異なる表示形態で、前記可視光画像と重ねて表示させる表示制御部と
    を有することを特徴とする情報処理装置。
  2. 前記表示制御部は、特定された部分の熱画像を、他の部分よりも高い画素数で表示させることを特徴とする請求項1に記載の情報処理装置。
  3. 前記表示制御部は、特定された部分の熱画像を、他の部分よりも高い透過度で表示させることを特徴とする請求項1に記載の情報処理装置。
  4. 可視光画像と熱画像とを重ねて表示させる情報処理方法において、
    物体の可視光画像と熱画像とを取得し、
    前記可視光画像上の画素に対し、隣接する画素との輝度差が所定値以上あるか否かの判定を行う際、隣接する画素との温度差が所定値以上ある領域に対してのみ前記判定を行って輪郭情報を求め、前記輪郭情報の範囲内に属する領域の熱画像を、他の部分とは異なる表示形態で、前記可視光画像と重ねて表示させる
    ことを特徴とする情報処理方法。
JP2011134376A 2011-06-16 2011-06-16 情報処理装置、及び情報処理方法 Expired - Fee Related JP5772272B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011134376A JP5772272B2 (ja) 2011-06-16 2011-06-16 情報処理装置、及び情報処理方法
US13/477,193 US20120320086A1 (en) 2011-06-16 2012-05-22 Information processing device and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011134376A JP5772272B2 (ja) 2011-06-16 2011-06-16 情報処理装置、及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2013002959A JP2013002959A (ja) 2013-01-07
JP5772272B2 true JP5772272B2 (ja) 2015-09-02

Family

ID=47353341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011134376A Expired - Fee Related JP5772272B2 (ja) 2011-06-16 2011-06-16 情報処理装置、及び情報処理方法

Country Status (2)

Country Link
US (1) US20120320086A1 (ja)
JP (1) JP5772272B2 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
WO2012170946A2 (en) 2011-06-10 2012-12-13 Flir Systems, Inc. Low power and small form factor infrared imaging
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
KR101778353B1 (ko) 2011-06-10 2017-09-13 플리어 시스템즈, 인크. 적외선 이미징 장치용 불균일성 교정 기술
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US9172829B2 (en) * 2012-07-31 2015-10-27 Makerbot Industries, Llc Three-dimensional printer with laser line scanner
US20150350571A1 (en) * 2012-12-27 2015-12-03 Hao Wang Device and method for selecting thermal images
CN103900715A (zh) * 2012-12-27 2014-07-02 杭州美盛红外光电技术有限公司 红外选择装置和红外选择方法
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
CN110274355B (zh) * 2014-03-03 2022-01-11 松下电器(美国)知识产权公司 传感方法、传感***及包含它们的空调设备
WO2015137019A1 (ja) * 2014-03-13 2015-09-17 コニカミノルタ株式会社 温度監視装置、及び、温度監視方法
EP3185180B1 (en) * 2014-10-23 2019-01-02 Axis AB Modification of at least one parameter used by a video processing algorithm for monitoring of a scene
US10643328B2 (en) * 2016-10-31 2020-05-05 Optim Corporation Computer system, and method and program for diagnosing objects
US10521942B2 (en) * 2017-09-07 2019-12-31 Motorola Mobility Llc Low power virtual reality presence monitoring and notification
WO2020067168A1 (ja) 2018-09-28 2020-04-02 パナソニックIpマネジメント株式会社 採寸装置及び採寸方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6148739A (ja) * 1984-08-17 1986-03-10 Nippon Steel Corp 赤外線による温度測定方法
US6611618B1 (en) * 1997-11-13 2003-08-26 Schepens Eye Research Institute, Inc. Wide-band image enhancement
JPH11308530A (ja) * 1998-04-17 1999-11-05 Nippon Avionics Co Ltd 赤外線熱画像装置
US7408572B2 (en) * 2002-07-06 2008-08-05 Nova Research, Inc. Method and apparatus for an on-chip variable acuity imager array incorporating roll, pitch and yaw angle rates measurement
JP2005031800A (ja) * 2003-07-08 2005-02-03 Mitsubishi Electric Corp 熱画像表示装置
JP2005142680A (ja) * 2003-11-04 2005-06-02 Olympus Corp 画像処理装置
JP2006033793A (ja) * 2004-06-14 2006-02-02 Victor Co Of Japan Ltd 追尾映像再生装置
US7535002B2 (en) * 2004-12-03 2009-05-19 Fluke Corporation Camera with visible light and infrared image blending
US7930101B2 (en) * 2007-01-10 2011-04-19 Tomtom International B.V. Navigation device and method for enhanced map display
FR2923339B1 (fr) * 2007-11-05 2009-12-11 Commissariat Energie Atomique Procede de lecture d'une matrice bidimensielle de pixels et dispositif pour la mise en oeuvre d'un tel procede
EP2271073B1 (en) * 2009-07-01 2018-03-07 Fluke Corporation Thermography methods
US8599264B2 (en) * 2009-11-20 2013-12-03 Fluke Corporation Comparison of infrared images
US8457437B2 (en) * 2010-03-23 2013-06-04 Raytheon Company System and method for enhancing registered images using edge overlays

Also Published As

Publication number Publication date
US20120320086A1 (en) 2012-12-20
JP2013002959A (ja) 2013-01-07

Similar Documents

Publication Publication Date Title
JP5772272B2 (ja) 情報処理装置、及び情報処理方法
KR101111167B1 (ko) 이동통신 단말기의 열화상 촬영 장치 및 방법
CN205157051U (zh) 红外传感器组件
US10057510B2 (en) Systems and methods for enhanced infrared imaging
US10539502B2 (en) Moisture measurement device with thermal imaging capabilities and related methods
KR102227284B1 (ko) 디스플레이 장치 및 그 제어 방법
US9635283B2 (en) Thermal imager with large dynamic range and improved signal-to-noise ratio
CN107836111B (zh) 用于增强动态范围红外成像的***和方法
JP5399738B2 (ja) 赤外線サーモグラフィ装置
US20140176725A1 (en) Thermal imager that analyzes temperature measurement calculation accuracy
US10397498B2 (en) Compressive sensing capturing device and method
US10298858B2 (en) Methods to combine radiation-based temperature sensor and inertial sensor and/or camera output in a handheld/mobile device
TWI658430B (zh) 熱影像處理系統及方法
US20230366738A1 (en) Systems and methods for temperature measurement
CN108476295B (zh) 从多个图像生成图像的方法、热成像相机以及介质
JP6162971B2 (ja) 画像処理装置、画像処理方法、撮像装置及びその制御方法
JP6885764B2 (ja) レンズメータ
JP6766671B2 (ja) ガス検知装置
CN115406541A (zh) 红外成像***和方法中的温度补偿
KR101880448B1 (ko) 제스처 인식기능을 갖는 디지털 미러
KR20160056023A (ko) 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치 및 그 방법
KR101833137B1 (ko) 마커를 이용한 카메라의 온도 측정을 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
JP2009222446A (ja) 距離測定装置及びそのプログラム
JP7195087B2 (ja) 焦点調整支援装置および焦点調整支援方法
JP2006162306A (ja) 温度測定表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150615

R150 Certificate of patent or registration of utility model

Ref document number: 5772272

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees