JP6904348B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本開示は、画像処理装置及び画像処理方法に関する。

近年、物体の温度を検出する等の目的で、遠赤外画像が利用されている。遠赤外画像は、物体からの黒体放射によって発せられる遠赤外線を撮像素子により捕捉することによって生成される。このような遠赤外画像を利用することによって、夜間又は悪天候時のように可視光画像から人体等の被写体を検出することが困難な場合であっても、被写体を検出することができる場合がある。しかしながら、遠赤外画像は、可視光画像と比較して、解像度が低いこと等に起因して、被写体の検出において所望の検出精度が得られない場合があった。そこで、被写体の検出精度を向上させるための技術が提案されている。

例えば、特許文献１では、環境の影響によりカメラの撮像画像の信頼性が低下した場合に、物体の種別判定の精度が低くなることを防止するために、車両に搭載されて該車両の周辺の第１監視範囲内に所在する物体と該車両との相対位置を検出するレーダーと、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像する赤外線カメラと、該レーダーによる検出データと該赤外線カメラによる撮像画像に基づいて、車両周辺に所在する物体の種別を判定する種別判定部とを備え、当該種別判定部は、該赤外線カメラによる撮像画像に基づいて種別が判定できた物体を除外した上で、種別判定ができていない物体に対して、前記レーダーの検出データに基づく種別判定を行う技術が提案されている。

特開２０１４−２０９３８７号公報

ところで、被写体の検出に関する分野において、被写体の検出精度をより安価に向上させることが望ましいと考えられる。例えば、特許文献１に開示されている技術では、赤外線カメラに加えてレーダーが利用されている。ゆえに、被写体の検出におけるコストが増大し得る。

そこで、本開示では、被写体の検出精度をより安価に向上させることが可能な、新規かつ改良された画像処理装置及び画像処理方法を提案する。

本開示によれば、遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出する複数の検出部と、検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、前記遠赤外画像に前記所定の被写体が映っているか否かを判定する判定部と、を備える、画像処理装置が提供される。

また、本開示によれば、遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出することと、検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、画像処理装置によって、前記遠赤外画像に前記所定の被写体が映っているか否かを判定することと、を含む、画像処理方法が提供される。

以上説明したように本開示によれば、被写体の検出精度をより安価に向上させることが可能である。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果又は本明細書から把握され得る他の効果が奏されてもよい。

波長に依存する赤外線画像の多様な用途について説明するための説明図である。 本開示の実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 同実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。 同実施形態に係る画像処理装置が行う処理の流れの一例を示すフローチャートである。 同実施形態に係る画像処理装置が行う各候補領域の検出処理の流れの一例を示すフローチャートである。 第１の応用例に係る画像処理装置の機能構成の一例を示すブロック図である。 人体が映る遠赤外画像の一例を示す説明図である。 記憶部に記憶されるデータテーブルの一例を示す説明図である。 各検出部によるスコア値の算出結果の一例を示す説明図である。 各画素についての画素値から尤度への変換後の画像の一例を示す説明図である。 第１の応用例に係る画像処理装置が行う処理の流れの第１の例を示すフローチャートである。 第１の応用例に係る画像処理装置が行う顔候補領域及び胴体候補領域の各々の検出処理の流れの一例を示すフローチャートである。 第１の応用例に係る画像処理装置が行う処理の流れの第２の例を示すフローチャートである。 第１の応用例に係る画像処理装置が行う顔部分候補領域の検出処理の流れの一例を示すフローチャートである。 第２の応用例に係る画像処理装置の機能構成の一例を示すブロック図である。 車両が映る遠赤外画像の一例を示す説明図である。 記憶部に記憶されるデータテーブルの一例を示す説明図である。 各検出部によるスコア値の算出結果の一例を示す説明図である。 第２の応用例に係る画像処理装置が行う処理の流れの一例を示すフローチャートである。 第２の応用例に係る画像処理装置が行う非通過部顔候補領域、通過部候補領域、及びマフラー候補領域の各々の検出処理の流れの一例を示すフローチャートである。 第３の応用例に係る画像処理装置の機能構成の一例を示すブロック図である。 顕微鏡装置を用いた手術の様子を示す説明図である。 患者の開腹部における異常部が映る遠赤外画像の一例を示す説明図である。 記憶部に記憶されるデータテーブルの一例を示す説明図である。 各検出部によるスコア値の算出結果の一例を示す説明図である。 第３の応用例に係る画像処理装置が行う処理の流れの一例を示すフローチャートである。 第３の応用例に係る画像処理装置が行う体表候補領域、開腹部候補領域、及び異常部候補領域の各々の検出処理の流れの一例を示すフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．導入
２．画像処理装置の概要
２−１．ハードウェア構成
２−２．機能構成
２−３．動作
３．応用例
３−１．第１の応用例
３−２．第２の応用例
３−３．第３の応用例
４．まとめ

＜１．導入＞
図１は、波長に依存する赤外線画像の多様な用途について説明するための説明図である。図１の水平方向は赤外線の波長に対応し、左から右へと波長は長くなる。０．７μｍ以下の波長を有する光線は可視光線であり、人間の視覚はこの可視光線を感知する。可視光領域に隣接する波長領域は近赤外（ＮＩＲ）領域であり、ＮＩＲ領域に属する赤外線を近赤外線という。ＮＩＲ領域の波長の上限は、定義に依存して異なるものの、２．５μｍから４．０μｍの間にあるとされることが多い。ＮＩＲ領域のうち相対的に波長の長い部分は、短波長赤外（ＳＷＩＲ）領域と呼ばれることもある。近赤外線は、例えば、暗視（ｎｉｇｈｔ ｖｉｓｉｏｎ）、透視、光通信、及び測距のために利用され得る。近赤外画像を撮像するカメラは、通常、まず近傍に赤外線を照射し、その反射光を捕捉する。ＮＩＲ領域に長波長側で隣接する波長領域は遠赤外（ＦＩＲ）領域であり、ＦＩＲ領域に属する赤外線を遠赤外線という。ＦＩＲ領域のうち相対的に波長の短い部分は、中波長赤外（ＭＷＩＲ）領域と呼ばれることもある。中波長赤外線の波長範囲では物質固有の吸収スペクトルが現れることから、中波長赤外線は、物質の同定のために利用され得る。遠赤外線は、暗視、サーモグラフィ、及び加熱のために利用され得る。物体からの黒体放射によって発せられる赤外線は、遠赤外線に相当する。そのため、遠赤外線を用いた暗視装置は、赤外線を照射せずとも、物体からの黒体放射を捕捉することにより遠赤外画像を生成することができる。なお、図１に示した波長の範囲の境界値は例に過ぎない。赤外線の分類の境界値には様々な定義が存在しており、本開示に係る技術の後述する利点は、いかなる定義の下でも享受され得る。

物体から放射される遠赤外線のエネルギと当該物体の温度とは相関関係を有するので、当該遠赤外線を受光することによって生成された遠赤外画像から、当該遠赤外画像に映る複数の物体の温度差を検出することができる。それにより、遠赤外画像から特定の物体が映る領域を、他の領域と区別して抽出することができる。例えば、遠赤外画像に映る生体の温度は、当該生体の周囲の物体の温度と比較して、一般的に高いので、当該生体と周囲の物体の温度差を検出することによって、遠赤外画像から生体領域を抽出することができる。また、抽出された領域について、テンプレートマッチング等の画像処理を利用することによって、当該領域に対応する被写体を検出することができる。ゆえに、当該領域に対応する被写体の種類を判別することができる。

しかしながら、遠赤外画像は、一般的に可視光画像と比較して、解像度が低い傾向にある。ゆえに、上記のような画像処理を利用した被写体の検出において、所望の検出精度が得られない場合があった。ここで、上述したように、赤外線カメラと異なる他のデバイスを用いて、遠赤外画像と異なるデータを取得し、遠赤外画像と当該データを併用することによって、被写体の検出精度を向上させることが考えられる。しかしながら、そのような方法によれば、赤外線カメラに加えて当該他のデバイスが利用されるので、コストが増大し得る。そこで、本明細書では、被写体の検出精度をより安価に向上させることができる仕組みを提案する。

＜２．画像処理装置の概要＞
続いて、図２〜図５を参照して、本開示の実施形態に係る画像処理装置１の概要について説明する。

[２−１．ハードウェア構成]
まず、図２を参照して、本実施形態に係る画像処理装置１のハードウェア構成について説明する。

図２は、本実施形態に係る画像処理装置１のハードウェア構成の一例を示すブロック図である。図２に示したように、画像処理装置１は、赤外線カメラ１０２と、入力インタフェース１０４と、メモリ１０６と、ディスプレイ１０８と、通信インタフェース１１０と、ストレージ１１２と、プロセッサ１１４と、バス１１６と、を備える。

（赤外線カメラ）
赤外線カメラ１０２は、赤外線を利用した撮像を行い、非カラー画像である赤外線画像を得る撮像モジュールである。赤外線カメラ１０２は、本開示に係る撮像部に相当する。赤外線カメラ１０２は、具体的には、ＦＩＲ領域に属する波長を有する遠赤外線を感知する撮像素子の配列を有しており、遠赤外画像を撮像する。赤外線カメラ１０２は、例えば、一定の時間間隔で遠赤外画像を撮像する。また、赤外線カメラ１０２により得られる一連の遠赤外画像は、映像を構成してもよい。

（入力インタフェース）
入力インタフェース１０４は、ユーザが画像処理装置１を操作し又は画像処理装置１へ情報を入力するために使用される。例えば、入力インタフェース１０４は、タッチセンサ、キーボード、キーパッド、ボタン、又はスイッチなどの入力デバイスを含んでもよい。また、入力インタフェース１０４は、音声入力用のマイクロフォン及び音声認識モジュールを含んでもよい。また、入力インタフェース１０４は、ユーザにより選択される命令をリモートデバイスから受信する遠隔制御モジュールを含んでもよい。

（メモリ）
メモリ１０６は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を含み得る記憶媒体である。メモリ１０６は、プロセッサ１１４に連結され、プロセッサ１１４により実行される処理のためのプログラム及びデータを記憶する。

（ディスプレイ）
ディスプレイ１０８は、画像を表示する画面を有する表示モジュールである。例えば、ディスプレイ１０８は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などであってもよい。

（通信インタフェース）
通信インタフェース１１０は、画像処理装置１と他の装置との間の通信を仲介するモジュールである。通信インタフェース１１０は、任意の無線通信プロトコル又は有線通信プロトコルに従って、通信接続を確立する。

（ストレージ）
ストレージ１１２は、赤外線画像データを蓄積し又は画像処理において利用されるデータベースを記憶する記憶デバイスである。ストレージ１１２は、半導体メモリ又はハードディスクなどの記憶媒体を内蔵する。なお、本明細書で説明するプログラム及びデータは、画像処理装置１の外部のデータソース（例えば、データサーバ、ネットワークストレージ、又は外付けメモリなど）から取得されてもよい。

（プロセッサ）
プロセッサ１１４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などの処理モジュールである。プロセッサ１１４は、メモリ１０６又は他の記憶媒体に記憶されるプログラムを実行することにより、被写体の検出精度をより安価に向上させることを可能とするための機能を動作させる。

（バス）
バス１１６は、赤外線カメラ１０２、入力インタフェース１０４、メモリ１０６、ディスプレイ１０８、通信インタフェース１１０、ストレージ１１２、及びプロセッサ１１４を相互に接続する。

[２−２．機能構成]
続いて、図３を参照して、本実施形態に係る画像処理装置１の機能構成について説明する。なお、以下では、各機能構成が行う処理を概要的に説明しており、各機能構成が行う処理の詳細については、後述する各応用例にて、説明する。

図３は、図２に示した画像処理装置１の構成要素が互いに連係することにより実現される機能構成の一例を示すブロック図である。図３に示したように、画像処理装置１は、第１検出部４１と、第２検出部４２と、判定部５０と、記憶部６０と、を備える。図３に示した第１検出部４１及び第２検出部４２は、本開示に係る複数の検出部に相当する。なお、本実施形態に係る画像処理装置１は、少なくとも２つの検出部を備えればよく、図３に示した検出部の数は、一例に過ぎない。

（記憶部）
記憶部６０は、画像処理装置１が行う各処理において参照されるデータを記憶する。例えば、記憶部６０は、第１検出部４１及び第２検出部４２の各々が行う候補領域の検出処理において用いられる情報を記憶する。また、記憶部６０は、判定部５０が行う判定処理において用いられるモデリングを記憶する。モデリングは、遠赤外画像に所定の被写体が映っているか否かを判定するために用いられる指標である。また、記憶部６０には、赤外線カメラ１０２によって撮像された各フレームについての遠赤外画像が記憶されてもよい。各機能部は、記憶部６０から、赤外線カメラ１０２によって撮像された遠赤外画像を取得し得る。また、各機能部は、赤外線カメラ１０２から直接的に遠赤外画像を取得してもよい。また、各機能部は、通信インタフェース１１０を介して他の装置から遠赤外画像を取得してもよい。

（第１検出部）
第１検出部４１は、遠赤外画像から第１設定温度範囲内の温度を示す第１検出領域を検出する。また、第１検出部４１は、検出結果を判定部５０へ出力する。第１設定温度範囲は、第１検出部４１に対応する第１対象物の想定温度に応じた温度範囲である。当該想定温度は、第１対象物の一般的な温度として想定される温度である。また、第１設定温度範囲内の温度を示す上記第１検出領域は、第１対象物が映る候補である第１候補領域に相当する。ゆえに、第１設定温度範囲は、遠赤外画像内において、第１対象物が映っている可能性が比較的高い領域が示す温度の範囲に相当する。このように、第１検出部４１は、換言すると、遠赤外画像から第１候補領域を検出する。第１検出部４１は、例えば、図３に示したように、第１抽出部４１ａと、第１スコア算出部４１ｂと、第１スコア比較部４１ｃと、を含む。

第１抽出部４１ａは、遠赤外画像から部分領域を抽出し、抽出結果を第１スコア算出部４１ｂへ出力する。部分領域は、例えば、矩形であり、所定の寸法を有する。当該所定の寸法は、第１対象物に応じて設定される。具体的には、当該所定の寸法は、遠赤外画像における第１対象物が映る領域の寸法として想定される寸法と略一致する。なお、当該所定の寸法を示す情報は記憶部６０に記憶され得る。後述するように、第１検出部４１は、部分領域が所定の条件を満たす場合に、当該部分領域を第１候補領域として検出する。ゆえに、第１検出部４１は、第１対象物に応じて設定される当該所定の寸法を有する領域を、第１候補領域として、検出することができる。それにより、検出される第１候補領域に第１対象物が映っている可能性をより向上させることができる。また、第１抽出部４１ａは、例えば、遠赤外画像の全領域を走査するように部分領域の抽出を繰り返す。そして、抽出された各部分領域を示す情報を抽出結果として、第１スコア算出部４１ｂへ出力する。

第１スコア算出部４１ｂは、抽出された部分領域によって示される温度が第１対象物の想定温度である尤度として、スコア値を算出し、算出結果を第１スコア比較部４１ｃへ出力する。第１スコア算出部４１ｂは、具体的には、第１対象物の想定温度と対応する確率密度関数に基づいて、スコア値を算出してもよい。確率密度関数は、部分領域によって示される温度と上記尤度との関係性を規定する。また、確率密度関数として、例えば、中央値が想定温度と一致するガウス分布に従った確率密度関数が用いられ得る。なお、想定温度が幅を有する場合、確率密度関数として、例えば、中央値が想定温度の中央値と一致するガウス分布に従った確率密度関数が用いられ得る。第１スコア算出部４１ｂは、具体的には、部分領域によって示される温度として、当該部分領域内の各画素の画素値に対応する温度の平均値を算出し、確率密度関数において当該平均値と対応する尤度をスコア値として、算出し得る。

なお、確率密度関数又は想定温度を示す情報は、記憶部６０に予め記憶され得る。また、第１スコア算出部４１ｂは、想定温度に基づいて、確率密度関数を生成してもよい。また、想定温度が幅を有し、かつ、下限値又は上限値のいずれか一方のみを有する場合、当該確率密度関数として、部分領域によって示される温度が大きい又は小さいほど、上記尤度が大きくなるような関係性を規定する確率密度関数が用いられ得る。

第１スコア比較部４１ｃは、算出されたスコア値と閾値との比較を行う。当該閾値は、赤外線カメラ１０２における複数の撮像素子間の受光感度のバラツキ等の画像処理装置１の各種設計仕様等に応じて適宜設定され得る。第１検出部４１は、スコア値が閾値より高い場合に、対応する部分領域を第１候補領域として検出する。一方、第１検出部４１は、スコア値が閾値以下である場合に、対応する部分領域を第１候補領域として検出しない。それにより、第１対象物が映る候補である第１候補領域として、より尤もらしい領域を検出することができる。

第１検出部４１は、第１抽出部４１ａによる部分領域の抽出処理、第１スコア算出部４１ｂによるスコア値の算出処理、及び第１スコア比較部４１ｃによるスコア値と閾値との比較処理が繰り返されることによって、遠赤外画像の全領域について、第１候補領域の検出を行う。

（第２検出部）
第２検出部４２は、遠赤外画像から第１設定温度範囲と異なる第２設定温度範囲内の温度を示す第２検出領域を検出する。また、第２検出部４２は、検出結果を判定部５０へ出力する。第２設定温度範囲は、第２検出部４２に対応する第２対象物の想定温度に応じた温度範囲である。なお、第２対象物は、第１対象物と異なる対象物である。当該想定温度は、第２対象物の一般的な温度として想定される温度である。また、第２設定温度範囲内の温度を示す上記第２検出領域は、第２対象物が映る候補である第２候補領域に相当する。ゆえに、第２設定温度範囲は、遠赤外画像内のある領域に第２対象物が映っている可能性が比較的高いか否かを判定し得る温度範囲である。このように、第２検出部４２は、換言すると、遠赤外画像から第２候補領域を検出する。第２検出部４２は、例えば、図３に示したように、第２抽出部４２ａと、第２スコア算出部４２ｂと、第２スコア比較部４２ｃと、を含む。

第２検出部４２における第２抽出部４２ａ、第２スコア算出部４２ｂ、及び第２スコア比較部４２ｃは、第１検出部４１における第１抽出部４１ａ、第１スコア算出部４１ｂ、及び第１スコア比較部４１ｃとそれぞれ対応し、同様の処理を実行し得る。具体的には、第２抽出部４２ａは、遠赤外画像から部分領域を抽出し、抽出結果を第２スコア算出部４２ｂへ出力する。第２スコア算出部４２ｂは、抽出された部分領域によって示される温度が第２対象物の想定温度である尤度として、スコア値を算出し、算出結果を第２スコア比較部４２ｃへ出力する。第２スコア比較部４２ｃは、算出されたスコア値と閾値との比較を行う。第２検出部４２は、スコア値が閾値より高い場合に、対応する部分領域を第２候補領域として検出する。一方、第２検出部４２は、スコア値が閾値以下である場合に、対応する部分領域を第２候補領域として検出しない。

なお、第２抽出部４２ａが行う部分領域の抽出処理における、当該部分領域の寸法は、第２対象物に応じて設定され得る。また、第２スコア算出部４２ｂが行うスコア値の算出処理において用いられる確率密度関数は、第２対象物の想定温度と対応し得る。また、第２スコア比較部４２ｃが行う比較処理において用いられる閾値は、第１スコア比較部４１ｃが用いる閾値と一致してもよく、異なってもよい。

（判定部）
判定部５０は、検出された複数の検出領域間の位置関係と、モデリングとに基づいて、遠赤外画像に所定の被写体が映っているか否かを判定する。当該モデリングは、上述したように、遠赤外画像に所定の被写体が映っているか否かを判定するために用いられる指標である。具体的には、当該モデリングは、遠赤外画像において所定の被写体が映る場合における上記複数の検出領域間の位置関係を規定する。

具体的には、判定部５０は、第１検出部４１によって検出された第１候補領域、及び第２検出部４２によって検出された第２候補領域の間の位置関係と、モデリングとに基づいて、遠赤外画像に所定の被写体が映っているか否かを判定する。ここで、第１対象物及び第２対象物は、当該所定の被写体と対応して存在し、所定の位置関係を有する。例えば、第１対象物又は第２対象物は、当該所定の被写体における各部位であってもよい。また、第１対象物又は第２対象物は、当該所定の被写体と異なる物体であってもよい。モデリングは、当該所定の被写体について想定されるこのような各対象物間の所定の位置関係を、遠赤外画像において当該所定の被写体が映る場合における各候補領域間の位置関係として、規定する。

より具体的には、判定部５０は、各候補領域間の位置関係がモデリングによって規定される位置関係と略一致する場合に、各候補領域間の位置関係は妥当であると判定する。そして、判定部５０は、各候補領域間の位置関係は妥当であると判定したことをもって、遠赤外画像に所定の被写体が映っていると判定する。

このように、本実施形態では、互いに異なる設定温度範囲内の温度を示す複数の検出領域間の位置関係と、モデリングとに基づいて、遠赤外画像に所定の被写体が映っているか否かが判定される。ゆえに、遠赤外画像に所定の被写体が映っているか否かの判定において、より尤もらしい判定結果を得ることができる。よって、赤外線カメラ１０２と異なる他のデバイスを利用することなく、被写体の検出精度を向上させることができる。従って、被写体の検出精度をより安価に向上させることが可能となる。

また、判定部５０は、判定結果を出力してもよい。例えば、判定部５０は、判定結果を記憶部６０へ出力することによって、登録してもよい。また、判定部５０は、判定結果をディスプレイ１０８へ出力することにより、報知してもよい。また、判定部５０は、判定結果を、通信インタフェース１１０を介して、外部の装置へ出力してもよい。

また、判定部５０は、第１検出部４１及び第２検出部４２から出力される検出結果に応じて、遠赤外画像に所定の被写体が映っているか否かを判定する判定処理を実行するか否かを決定してもよい。例えば、判定部５０は、第１候補領域及び第２候補領域の双方が検出された場合に、判定処理を実行してもよい。一方、判定部５０は、第１候補領域及び第２候補領域のうち少なくとも一方が検出されなかった場合には、判定処理を実行しなくてもよい。

[２−３．動作]
続いて、図４及び図５を参照して、本実施形態に係る画像処理装置１が行う処理の流れについて説明する。図４は、本実施形態に係る画像処理装置１が行う処理の流れの一例を示すフローチャートである。図４に示した処理は、例えば、各フレームについて、実行され得る。

図４に示したように、まず、画像処理装置１は、遠赤外画像の撮像を行う（ステップＳ５０１）。次に、第１検出部４１は、撮像された遠赤外画像から第１候補領域を検出する検出処理を実行し（ステップＳ５１０）、検出結果を判定部５０へ出力する。そして、判定部５０は、第１候補領域が検出されたか否かを判断する（ステップＳ５０３）。第１候補領域が検出されたと判断されなかった場合（ステップＳ５０３／ＮＯ）、ステップＳ５０１の処理へ戻る。

一方、第１候補領域が検出されたと判断された場合（ステップＳ５０３／ＹＥＳ）、判定部５０から第２検出部４２へ判断結果が出力され、第２検出部４２は、第２候補領域を検出する検出処理を実行し（ステップＳ５３０）、検出結果を判定部５０へ出力する。そして、判定部５０は、第２候補領域が検出されたか否かを判断する（ステップＳ５０５）。第２候補領域が検出されたと判断されなかった場合（ステップＳ５０５／ＮＯ）、ステップＳ５０１の処理へ戻る。

一方、第２候補領域が検出されたと判断された場合（ステップＳ５０５／ＹＥＳ）、判定部５０は、各候補領域間の位置関係が妥当であるか否かを判定する（ステップＳ５０７）。各候補領域間の位置関係がモデリングによって規定される位置関係と略一致しない場合には、各候補領域間の位置関係は妥当であると判定されず（ステップＳ５０７／ＮＯ）、ステップＳ５０１の処理へ戻る。一方、各候補領域間の位置関係がモデリングによって規定される位置関係と略一致する場合には、各候補領域間の位置関係は妥当であると判定され（ステップＳ５０７／ＹＥＳ）、判定部５０は、判定結果を記憶部６０へ登録し（ステップＳ５０９）、図４に示した処理は終了する。

続いて、図５を参照して、本実施形態に係る画像処理装置１が行う各候補領域の検出処理（図４に示したステップＳ５１０，Ｓ５３０）について、より詳細に説明する。図５は、本実施形態に係る画像処理装置１が行う各候補領域の検出処理の流れの一例を示すフローチャートである。

図５に示したように、まず、第１抽出部４１ａ（第２抽出部４２ａ）は、遠赤外画像から部分領域を抽出し（ステップＳ５１１（ステップＳ５３１））、抽出結果を第１スコア算出部４１ｂ（第２スコア算出部４２ｂ）へ出力する。次に、第１スコア算出部４１ｂ（第２スコア算出部４２ｂ）は、抽出された部分領域についてのスコア値を算出し（ステップＳ５１３（ステップＳ５３３））、算出結果を第１スコア比較部４１ｃ（第２スコア比較部４２ｃ）へ出力する。次に、第１スコア比較部４１ｃ（第２スコア比較部４２ｃ）は、算出されたスコア値と閾値との比較を行う（ステップＳ５１５（ステップＳ５３５））。そして、第１検出部４１（第２検出部４２）は、遠赤外画像の全領域について、部分領域の抽出が終了したか否かを判定する（ステップＳ５１７（ステップＳ５３７））。遠赤外画像の全領域について、部分領域の抽出が終了したと判定されなかった場合（ステップＳ５１７／ＮＯ（ステップＳ５３７／ＮＯ））、ステップＳ５１１（ステップＳ５３１）の処理へ戻る。一方、遠赤外画像の全領域について、部分領域の抽出が終了したと判定された場合（ステップＳ５１７／ＹＥＳ（ステップＳ５３７／ＹＥＳ））、図５に示した処理は終了する。

＜３．応用例＞
続いて、上記で説明した本開示に係る技術を各種被写体の検出に適用した各種応用例について説明する。

[３−１．第１の応用例]
まず、図６〜図１４を参照して、第１の応用例に係る画像処理装置１０について説明する。第１の応用例は、本開示に係る技術を被写体としての人体の検出に適用した例である。第１の応用例に係る画像処理装置１０は、遠赤外画像に所定の被写体として人体が映っているか否かを判定する。

（機能構成）
まず、図６を参照して、第１の応用例に係る画像処理装置１０の機能構成について説明する。第１の応用例に係る画像処理装置１０のハードウェア構成は、図２を参照して説明した画像処理装置１のハードウェア構成と同様であってもよい。図６は、そのような画像処理装置１０の構成要素が互いに連係することにより実現される機能構成の一例を示すブロック図である。

図６に示したように、画像処理装置１０は、顔検出部１４１と、胴体検出部１４２と、目検出部１４３と、眼鏡検出部１４４と、頭髪検出部１４５と、判定部１５０と、記憶部１６０と、を備える。第１の応用例における顔検出部１４１、胴体検出部１４２、目検出部１４３、眼鏡検出部１４４、及び頭髪検出部１４５は、本開示に係る複数の検出部に相当する。また、第１の応用例における判定部１５０及び記憶部１６０は、図３を参照して説明した画像処理装置１の判定部５０及び記憶部６０とそれぞれ対応する。

記憶部１６０は、画像処理装置１０が行う各処理において参照されるデータを記憶する。例えば、記憶部１６０は、顔検出部１４１、胴体検出部１４２、目検出部１４３、眼鏡検出部１４４、及び頭髪検出部１４５の各々が行う候補領域の検出処理において用いられる情報を記憶する。また、記憶部１６０は、判定部１５０が行う判定処理において用いられるモデリングを記憶する。具体的には、記憶部１６０には、図８に示した後述するデータテーブルＤ１０が記憶され、当該データテーブルＤ１０に各種情報が含まれる。

顔検出部１４１は、遠赤外画像から人体の顔が映る候補である顔候補領域を、候補領域として、検出する。また、胴体検出部１４２は、遠赤外画像から人体の胴体が映る候補である胴体候補領域を、候補領域として、検出する。また、目検出部１４３は、遠赤外画像から人体の目が映る候補である目候補領域を、候補領域として、検出する。また、眼鏡検出部１４４は、遠赤外画像から人体に装着される眼鏡が映る候補である眼鏡候補領域を、候補領域として、検出する。また、頭髪検出部１４５は、遠赤外画像から人体の頭髪が映る候補である頭髪候補領域を、候補領域として、検出する。これらの検出部は、遠赤外画像から互いに異なる設定温度範囲内の温度を示す領域を検出する。

ここで、人体の目、人体に装着される眼鏡、及び人体の頭髪は、顔に関連する部分（以下、顔部分とも称する。）に相当する。また、目候補領域、眼鏡候補領域、及び頭髪候補領域は、顔部分が映る候補である顔部分候補領域に相当する。また、目検出部１４３、眼鏡検出部１４４、及び頭髪検出部１４５は、遠赤外画像から顔部分候補領域を候補領域として検出する顔部分検出部に相当する。

第１の応用例に係る各検出部は、図３を参照して説明した画像処理装置１の第１検出部４１（第２検出部４２）における第１抽出部４１ａ（第２抽出部４２ａ）、第１スコア算出部４１ｂ（第２スコア算出部４２ｂ）、及び第１スコア比較部４１ｃ（第２スコア比較部４２ｃ）の機能を有する。具体的には、第１の応用例に係る各検出部は、図３を参照して説明した画像処理装置１の各検出部と同様に、遠赤外画像から部分領域を抽出し、抽出された部分領域についてのスコア値を算出し、算出されたスコア値と閾値との比較を行う。また、第１の応用例に係る各検出部は、スコア値が閾値より高い場合に、対応する部分領域を候補領域として検出し、スコア値が閾値以下である場合に、対応する部分領域を候補領域として検出しない。また、第１の応用例に係る各検出部は、検出結果を判定部１５０へ出力する。

図７は、人体Ｐ１０が映る遠赤外画像Ｉｍ１０の一例を示す説明図である。図７に示したように、遠赤外画像Ｉｍ１０には、被写体としての２つの人体Ｐ１０が映っている。また、遠赤外画像Ｉｍ１０において、右側の人体Ｐ１０について、対象物としての顔Ｃ１１、胴体Ｃ１２、眼鏡Ｃ１４、及び頭髪Ｃ１５が示されている。また、遠赤外画像Ｉｍ１０において、左側の人体Ｐ１０について、対象物としての顔Ｃ１１、胴体Ｃ１２、目Ｃ１３、及び頭髪Ｃ１５が示されている。第１の応用例に係る各検出部は、例えば、このような遠赤外画像Ｉｍ１０について、対象物が映る候補の候補領域を検出し得る。図７に示した遠赤外画像Ｉｍ１０において、ハッチングの濃淡は画素値の異同を示す。当該ハッチングが濃い区域ほど、画素値が低い区域である。換言すると、当該ハッチングが濃い区域ほど、当該区域によって示される温度が低い区域である。

例えば、各検出部は、遠赤外画像Ｉｍ１０から所定の寸法を有する部分領域を抽出する。具体的には、各検出部は、記憶部１６０に記憶されるデータテーブルＤ１０を参照することによって、部分領域の寸法を設定し得る。データテーブルＤ１０において、例えば、図８に示したように、各対象物を示す情報と、当該各対象物に応じた寸法を示す情報とが紐付けられている。

具体的には、顔検出部１４１は、対象物である顔Ｃ１１に対応する「高さ２０〜３０ｃｍ、幅１５〜２０ｃｍ」という寸法を、部分領域の寸法として、設定する。また、胴体検出部１４２は、対象物である胴体Ｃ１２に対応する「高さ５０〜１００ｃｍ、幅３０〜６０ｃｍ」という寸法を、部分領域の寸法として、設定する。また、目検出部１４３は、対象物である目Ｃ１３に対応する「幅２〜４ｃｍ」という寸法を、部分領域の寸法として、設定する。また、眼鏡検出部１４４は、対象物である眼鏡Ｃ１４に対応する「幅１５〜２０ｃｍ、高さ３〜６ｃｍ」という寸法を、部分領域の寸法として、設定する。また、頭髪検出部１４５は、対象物である頭髪Ｃ１５に対応する「高さ１〜１５ｃｍ、幅１５〜２０ｃｍ」という寸法を、部分領域の寸法として、設定する。図７では、一例として、顔Ｃ１１、胴体Ｃ１２、及び眼鏡Ｃ１４とそれぞれ対応し、上記のように寸法が設定された部分領域Ｂ１１、部分領域Ｂ１２、及び部分領域Ｂ１４が模式的に示されている。

そして、各検出部は、対象物の想定温度と対応する確率密度関数に基づいて、部分領域についてのスコア値を算出する。具体的には、各検出部は、記憶部１６０に記憶されるデータテーブルＤ１０を参照することによって、対象物の想定温度と対応する確率密度関数を生成し得る。データテーブルＤ１０において、例えば、図８に示したように、各対象物を示す情報と、当該各対象物の想定温度を示す情報とが紐付けられている。なお、記憶部１６０に各対象物と対応する確率密度関数を示す情報が記憶されていてもよく、その場合、各検出部は、記憶部１６０から当該確率密度関数を示す情報を取得し得る。また、図８に示した各対象物の想定温度は、例えば、環境温度が２５℃である場合における値である。記憶部１６０には、環境温度の各々についてデータテーブルが記憶されてもよく、各データテーブルにおける各対象物の想定温度は、対応する環境温度に応じて設定され得る。

具体的には、顔検出部１４１は、対象物である顔Ｃ１１の想定温度を「３３〜３６℃」として、スコア値を算出する。また、胴体検出部１４２は、対象物である胴体Ｃ１２の想定温度を「顔温度より２℃低い温度〜顔温度より４℃低い温度」として、スコア値を算出する。また、目検出部１４３は、対象物である目Ｃ１３の想定温度を「顔温度より１℃高い温度以上」として、スコア値を算出する。また、眼鏡検出部１４４は、対象物である眼鏡Ｃ１４の想定温度を「環境温度より２℃低い温度〜環境温度より２℃高い温度」として、スコア値を算出する。また、頭髪検出部１４５は、対象物である頭髪Ｃ１５の想定温度を「顔温度より３℃低い温度〜顔温度より６℃低い温度」として、スコア値を算出する。なお、顔温度として、顔検出部１４１によって検出された顔候補領域によって示される温度が適用され得る。また、環境温度として、遠赤外画像Ｉｍ１０における所定の位置の領域によって示される温度が適用され得る。当該所定の位置は、遠赤外画像Ｉｍ１０において人体Ｐ１０に対する背景が映る可能性が比較的高い位置であり、例えば、遠赤外画像Ｉｍ１０における上端部であってもよい。なお、環境温度は、環境の温度を検出可能な温度センサを利用することによって、取得されてもよい。

そして、各検出部は、算出されたスコア値と閾値との比較を行う。スコア値は、例えば、０から１の間の値をとり、スコア値が大きいほど、部分領域によって示される温度が対象物の想定温度である可能性が高くなる。ここで、各検出部は、上述したように、遠赤外画像Ｉｍ１０の全領域を走査するように部分領域の抽出を繰り返す。ゆえに、各検出部は、繰り返し抽出される複数の部分領域と対応する複数のスコア値を算出する。各検出部についての当該複数のスコア値における最大値の組み合わせの例を、図９に示す。図９では、３つの組み合わせ例が示されている。

具体的には、図９に示したように、組み合わせ例１１では、顔検出部１４１、胴体検出部１４２、目検出部１４３、眼鏡検出部１４４、及び頭髪検出部１４５の各々についてのスコア値の最大値は、「０．７」、「０．８」、「０．６」、「０．１」、及び「０．２」である。また、組み合わせ例１２では、顔検出部１４１、胴体検出部１４２、目検出部１４３、眼鏡検出部１４４、及び頭髪検出部１４５の各々についてのスコア値の最大値は、「０．７」、「０．８」、「０．１」、「０．７」、及び「０．２」である。また、組み合わせ例１３では、顔検出部１４１、胴体検出部１４２、目検出部１４３、眼鏡検出部１４４、及び頭髪検出部１４５の各々についてのスコア値の最大値は、「０．７」、「０．８」、「０．１」、「０．１」、及び「０．８」である。

ここで、各検出部は、スコア値が閾値より高い場合に、対応する部分領域を候補領域として検出する。一方、検出部は、スコア値が閾値以下である場合に、対応する部分領域を候補領域として検出しない。ゆえに、各検出部についてのスコア値の最大値が閾値より高い場合は、当該各検出部によって、候補領域が検出された場合に相当する。一方、各検出部についてのスコア値の最大値が閾値以下である場合は、当該各検出部によって、候補領域が検出されなかった場合に相当する。

例えば、閾値が０．５に設定されている場合、組み合わせ例１１では、顔候補領域、胴体候補領域、及び目候補領域は、顔検出部１４１、胴体検出部１４２、及び目検出部１４３によって、それぞれ検出されており、眼鏡候補領域、及び頭髪候補領域は、眼鏡検出部１４４、及び頭髪検出部１４５によって、それぞれ検出されていない。また、組み合わせ例１２では、顔候補領域、胴体候補領域、及び眼鏡候補領域は、顔検出部１４１、胴体検出部１４２、及び眼鏡検出部１４４によって、それぞれ検出されており、目候補領域、及び頭髪候補領域は、目検出部１４３、及び頭髪検出部１４５によって、それぞれ検出されていない。また、組み合わせ例１３では、顔候補領域、胴体候補領域、及び頭髪候補領域は、顔検出部１４１、胴体検出部１４２、及び頭髪検出部１４５によって、それぞれ検出されており、目候補領域、及び眼鏡候補領域は、目検出部１４３、及び眼鏡検出部１４４によって、それぞれ検出されていない。

第１の応用例に係る判定部１５０は、検出された顔候補領域及び胴体候補領域の間の位置関係と、モデリングとに基づいて、遠赤外画像Ｉｍ１０に所定の被写体として人体Ｐ１０が映っているか否かを判定する。当該モデリングは、遠赤外画像Ｉｍ１０に人体Ｐ１０が映っているか否かを判定するために用いられる指標である。当該モデリングは、遠赤外画像Ｉｍ１０において人体Ｐ１０が映る場合における顔候補領域及び胴体候補領域の間の位置関係を規定する。

具体的には、判定部１５０は、顔候補領域及び胴体候補領域の間の位置関係がモデリングによって規定される位置関係と略一致する場合に、顔候補領域及び胴体候補領域の間の位置関係は妥当であると判定する。そして、判定部１５０は、顔候補領域及び胴体候補領域の間の位置関係は妥当であると判定したことをもって、遠赤外画像Ｉｍ１０に人体Ｐ１０が映っていると判定する。

より具体的には、判定部１５０は、記憶部１６０に記憶されるデータテーブルＤ１０を参照することによって、顔候補領域及び胴体候補領域の間の位置関係が妥当であるか否かを判定し得る。データテーブルＤ１０において、例えば、図８に示したように、各対象物を示す情報と、遠赤外画像Ｉｍ１０において人体Ｐ１０が映る場合における当該各対象物の他の対象物に対する相対位置を示す情報とが紐付けられている。このような相対位置が、第１の応用例におけるモデリングによって規定される。

具体的には、判定部１５０は、顔候補領域が胴体候補領域より上方に位置する場合に、顔候補領域及び胴体候補領域の間の位置関係は妥当であると判定する。換言すると、判定部１５０は、胴体候補領域が顔候補領域より下方に位置する場合に、顔候補領域及び胴体候補領域の間の位置関係は妥当であると判定する。

このように、第１の応用例では、互いに異なる設定温度範囲内の温度を示す顔候補領域及び胴体候補領域の間の位置関係と、モデリングとに基づいて、遠赤外画像Ｉｍ１０に人体Ｐ１０が映っているか否かが判定される。ここで、顔Ｃ１１及び胴体Ｃ１２は、人体Ｐ１０と対応して存在し、モデリングによって規定される位置関係を有する。ゆえに、遠赤外画像Ｉｍ１０に人体Ｐ１０が映っているか否かの判定において、より尤もらしい判定結果を得ることができる。よって、赤外線カメラ１０２と異なる他のデバイスを利用することなく、被写体としての人体Ｐ１０の検出精度を向上させることができる。従って、被写体としての人体Ｐ１０の検出精度をより安価に向上させることが可能となる。

なお、図７に示した遠赤外画像Ｉｍ１０のように、遠赤外画像に被写体としての人体Ｐ１０が複数映る場合、顔候補領域又は胴体候補領域が複数検出され得る。そのような場合には、判定部１５０は、例えば、顔候補領域及び胴体候補領域の組み合わせの全てについて、顔候補領域及び胴体候補領域の間の位置関係が妥当であるか否かの判定を実行する。位置関係が妥当であると判定される顔候補領域及び胴体候補領域の組み合わせの数が複数である場合に、判定部１５０は、遠赤外画像に当該複数の組み合わせの各々に対応する人体Ｐ１０が映っていると判定し得る。

また、判定部１５０は、検出された顔候補領域及び顔部分候補領域の間の位置関係と、モデリングとに基づいて、遠赤外画像Ｉｍ１０に所定の被写体として人体Ｐ１０が映っているか否かを判定してもよい。当該モデリングは、遠赤外画像Ｉｍ１０において人体Ｐ１０が映る場合における顔候補領域及び顔部分候補領域の間の位置関係を規定する。

具体的には、判定部１５０は、顔候補領域及び顔部分候補領域の間の位置関係がモデリングによって規定される位置関係と略一致する場合に、顔候補領域及び顔部分候補領域の間の位置関係は妥当であると判定する。また、判定部１５０は、顔候補領域及び胴体候補領域の間の位置関係は妥当であると判定し、さらに、顔候補領域及び顔部分候補領域の間の位置関係は妥当であると判定したことをもって、遠赤外画像Ｉｍ１０に人体Ｐ１０が映っていると判定する。例えば、判定部１５０は、顔候補領域及び胴体候補領域の間の位置関係が妥当であると判定し、かつ、顔候補領域及び顔部分候補領域の間の位置関係のうち少なくとも１つの顔部分についての位置関係が妥当であると判定した場合に、遠赤外画像Ｉｍ１０に人体Ｐ１０が映っていると判定してもよい。

より具体的には、判定部１５０は、記憶部１６０に記憶されるデータテーブルＤ１０を参照することによって、顔候補領域及び顔部分候補領域の間の位置関係が妥当であるか否かを判定し得る。データテーブルＤ１０において、例えば、図８に示したように、対象物としての顔部分の各々を示す情報と、遠赤外画像Ｉｍ１０において人体Ｐ１０が映る場合における当該各対象物の他の対象物に対する相対位置を示す情報とが紐付けられている。このような相対位置が、第１の応用例におけるモデリングによって規定される。

具体的には、判定部１５０は、目候補領域が顔候補領域の内部に位置する場合に、顔候補領域及び目候補領域の間の位置関係は妥当であると判定する。また、判定部１５０は、眼鏡候補領域が顔候補領域の内部に位置する場合に、顔候補領域及び眼鏡候補領域の間の位置関係は妥当であると判定する。また、判定部１５０は、頭髪候補領域が顔候補領域の上方に隣接する場合に、顔候補領域及び頭髪候補領域の間の位置関係は妥当であると判定する。

ここで、顔Ｃ１１及び各顔部分は、顔Ｃ１１と対応して存在し、モデリングによって規定される位置関係を有する。ゆえに、顔候補領域及び顔部分候補領域の間の位置関係が、モデリングに基づいて、妥当であると判定される場合に、遠赤外画像Ｉｍ１０に人体Ｐ１０が映っていると判定することによって、遠赤外画像Ｉｍ１０に人体Ｐ１０が映っているか否かの判定において、さらに尤もらしい判定結果を得ることができる。ゆえに、被写体としての人体Ｐ１０の検出精度をより効果的に向上させることができる。

なお、図７に示した遠赤外画像Ｉｍ１０のように、遠赤外画像に被写体としての人体Ｐ１０が複数映る場合、上述したように、判定部１５０は、顔候補領域及び胴体候補領域の複数の組み合わせについて、位置関係が妥当であると判定し得る。そのような場合には、判定部１５０は、例えば、当該複数の組み合わせの各々について、顔候補領域及び顔部分候補領域の間の位置関係が妥当であるか否かの判定を実行する。

また、判定部１５０は、判定結果を記憶部１６０へ出力することによって、登録してもよい。

また、判定部１５０は、各検出部から出力される検出結果に応じて、遠赤外画像Ｉｍ１０に人体Ｐ１０が映っているか否かを判定する判定処理を実行するか否かを決定してもよい。

例えば、判定部１５０は、顔候補領域及び胴体候補領域の双方が検出された場合に、顔候補領域及び胴体候補領域の間の位置関係についての判定処理を実行してもよい。一方、判定部１５０は、顔候補領域及び胴体候補領域のうち少なくとも一方が検出されなかった場合には、顔候補領域及び胴体候補領域の間の位置関係についての判定処理を実行しなくてもよい。

また、判定部１５０は、顔候補領域及び胴体候補領域の双方が検出された場合において、顔部分候補領域のうち少なくとも１つが検出された場合に、顔候補領域及び顔部分候補領域の間の位置関係についての判定処理を実行してもよい。一方、判定部１５０は、顔候補領域及び胴体候補領域のうち少なくとも一方が検出されなかった場合、又は、顔部分候補領域のいずれもが検出されなかった場合に、顔候補領域及び顔部分候補領域の間の位置関係についての判定処理を実行しなくてもよい。

例えば、図９に示した組み合わせ例１１〜１３の各々では、顔候補領域及び胴体候補領域の双方が検出され、かつ、顔部分候補領域のうち少なくとも１つが検出されているので、判定部１５０は、顔候補領域及び胴体候補領域の間の位置関係についての判定処理及び顔候補領域及び顔部分候補領域の間の位置関係についての判定処理を実行する。

上記では、部分領域の抽出処理、スコア値の算出処理、及びスコア値と閾値との比較処理を実行することによって、遠赤外画像からの候補領域の検出が実現される例について説明したが、候補領域の検出の具体的な方法は、係る例に限定されない。

例えば、画像処理装置１０は、遠赤外画像に対して対象物に応じたテンプレートマッチング等の画像処理を施すことによって、当該遠赤外画像から互いに異なる設定温度範囲内の温度を示す複数の候補領域を検出してもよい。また、画像処理装置１０は、事前に学習される予測モデルを用いることによって、遠赤外画像から互いに異なる設定温度範囲内の温度を示す複数の候補領域を検出してもよい。このような予測モデルは、例えば、用意された遠赤外画像と候補領域の検出結果のペアを利用することによって、ブースティング又はサポートベクタマシンといった既存のアルゴリズムに従って、構築され得る。

また、画像処理装置１０は、遠赤外画像の各画素について、当該各画素の画素値を、当該各画素によって示される温度が各対象物の想定温度である尤度へ変換し、変換後の画像に対して、テンプレートマッチング等の画像処理を施すことによって、互いに異なる設定温度範囲内の温度を示す複数の候補領域を検出してもよい。具体的には、中央値が各対象物の想定温度と一致するガウス分布に従った確率密度関数を利用することによって、遠赤外画像の各画素の画素値を上記尤度へ変換し得る。なお、想定温度が幅を有する場合、中央値が各対象物の想定温度の中央値と一致するガウス分布に従った確率密度関数が利用され得る。図１０では、各画素についての画素値から尤度への変換後の画像Ｉｍ１２が示されている。具体的には、図１０に示した画像Ｉｍ１２は、図７に示した遠赤外画像Ｉｍ１０の各画素について、当該各画素の画素値を、当該各画素によって示される温度が対象物としての顔Ｃ１１の想定温度である尤度へ変換することによって得られる画像である。図１０に示した画像Ｉｍ１２において、ハッチングの濃淡は尤度の異同を示す。当該ハッチングが濃い区域ほど、尤度が低い区域である。

（動作）
続いて、図１１〜図１４を参照して、第１の応用例に係る画像処理装置１０が行う処理の流れについて説明する。

まず、図１１及び図１２を参照して、第１の応用例に係る画像処理装置１０が行う処理の流れの第１の例について説明する。図１１は、第１の応用例に係る画像処理装置１０が行う処理の流れの第１の例を示すフローチャートである。図１１に示した処理は、例えば、各フレームについて、実行され得る。

第１の例では、図１１に示したように、まず、画像処理装置１０は、遠赤外画像Ｉｍ１０の撮像を行う（ステップＳ６０１）。次に、顔検出部１４１は、撮像された遠赤外画像Ｉｍ１０から顔候補領域を検出する検出処理を実行し（ステップＳ６１０）、検出結果を判定部１５０へ出力する。そして、判定部１５０は、顔候補領域が検出されたか否かを判断する（ステップＳ６０３）。顔候補領域が検出されたと判断されなかった場合（ステップＳ６０３／ＮＯ）、ステップＳ６０１の処理へ戻る。

一方、顔候補領域が検出されたと判断された場合（ステップＳ６０３／ＹＥＳ）、判定部１５０から胴体検出部１４２へ判断結果が出力され、胴体検出部１４２は、胴体候補領域を検出する検出処理を実行し（ステップＳ６３０）、検出結果を判定部１５０へ出力する。そして、判定部１５０は、胴体候補領域が検出されたか否かを判断する（ステップＳ６０５）。胴体候補領域が検出されたと判断されなかった場合（ステップＳ６０５／ＮＯ）、ステップＳ６０１の処理へ戻る。

一方、胴体候補領域が検出されたと判断された場合（ステップＳ６０５／ＹＥＳ）、判定部１５０は、顔候補領域及び胴体候補領域の間の位置関係が妥当であるか否かを判定する（ステップＳ６０７）。顔候補領域及び胴体候補領域の間の位置関係がモデリングによって規定される位置関係と略一致しない場合には、顔候補領域及び胴体候補領域の間の位置関係は妥当であると判定されず（ステップＳ６０７／ＮＯ）、ステップＳ６０１の処理へ戻る。一方、顔候補領域及び胴体候補領域の間の位置関係がモデリングによって規定される位置関係と略一致する場合には、顔候補領域及び胴体候補領域の間の位置関係は妥当であると判定され（ステップＳ６０７／ＹＥＳ）、判定部１５０は、判定結果を記憶部１６０へ登録し（ステップＳ６０９）、図１１に示した処理は終了する。

続いて、図１２を参照して、第１の応用例に係る画像処理装置１０が行う顔候補領域及び胴体候補領域の各々の検出処理（図１１に示したステップＳ６１０，Ｓ６３０）について、より詳細に説明する。図１２は、第１の応用例に係る画像処理装置１０が行う顔候補領域及び胴体候補領域の各々の検出処理の流れの一例を示すフローチャートである。

図１２に示したように、まず、顔検出部１４１（胴体検出部１４２）は、遠赤外画像Ｉｍ１０から部分領域を抽出する（ステップＳ６１１（ステップＳ６３１））。次に、顔検出部１４１（胴体検出部１４２）は、抽出された部分領域についてのスコア値を算出する（ステップＳ６１３（ステップＳ６３３））。次に、顔検出部１４１（胴体検出部１４２）は、算出されたスコア値と閾値との比較を行う（ステップＳ６１５（ステップＳ６３５））。そして、顔検出部１４１（胴体検出部１４２）は、遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したか否かを判定する（ステップＳ６１７（ステップＳ６３７））。遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したと判定されなかった場合（ステップＳ６１７／ＮＯ（ステップＳ６３７／ＮＯ））、ステップＳ６１１（ステップＳ６３１）の処理へ戻る。一方、遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したと判定された場合（ステップＳ６１７／ＹＥＳ（ステップＳ６３７／ＹＥＳ））、図１２に示した処理は終了する。

続いて、図１３及び図１４を参照して、第１の応用例に係る画像処理装置１０が行う処理の流れの第２の例について説明する。図１３は、第１の応用例に係る画像処理装置１０が行う処理の流れの第２の例を示すフローチャートである。第２の例では、図１１を参照して説明した第１の例と比較して、顔候補領域及び胴体候補領域の間の位置関係についての判定処理（ステップＳ６０７）において、当該位置関係が妥当であると判定された場合（ステップＳ６０７／ＹＥＳ）における処理が異なる。以下では、当該位置関係が妥当であると判定された場合（ステップＳ６０７／ＹＥＳ）における処理の流れについて、説明する。

第２の例では、図１３に示したように、ステップＳ６０７の判定処理において、顔候補領域及び胴体候補領域の間の位置関係は妥当であると判定された場合（ステップＳ６０７／ＹＥＳ）、判定部１５０から目検出部１４３、眼鏡検出部１４４、及び頭髪検出部１４５へ判断結果が出力される。そして、目検出部１４３、眼鏡検出部１４４、及び頭髪検出部１４５は、顔部分候補領域を検出する検出処理を実行し（ステップＳ６５０）、検出結果を判定部１５０へ出力する。そして、判定部１５０は、顔部分候補領域が少なくとも１つ検出されたか否かを判断する（ステップＳ６１１）。顔部分候補領域が少なくとも１つ検出されたと判断されなかった場合（ステップＳ６１１／ＮＯ）、ステップＳ６０１の処理へ戻る。

一方、顔部分候補領域が少なくとも１つ検出されたと判断された場合（ステップＳ６１１／ＹＥＳ）、判定部１５０は、顔候補領域及び顔部分候補領域の間の位置関係が妥当であるか否かを判定する（ステップＳ６１３）。顔候補領域及び顔部分候補領域の間の位置関係がモデリングによって規定される位置関係と略一致しない場合には、顔候補領域及び顔部分候補領域の間の位置関係は妥当であると判定されず（ステップＳ６１３／ＮＯ）、ステップＳ６０１の処理へ戻る。一方、顔候補領域及び顔部分候補領域の間の位置関係がモデリングによって規定される位置関係と略一致する場合には、顔候補領域及び顔部分候補領域の間の位置関係は妥当であると判定され（ステップＳ６１３／ＹＥＳ）、判定部１５０は、判定結果を記憶部１６０へ登録し（ステップＳ６０９）、図１３に示した処理は終了する。

続いて、図１４を参照して、第１の応用例に係る画像処理装置１０が行う顔部分候補領域の検出処理（図１３に示したステップＳ６５０）について、より詳細に説明する。図１４は、第１の応用例に係る画像処理装置１０が行う顔部分候補領域の検出処理の流れの一例を示すフローチャートである。

図１４に示したように、まず、目検出部１４３は、遠赤外画像Ｉｍ１０から部分領域を抽出する（ステップＳ６５１）。次に、目検出部１４３は、抽出された部分領域についてのスコア値を算出する（ステップＳ６５３）。次に、目検出部１４３は、算出されたスコア値と閾値との比較を行う（ステップＳ６５５）。そして、目検出部１４３は、遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したか否かを判定する（ステップＳ６５７）。遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したと判定されなかった場合（ステップＳ６５７／ＮＯ）、ステップＳ６５１の処理へ戻る。

一方、遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したと判定された場合（ステップＳ６５７／ＹＥＳ）、眼鏡検出部１４４は、遠赤外画像Ｉｍ１０から部分領域を抽出する（ステップＳ６５９）。次に、眼鏡検出部１４４は、抽出された部分領域についてのスコア値を算出する（ステップＳ６６１）。次に、眼鏡検出部１４４は、算出されたスコア値と閾値との比較を行う（ステップＳ６６３）。そして、眼鏡検出部１４４は、遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したか否かを判定する（ステップＳ６６５）。遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したと判定されなかった場合（ステップＳ６６５／ＮＯ）、ステップＳ６５９の処理へ戻る。

一方、遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したと判定された場合（ステップＳ６６５／ＹＥＳ）、頭髪検出部１４５は、遠赤外画像Ｉｍ１０から部分領域を抽出する（ステップＳ６６７）。次に、頭髪検出部１４５は、抽出された部分領域についてのスコア値を算出する（ステップＳ６６９）。次に、頭髪検出部１４５は、算出されたスコア値と閾値との比較を行う（ステップＳ６７１）。そして、頭髪検出部１４５は、遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したか否かを判定する（ステップＳ６７３）。遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したと判定されなかった場合（ステップＳ６７３／ＮＯ）、ステップＳ６６７の処理へ戻る。一方、遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したと判定された場合（ステップＳ６７３／ＹＥＳ）、図１４に示した処理は終了する。

上記では、目検出部１４３、眼鏡検出部１４４、及び頭髪検出部１４５がこの順に各候補領域についての検出処理を行う例について説明したが、各検出部による検出処理の順序は係る例に限定されない。また、各検出部による検出処理は、並列的に実行されてもよい。

[３−２．第２の応用例]
続いて、図１５〜図２０を参照して、第２の応用例に係る画像処理装置２０について説明する。第２の応用例は、本開示に係る技術を被写体としての車両の検出に適用した例である。第２の応用例に係る画像処理装置２０は、遠赤外画像に所定の被写体として車両が映っているか否かを判定する。

（機能構成）
まず、図１５を参照して、第２の応用例に係る画像処理装置２０の機能構成について説明する。第２の応用例に係る画像処理装置２０のハードウェア構成は、図２を参照して説明した画像処理装置１のハードウェア構成と同様であってもよい。図１５は、そのような画像処理装置２０の構成要素が互いに連係することにより実現される機能構成の一例を示すブロック図である。

図１５に示したように、画像処理装置２０は、マフラー検出部２４１と、通過部検出部２４２と、非通過部検出部２４３と、判定部２５０と、記憶部２６０と、を備える。第２の応用例におけるマフラー検出部２４１、通過部検出部２４２、及び非通過部検出部２４３は、本開示に係る複数の検出部に相当する。また、第２の応用例における判定部２５０及び記憶部２６０は、図３を参照して説明した画像処理装置１の判定部５０及び記憶部６０とそれぞれ対応する。

記憶部２６０は、画像処理装置２０が行う各処理において参照されるデータを記憶する。例えば、記憶部２６０は、マフラー検出部２４１、通過部検出部２４２、及び非通過部検出部２４３の各々が行う候補領域の検出処理において用いられる情報を記憶する。また、記憶部２６０は、判定部２５０が行う判定処理において用いられるモデリングを記憶する。具体的には、記憶部２６０には、図１７に示した後述するデータテーブルＤ２０が記憶され、当該データテーブルＤ２０に各種情報が含まれる。

マフラー検出部２４１は、遠赤外画像から車両のマフラーが映る候補であるマフラー候補領域を、候補領域として、検出する。また、通過部検出部２４２は、遠赤外画像から路面上において車両の車輪が通過した部分が映る候補である通過部候補領域を、候補領域として、検出する。また、非通過部検出部２４３は、遠赤外画像から路面上において車両の車輪が通過していない部分が映る候補である非通過部候補領域を、候補領域として、検出する。これらの検出部は、遠赤外画像から互いに異なる設定温度範囲内の温度を示す領域を検出する。

第２の応用例に係る各検出部は、図３を参照して説明した画像処理装置１の第１検出部４１（第２検出部４２）における第１抽出部４１ａ（第２抽出部４２ａ）、第１スコア算出部４１ｂ（第２スコア算出部４２ｂ）、及び第１スコア比較部４１ｃ（第２スコア比較部４２ｃ）の機能を有する。具体的には、第２の応用例に係る各検出部は、図３を参照して説明した画像処理装置１の各検出部と同様に、遠赤外画像から部分領域を抽出し、抽出された部分領域についてのスコア値を算出し、算出されたスコア値と閾値との比較を行う。また、第２の応用例に係る各検出部は、スコア値が閾値より高い場合に、対応する部分領域を候補領域として検出し、スコア値が閾値以下である場合に、対応する部分領域を候補領域として検出しない。また、第２の応用例に係る各検出部は、検出結果を判定部２５０へ出力する。

図１６は、車両Ｐ２０が映る遠赤外画像Ｉｍ２０の一例を示す説明図である。図１６に示したように、遠赤外画像Ｉｍ２０には、路面上を走行する被写体としての車両Ｐ２０が映っている。第２の応用例に係る画像処理装置２０は、例えば、車両Ｐ２０の後続車に搭載されており、当該後続車における前方側に赤外線カメラ１０２が設けられ得る。画像処理装置２０では、主に赤外線カメラ１０２が設けられる車両の直前方の車両Ｐ２０が検出対象の被写体となる。また、遠赤外画像Ｉｍ２０において、対象物として、車両Ｐ２０のマフラーＣ２１、路面上において車両の車輪が通過した部分である通過部Ｃ２２、及び路面上において車両の車輪が通過していない部分である非通過部Ｃ２３が示されている。第２の応用例に係る各検出部は、例えば、このような遠赤外画像Ｉｍ２０について、対象物が映る候補の候補領域を検出し得る。なお、図１６に示したように、遠赤外画像Ｉｍ２０には、例えば、路面の比較的前方に位置する車両群Ｅ２１、路面の両脇側に位置する林Ｅ２２、上方に位置する空Ｅ２３が映っている。図１６に示した遠赤外画像において、ハッチングの濃淡は画素値の異同を示す。当該ハッチングが濃い区域ほど、画素値が低い区域である。換言すると、当該ハッチングが濃い区域ほど、当該区域によって示される温度が低い区域である。

例えば、各検出部は、遠赤外画像Ｉｍ２０から所定の寸法を有する部分領域を抽出する。具体的には、各検出部は、記憶部２６０に記憶されるデータテーブルＤ２０を参照することによって、部分領域の寸法を設定し得る。データテーブルＤ２０において、例えば、図１７に示したように、各対象物を示す情報と、当該各対象物に応じた寸法を示す情報とが紐付けられている。

具体的には、マフラー検出部２４１は、対象物であるマフラーＣ２１に対応する「直径６〜１０ｃｍ」という寸法を、部分領域の寸法として、設定する。また、通過部検出部２４２は、対象物である通過部Ｃ２２に対応する「線幅１５〜２５ｃｍ、線間隔１．５〜２．５ｍ」という寸法を、部分領域の寸法として、設定する。また、非通過部検出部２４３は、対象物である非通過部Ｃ２３について、任意の寸法（例えば幅５０ｃｍ）を、部分領域の寸法として、設定する。

そして、各検出部は、対象物の想定温度と対応する確率密度関数に基づいて、部分領域についてのスコア値を算出する。具体的には、各検出部は、記憶部２６０に記憶されるデータテーブルＤ２０を参照することによって、対象物の想定温度と対応する確率密度関数を生成し得る。データテーブルＤ２０において、例えば、図１７に示したように、各対象物を示す情報と、当該各対象物の想定温度を示す情報とが紐付けられている。なお、記憶部２６０に各対象物と対応する確率密度関数を示す情報が記憶されていてもよく、その場合、各検出部は、記憶部２６０から当該確率密度関数を示す情報を取得し得る。また、図１７に示した各対象物の想定温度は、例えば、環境温度が２５℃である場合における値である。記憶部２６０には、環境温度の各々についてデータテーブルが記憶されてもよく、各データテーブルにおける各対象物の想定温度は、対応する環境温度に応じて設定され得る。

具体的には、マフラー検出部２４１は、対象物であるマフラーＣ２１の想定温度を「１００℃以上」として、スコア値を算出する。また、通過部検出部２４２は、対象物である通過部Ｃ２２の想定温度を「非通過部温度より１０℃高い温度以上」として、スコア値を算出する。また、非通過部検出部２４３は、対象物である非通過部Ｃ２３の想定温度を「２０℃〜３０℃」として、スコア値を算出する。なお、非通過部温度として、非通過部検出部２４３によって検出された非通過部候補領域によって示される温度が適用され得る。このように、通過部Ｃ２２の温度は、非通過部Ｃ２３と比較して、高いことが想定される。

そして、各検出部は、算出されたスコア値と閾値との比較を行う。スコア値は、例えば、０から１の間の値をとり、スコア値が大きいほど、部分領域によって示される温度が対象物の想定温度である可能性が高くなる。ここで、各検出部は、上述したように、遠赤外画像Ｉｍ２０の全領域を走査するように部分領域の抽出を繰り返す。ゆえに、各検出部は、繰り返し抽出される複数の部分領域と対応する複数のスコア値を算出する。なお、非通過部検出部２４３は、遠赤外画像Ｉｍ２０における所定の位置についてのみ部分領域の抽出を行ってもよい。当該所定の位置は、遠赤外画像Ｉｍ２０において非通過部が映る可能性が比較的高い位置であり、例えば、遠赤外画像Ｉｍ２０における下端部であってもよい。その場合、非通過部検出部２４３は、所定の位置について抽出される部分領域と対応する１つのスコア値を算出する。各検出部についての当該複数のスコア値における最大値の組み合わせの例を、図１８に示す。

具体的には、図１８に示したように、組み合わせ例２１では、マフラー検出部２４１、通過部検出部２４２、及び非通過部検出部２４３の各々についてのスコア値の最大値は、「０．９」、「０．６」、及び「０．８」である。

ここで、各検出部は、スコア値が閾値より高い場合に、対応する部分領域を候補領域として検出する。一方、検出部は、スコア値が閾値以下である場合に、対応する部分領域を候補領域として検出しない。ゆえに、各検出部についてのスコア値の最大値が閾値より高い場合は、各検出部によって、候補領域が検出された場合に相当する。一方、各検出部についてのスコア値の最大値が閾値以下である場合は、各検出部によって、候補領域が検出されなかった場合に相当する。

例えば、閾値が０．５に設定されている場合、組み合わせ例２１では、マフラー候補領域、通過部候補領域、及び非通過部候補領域は、マフラー検出部２４１、通過部検出部２４２、及び非通過部検出部２４３によって、それぞれ検出されている。

第２の応用例に係る判定部２５０は、検出されたマフラー候補領域及び通過部候補領域の間の位置関係と、モデリングとに基づいて、遠赤外画像Ｉｍ２０に所定の被写体として車両Ｐ２０が映っているか否かを判定する。当該モデリングは、遠赤外画像Ｉｍ２０に車両Ｐ２０が映っているか否かを判定するために用いられる指標である。当該モデリングは、遠赤外画像Ｉｍ２０において車両Ｐ２０が映る場合におけるマフラー候補領域及び通過部候補領域の間の位置関係を規定する。

具体的には、判定部２５０は、マフラー候補領域及び通過部候補領域の間の位置関係がモデリングによって規定される位置関係と略一致する場合に、マフラー候補領域及び通過部候補領域の間の位置関係は妥当であると判定する。そして、判定部２５０は、マフラー候補領域及び通過部候補領域の間の位置関係は妥当であると判定したことをもって、遠赤外画像Ｉｍ２０に車両Ｐ２０が映っていると判定する。

より具体的には、判定部２５０は、記憶部２６０に記憶されるデータテーブルＤ２０を参照することによって、マフラー候補領域及び通過部候補領域の間の位置関係が妥当であるか否かを判定し得る。データテーブルＤ２０において、例えば、図１７に示したように、各対象物を示す情報と、遠赤外画像Ｉｍ２０において車両Ｐ２０が映る場合における当該各対象物の他の対象物に対する相対位置を示す情報とが紐付けられている。このような相対位置が、第２の応用例におけるモデリングによって規定される。なお、非通過部候補領域は、基本的に通過部Ｃ２２の想定温度を算出するために検出されるので、非通過部Ｃ２３の他の対象物に対する相対位置は、図１７に示したように、データテーブルＤ２０において、規定されていなくともよい。

具体的には、判定部２５０は、マフラー候補領域が通過部候補領域より上方に位置する場合に、マフラー候補領域及び通過部候補領域の間の位置関係は妥当であると判定する。換言すると、判定部２５０は、通過部候補領域がマフラー候補領域より下方に位置する場合に、マフラー候補領域及び通過部候補領域の間の位置関係は妥当であると判定する。

このように、第２の応用例では、互いに異なる設定温度範囲内の温度を示すマフラー候補領域及び通過部候補領域の間の位置関係と、モデリングとに基づいて、遠赤外画像Ｉｍ２０に車両Ｐ２０が映っているか否かが判定される。ここで、マフラーＣ２１及び通過部Ｃ２２は、車両Ｐ２０と対応して存在し、モデリングによって規定される位置関係を有する。ゆえに、遠赤外画像Ｉｍ２０に車両Ｐ２０が映っているか否かの判定において、より尤もらしい判定結果を得ることができる。よって、赤外線カメラ１０２と異なる他のデバイスを利用することなく、被写体としての車両Ｐ２０の検出精度を向上させることができる。従って、被写体としての車両Ｐ２０の検出精度をより安価に向上させることが可能となる。

なお、遠赤外画像に被写体としての車両Ｐ２０が複数映る場合、マフラー候補領域又は通過部候補領域が複数検出され得る。そのような場合には、判定部２５０は、例えば、マフラー候補領域及び通過部候補領域の組み合わせの全てについて、マフラー候補領域及び通過部候補領域の間の位置関係が妥当であるか否かの判定を実行する。位置関係が妥当であると判定されるマフラー候補領域及び通過部候補領域の組み合わせの数が複数である場合に、判定部２５０は、遠赤外画像に当該複数の組み合わせの各々に対応する車両Ｐ２０が映っていると判定し得る。

また、判定部２５０は、判定結果を記憶部２６０へ出力することによって、登録してもよい。

また、判定部２５０は、各検出部から出力される検出結果に応じて、遠赤外画像Ｉｍ２０に車両Ｐ２０が映っているか否かを判定する判定処理を実行するか否かを決定してもよい。

例えば、判定部２５０は、マフラー候補領域、通過部候補領域、及び非通過部候補領域のいずれもが検出された場合に、マフラー候補領域及び通過部候補領域の間の位置関係についての判定処理を実行してもよい。一方、判定部２５０は、マフラー候補領域、通過部候補領域、及び非通過部候補領域のうち少なくとも一方が検出されなかった場合には、マフラー候補領域及び通過部候補領域の間の位置関係についての判定処理を実行しなくてもよい。

例えば、図１８に示した組み合わせ例２１では、マフラー候補領域、通過部候補領域、及び非通過部候補領域のいずれもが検出されているので、判定部２５０は、マフラー候補領域及び通過部候補領域の間の位置関係についての判定処理を実行する。

上記では、部分領域の抽出処理、スコア値の算出処理、及びスコア値と閾値との比較処理を実行することによって、遠赤外画像からの候補領域の検出が実現される例について説明したが、候補領域の検出の具体的な方法は、第１の応用例と同様に、係る例に限定されない。例えば、第２の応用例では、円又は楕円形状をマフラーＣ２１の形状として、テンプレートマッチングを実行することによって、マフラー候補領域を検出することが考えられる。また、下側へ向かうにつれて互いに遠ざかるように傾斜する左右一対の線分形状を通過部Ｃ２２の形状として、テンプレートマッチングを実行することによって、通過部候補領域を検出することが考えられる。

また、上記では、マフラー候補領域及び通過部候補領域を検出し、マフラー候補領域及び通過部候補領域の間の位置関係と、モデリングとに基づいて、車両Ｐ２０の検出が行われる例について説明したが、車両Ｐ２０の検出は、他の対象物についての候補領域を検出することによっても実現され得る。例えば、対象物としての車両Ｐ２０のバックライト又はタイヤについての候補領域を検出し、当該候補領域と他の候補領域との間の位置関係と、モデリングとに基づいて、車両Ｐ２０の検出が行われ得る。このような候補領域の組み合わせとして、例えば、バックライトについての候補領域であるバックライト候補領域及びタイヤについての候補領域であるタイヤ候補領域の組み合わせや、タイヤ候補領域及び通過部候補領域の組み合わせ等の種々の組み合わせが適用され得る。なお、バックライトの想定温度として、バックライトの種類（例えば、ハロゲンライトやＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）等）に応じた温度を示す情報が記憶部２６０に記憶され得る。

（動作）
続いて、図１９及び図２０を参照して、第２の応用例に係る画像処理装置２０が行う処理の流れについて説明する。図１９は、第２の応用例に係る画像処理装置２０が行う処理の流れの一例を示すフローチャートである。図１９に示した処理は、例えば、各フレームについて、実行され得る。

図１９に示したように、まず、画像処理装置２０は、遠赤外画像Ｉｍ２０の撮像を行う（ステップＳ７０１）。次に、非通過部検出部２４３は、撮像された遠赤外画像Ｉｍ２０から非通過部候補領域を検出する検出処理を実行し（ステップＳ７１０）、検出結果を判定部２５０へ出力する。そして、判定部２５０は、非通過部候補領域が検出されたか否かを判断する（ステップＳ７０３）。非通過部候補領域が検出されたと判断されなかった場合（ステップＳ７０３／ＮＯ）、ステップＳ７０１の処理へ戻る。

一方、非通過部候補領域が検出されたと判断された場合（ステップＳ７０３／ＹＥＳ）、判定部２５０から通過部検出部２４２へ判断結果が出力され、通過部検出部２４２は、通過部候補領域を検出する検出処理を実行し（ステップＳ７３０）、検出結果を判定部２５０へ出力する。そして、判定部２５０は、通過部候補領域が検出されたか否かを判断する（ステップＳ７０５）。通過部候補領域が検出されたと判断されなかった場合（ステップＳ７０５／ＮＯ）、ステップＳ７０１の処理へ戻る。

一方、通過部候補領域が検出されたと判断された場合（ステップＳ７０５／ＹＥＳ）、判定部２５０からマフラー検出部２４１へ判断結果が出力され、マフラー検出部２４１は、マフラー候補領域を検出する検出処理を実行し（ステップＳ７５０）、検出結果を判定部２５０へ出力する。そして、判定部２５０は、マフラー候補領域が検出されたか否かを判断する（ステップＳ７０７）。マフラー候補領域が検出されたと判断されなかった場合（ステップＳ７０７／ＮＯ）、ステップＳ７０１の処理へ戻る。

一方、マフラー候補領域が検出されたと判断された場合（ステップＳ７０７／ＹＥＳ）、判定部２５０は、マフラー候補領域及び通過部候補領域の間の位置関係が妥当であるか否かを判定する（ステップＳ７０９）。マフラー候補領域及び通過部候補領域の間の位置関係がモデリングによって規定される位置関係と略一致しない場合には、マフラー候補領域及び通過部候補領域の間の位置関係は妥当であると判定されず（ステップＳ７０９／ＮＯ）、ステップＳ７０１の処理へ戻る。一方、マフラー候補領域及び通過部候補領域の間の位置関係がモデリングによって規定される位置関係と略一致する場合には、マフラー候補領域及び通過部候補領域の間の位置関係は妥当であると判定され（ステップＳ７０９／ＹＥＳ）、判定部２５０は、判定結果を記憶部２６０へ登録し（ステップＳ７１１）、図１９に示した処理は終了する。

なお、通過部候補領域についての検出処理（ステップＳ７３０）及びマフラー候補領域についての検出処理（ステップＳ７５０）の順序は係る例に限定されない。また、通過部候補領域についての検出処理（ステップＳ７３０）及びマフラー候補領域についての検出処理（ステップＳ７５０）は、並列的に実行されてもよい。

続いて、図２０を参照して、第２の応用例に係る画像処理装置２０が行う非通過部顔候補領域、通過部候補領域、及びマフラー候補領域の各々の検出処理（図１９に示したステップＳ７１０，Ｓ７３０，Ｓ７５０）について、より詳細に説明する。図２０は、第２の応用例に係る画像処理装置２０が行う非通過部顔候補領域、通過部候補領域、及びマフラー候補領域の各々の検出処理の流れの一例を示すフローチャートである。

図２０に示したように、まず、非通過部検出部２４３（通過部検出部２４２、マフラー検出部２４１）は、遠赤外画像Ｉｍ２０から部分領域を抽出する（ステップＳ７１１（ステップＳ７３１，Ｓ７５１））。次に、非通過部検出部２４３（通過部検出部２４２、マフラー検出部２４１）は、抽出された部分領域についてのスコア値を算出する（ステップＳ７１３（ステップＳ７３３，Ｓ７５３））。次に、非通過部検出部２４３（通過部検出部２４２、マフラー検出部２４１）は、算出されたスコア値と閾値との比較を行う（ステップＳ７１５（ステップＳ７３５，Ｓ７５５））。そして、非通過部検出部２４３（通過部検出部２４２、マフラー検出部２４１）は、遠赤外画像Ｉｍ２０の全領域について、部分領域の抽出が終了したか否かを判定する（ステップＳ７１７（ステップＳ７３７，Ｓ７５７））。遠赤外画像Ｉｍ２０の全領域について、部分領域の抽出が終了したと判定されなかった場合（ステップＳ７１７／ＮＯ（ステップＳ７３７／ＮＯ，Ｓ７５７／ＮＯ））、ステップＳ７１１（ステップＳ７３１，Ｓ７３５）の処理へ戻る。一方、遠赤外画像Ｉｍ２０の全領域について、部分領域の抽出が終了したと判定された場合（ステップＳ７１７／ＹＥＳ（ステップＳ７３７／ＹＥＳ，Ｓ７５７／ＹＥＳ））、図２０に示した処理は終了する。

なお、上述したように、非通過部検出部２４３は、遠赤外画像Ｉｍ２０における所定の位置についてのみ部分領域の抽出を行ってもよい。その場合、非通過部検出部２４３による非通過部候補領域についての検出処理の流れから、遠赤外画像Ｉｍ２０の全領域について、部分領域の抽出が終了したか否かの判定処理（ステップＳ７１７）は省略される。

[３−３．第３の応用例]
続いて、図２１〜図２７を参照して、第３の応用例に係る画像処理装置３０について説明する。第３の応用例は、本開示に係る技術を被写体としての患者の開腹部における異常状態の患部である異常部の検出に適用した例である。なお、開腹部は、切開部の一例であり、本開示に係る技術は、例えば、被写体としての患者の開胸部における異常状態の患部である異常部の検出にも適用され得る。第３の応用例に係る画像処理装置３０は、遠赤外画像に所定の被写体として異常部が映っているか否かを判定する。

（機能構成）
まず、図２１を参照して、第３の応用例に係る画像処理装置３０の機能構成について説明する。第３の応用例に係る画像処理装置３０のハードウェア構成は、図２を参照して説明した画像処理装置１のハードウェア構成と同様であってもよい。図２１は、そのような画像処理装置３０の構成要素が互いに連係することにより実現される機能構成の一例を示すブロック図である。

図２１に示したように、画像処理装置３０は、体表検出部３４１と、開腹部検出部３４２と、異常部検出部３４３と、判定部３５０と、記憶部３６０と、を備える。第３の応用例における体表検出部３４１、開腹部検出部３４２、及び異常部検出部３４３は、本開示に係る複数の検出部に相当する。また、第３の応用例における判定部３５０及び記憶部３６０は、図３を参照して説明した画像処理装置１の判定部５０及び記憶部６０とそれぞれ対応する。

記憶部３６０は、画像処理装置３０が行う各処理において参照されるデータを記憶する。例えば、記憶部３６０は、体表検出部３４１、開腹部検出部３４２、及び異常部検出部３４３の各々が行う候補領域の検出処理において用いられる情報を記憶する。また、記憶部３６０は、判定部３５０が行う判定処理において用いられるモデリングを記憶する。具体的には、記憶部３６０には、図２４に示した後述するデータテーブルＤ３０が記憶され、当該データテーブルＤ３０に各種情報が含まれる。

体表検出部３４１は、遠赤外画像から患者の体表が映る候補である体表候補領域を、候補領域として、検出する。また、開腹部検出部３４２は、遠赤外画像から患者の開腹部が映る候補である開腹部候補領域を、候補領域として、検出する。また、異常部検出部３４３は、遠赤外画像から開腹部における異常部が映る候補である異常部候補領域を、候補領域として、検出する。これらの検出部は、遠赤外画像から互いに異なる設定温度範囲内の温度を示す領域を検出する。

ここで、開腹部は、上述したように、切開部の一例である。また、開腹部候補領域は、切開部が映る候補である切開部候補領域に相当する。また、開腹部検出部３４２は、遠赤外画像から切開部候補領域を候補領域として検出する切開部検出部に相当する。

第３の応用例に係る各検出部は、図３を参照して説明した画像処理装置１の第１検出部４１（第２検出部４２）における第１抽出部４１ａ（第２抽出部４２ａ）、第１スコア算出部４１ｂ（第２スコア算出部４２ｂ）、及び第１スコア比較部４１ｃ（第２スコア比較部４２ｃ）の機能を有する。具体的には、第３の応用例に係る各検出部は、図３を参照して説明した画像処理装置１の各検出部と同様に、遠赤外画像から部分領域を抽出し、抽出された部分領域についてのスコア値を算出し、算出されたスコア値と閾値との比較を行う。また、第３の応用例に係る各検出部は、スコア値が閾値より高い場合に、対応する部分領域を候補領域として検出し、スコア値が閾値以下である場合に、対応する部分領域を候補領域として検出しない。また、第３の応用例に係る各検出部は、検出結果を判定部３５０へ出力する。

第３の応用例に係る画像処理装置３０は、患者の微細部位を拡大観察しながら行う、いわゆるマイクロサージェリーに用いられる顕微鏡装置に適用される。図２２は、顕微鏡装置３１を用いた手術の様子を示す説明図である。図２２では、手術において、患者ベッド３３上の患者３７の術部を顕微鏡装置３１が撮像している様子が概略的に示されている。患者３７の術部を除く部分は、不織布３５によって覆われている。また、図２２に示したように、顕微鏡装置３１の先端には、カメラ３１ａが設けられており、当該カメラ３１ａが患者３７の術部を撮像する。顕微鏡装置３１は、複数の回動自在なアーム部を含み、当該複数のアーム部を適宜回動させることによって、カメラ３１ａの位置及び姿勢を調整することができる。顕微鏡装置３１は、図示しない表示装置と接続されており、当該表示装置へ術部の画像が映され、術者が当該画像を確認しながら手術を行うことができる。顕微鏡装置３１には図示しない制御装置を含む。第３の応用例に係る画像処理装置３０は、例えば、このような顕微鏡装置３１に適用され得る。その場合、カメラ３１ａが赤外線カメラ１０２に相当する。

図２３は、患者の開腹部Ｃ３２における異常部Ｐ３０が映る遠赤外画像Ｉｍ３０の一例を示す説明図である。図２３に示したように、遠赤外画像Ｉｍ３０には、被写体としての異常部Ｐ３０が映っている。また、遠赤外画像Ｉｍ３０において、対象物として、患者の体表Ｃ３１及び当該患者の開腹部Ｃ３２が示されている。また、開腹部Ｃ３２における異常部Ｐ３０は、検出対象の被写体に相当するとともに、異常部検出部３４３による候補領域の検出における対象物にも相当する。第３の応用例に係る各検出部は、例えば、このような遠赤外画像Ｉｍ３０について、対象物が映る候補の候補領域を検出し得る。なお、図２３に示したように、遠赤外画像Ｉｍ３０には、例えば、開腹部Ｃ３２の縁部を支持する鉗子等の器具Ｅ３１が複数映っている。図２３に示した遠赤外画像において、ハッチングの濃淡は画素値の異同を示す。当該ハッチングが濃い区域ほど、画素値が低い区域である。換言すると、当該ハッチングが濃い区域ほど、当該区域によって示される温度が低い区域である。

例えば、各検出部は、遠赤外画像Ｉｍ３０から所定の寸法を有する部分領域を抽出する。具体的には、各検出部は、記憶部３６０に記憶されるデータテーブルＤ３０を参照することによって、部分領域の寸法を設定し得る。データテーブルＤ３０において、例えば、図２４に示したように、各対象物を示す情報と、当該各対象物に応じた寸法を示す情報とが紐付けられている。

具体的には、体表検出部３４１は、対象物である体表Ｃ３１について、画像全体を、部分領域の寸法として、設定する。また、開腹部検出部３４２は、対象物である開腹部Ｃ３２に対応する「直径１０〜３０ｃｍ」という寸法を、部分領域の寸法として、設定する。また、異常部検出部３４３は、対象物である異常部Ｐ３０に対応する「直径１〜５ｃｍ」という寸法を、部分領域の寸法として、設定する。

そして、各検出部は、対象物の想定温度と対応する確率密度関数に基づいて、部分領域についてのスコア値を算出する。具体的には、各検出部は、記憶部３６０に記憶されるデータテーブルＤ３０を参照することによって、対象物の想定温度と対応する確率密度関数を生成し得る。データテーブルＤ３０において、例えば、図２４に示したように、各対象物を示す情報と、当該各対象物の想定温度を示す情報とが紐付けられている。なお、記憶部３６０に各対象物と対応する確率密度関数を示す情報が記憶されていてもよく、その場合、各検出部は、記憶部３６０から当該確率密度関数を示す情報を取得し得る。また、記憶部３６０には、第１の応用例及び第２の応用例と同様に、環境温度の各々についてデータテーブルが記憶されてもよく、各データテーブルにおける各対象物の想定温度は、対応する環境温度に応じて設定され得る。

具体的には、体表検出部３４１は、対象物である体表Ｃ３１の想定温度を「３５℃」として、スコア値を算出する。また、開腹部検出部３４２は、対象物である開腹部Ｃ３２の想定温度を「３７℃」として、スコア値を算出する。また、異常部検出部３４３は、対象物である異常部Ｐ３０の想定温度を「３９℃」として、スコア値を算出する。異常部Ｐ３０では、腫れや出血が生じている場合があるので、異常部Ｐ３０の温度は、このように、開腹部Ｃ３２と比較して、高いことが想定される。

そして、各検出部は、算出されたスコア値と閾値との比較を行う。スコア値は、例えば、０から１の間の値をとり、スコア値が大きいほど、部分領域によって示される温度が対象物の想定温度である可能性が高くなる。ここで、各検出部は、上述したように、遠赤外画像Ｉｍ３０の全領域を走査するように部分領域の抽出を繰り返す。ゆえに、開腹部検出部３４２及び異常部検出部３４３は、繰り返し抽出される複数の部分領域と対応する複数のスコア値を算出する。なお、体表検出部３４１は、上述したように、画像全体を部分領域の寸法として設定した場合、遠赤外画像Ｉｍ３０についての部分領域の抽出を複数回行わない。開腹部検出部３４２及び異常部検出部３４３についての当該複数のスコア値における最大値と、体表検出部３４１についてのスコア値の組み合わせの例を、図２５に示す。

具体的には、図２５に示したように、組み合わせ例３１では、開腹部検出部３４２及び異常部検出部３４３の各々についてのスコア値の最大値は、「１．０」及び「１．０」であり、体表検出部３４１についてのスコア値は、「０．８」である。

ここで、各検出部は、スコア値が閾値より高い場合に、対応する部分領域を候補領域として検出する。一方、検出部は、スコア値が閾値以下である場合に、対応する部分領域を候補領域として検出しない。ゆえに、開腹部検出部３４２及び異常部検出部３４３の各々についてのスコア値の最大値が閾値より高い場合は、開腹部検出部３４２及び異常部検出部３４３の各々によって、候補領域が検出された場合に相当する。一方、開腹部検出部３４２及び異常部検出部３４３の各々についてのスコア値の最大値が閾値以下である場合は、開腹部検出部３４２及び異常部検出部３４３の各々によって、候補領域が検出されなかった場合に相当する。

例えば、閾値が０．５に設定されている場合、組み合わせ例３１では、体表候補領域、開腹部候補領域、及び異常部候補領域は、体表検出部３４１、開腹部検出部３４２、及び異常部検出部３４３によって、それぞれ検出されている。

第３の応用例に係る判定部３５０は、検出された体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係と、モデリングとに基づいて、遠赤外画像Ｉｍ３０に所定の被写体として異常部Ｐ３０が映っているか否かを判定する。当該モデリングは、遠赤外画像Ｉｍ３０に異常部Ｐ３０が映っているか否かを判定するために用いられる指標である。当該モデリングは、遠赤外画像Ｉｍ３０において異常部Ｐ３０が映る場合における体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係を規定する。

具体的には、判定部３５０は、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係がモデリングによって規定される位置関係と略一致する場合に、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係は妥当であると判定する。そして、判定部３５０は、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係は妥当であると判定したことをもって、遠赤外画像Ｉｍ３０に異常部Ｐ３０が映っていると判定する。

より具体的には、判定部３５０は、記憶部３６０に記憶されるデータテーブルＤ３０を参照することによって、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係が妥当であるか否かを判定し得る。データテーブルＤ３０において、例えば、図２４に示したように、各対象物を示す情報と、遠赤外画像Ｉｍ３０において異常部Ｐ３０が映る場合における当該各対象物の他の対象物に対する相対位置を示す情報とが紐付けられている。このような相対位置が、第３の応用例におけるモデリングによって規定される。

具体的には、判定部３５０は、体表候補領域の外周部が開腹部候補領域より外側に位置し、かつ、異常部候補領域が開腹部候補領域より内側に位置する場合に、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係は妥当であると判定する。換言すると、判定部３５０は、開腹部候補領域が体表候補領域より内側に位置し、かつ、異常部候補領域が開腹部候補領域より内側に位置する場合に、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係は妥当であると判定する。

このように、第３の応用例では、互いに異なる設定温度範囲内の温度を示す体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係と、モデリングとに基づいて、遠赤外画像Ｉｍ３０に異常部Ｐ３０が映っているか否かが判定される。ここで、体表Ｃ３１、開腹部Ｃ３２、及び異常部Ｐ３０は、異常部Ｐ３０と対応して存在し、モデリングによって規定される位置関係を有する。ゆえに、遠赤外画像Ｉｍ３０に異常部Ｐ３０が映っているか否かの判定において、より尤もらしい判定結果を得ることができる。よって、赤外線カメラ１０２と異なる他のデバイスを利用することなく、被写体としての異常部Ｐ３０の検出精度を向上させることができる。従って、被写体としての異常部Ｐ３０の検出精度をより安価に向上させることが可能となる。

なお、遠赤外画像に被写体としての異常部Ｐ３０が複数映る場合、体表候補領域、開腹部候補領域、又は異常部候補領域が複数検出され得る。そのような場合には、判定部３５０は、例えば、体表候補領域、開腹部候補領域、及び異常部候補領域の組み合わせの全てについて、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係が妥当であるか否かの判定を実行する。位置関係が妥当であると判定される体表候補領域、開腹部候補領域、及び異常部候補領域の組み合わせの数が複数である場合に、判定部３５０は、遠赤外画像に当該複数の組み合わせの各々に対応する異常部Ｐ３０が映っていると判定し得る。

また、判定部３５０は、判定結果をディスプレイ１０８へ出力することにより、報知する。それにより、例えば、術者への警告がなされる。

また、判定部３５０は、各検出部から出力される検出結果に応じて、遠赤外画像Ｉｍ３０に異常部Ｐ３０が映っているか否かを判定する判定処理を実行するか否かを決定してもよい。

例えば、判定部３５０は、体表候補領域、開腹部候補領域、及び異常部候補領域のいずれもが検出された場合に、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係についての判定処理を実行してもよい。一方、判定部３５０は、体表候補領域、開腹部候補領域、及び異常部候補領域のうち少なくとも１つが検出されなかった場合には、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係についての判定処理を実行しなくてもよい。

例えば、図２５に示した組み合わせ例３１では、体表候補領域、開腹部候補領域、及び異常部候補領域のいずれもが検出されているので、判定部３５０は、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係についての判定処理を実行する。

上記では、部分領域の抽出処理、スコア値の算出処理、及びスコア値と閾値との比較処理を実行することによって、遠赤外画像からの候補領域の検出が実現される例について説明したが、候補領域の検出の具体的な方法は、第１の応用例及び第２の応用例と同様に、係る例に限定されない。

（動作）
続いて、図２６及び図２７を参照して、第３の応用例に係る画像処理装置３０が行う処理の流れについて説明する。図２６は、第３の応用例に係る画像処理装置３０が行う処理の流れの一例を示すフローチャートである。図２６に示した処理は、例えば、各フレームについて、実行され得る。

図２６に示したように、まず、画像処理装置３０は、遠赤外画像Ｉｍ３０の撮像を行う（ステップＳ８０１）。次に、体表検出部３４１は、撮像された遠赤外画像Ｉｍ３０から体表候補領域を検出する検出処理を実行し（ステップＳ８１０）、検出結果を判定部３５０へ出力する。そして、判定部３５０は、体表候補領域が検出されたか否かを判断する（ステップＳ８０３）。体表候補領域が検出されたと判断されなかった場合（ステップＳ８０３／ＮＯ）、ステップＳ８０１の処理へ戻る。

一方、体表候補領域が検出されたと判断された場合（ステップＳ８０３／ＹＥＳ）、判定部３５０から開腹部検出部３４２へ判断結果が出力され、開腹部検出部３４２は、開腹部候補領域を検出する検出処理を実行し（ステップＳ８３０）、検出結果を判定部３５０へ出力する。そして、判定部３５０は、開腹部候補領域が検出されたか否かを判断する（ステップＳ８０５）。開腹部候補領域が検出されたと判断されなかった場合（ステップＳ８０５／ＮＯ）、ステップＳ８０１の処理へ戻る。

一方、開腹部候補領域が検出されたと判断された場合（ステップＳ８０５／ＹＥＳ）、判定部３５０から異常部検出部３４３へ判断結果が出力され、異常部検出部３４３は、異常部候補領域を検出する検出処理を実行し（ステップＳ８５０）、検出結果を判定部３５０へ出力する。そして、判定部３５０は、異常部候補領域が検出されたか否かを判断する（ステップＳ８０７）。異常部候補領域が検出されたと判断されなかった場合（ステップＳ８０７／ＮＯ）、ステップＳ８０１の処理へ戻る。

一方、異常部候補領域が検出されたと判断された場合（ステップＳ８０７／ＹＥＳ）、判定部３５０は、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係が妥当であるか否かを判定する（ステップＳ８０９）。体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係がモデリングによって規定される位置関係と略一致しない場合には、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係は妥当であると判定されず（ステップＳ８０９／ＮＯ）、ステップＳ８０１の処理へ戻る。一方、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係がモデリングによって規定される位置関係と略一致する場合には、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係は妥当であると判定され（ステップＳ８０９／ＹＥＳ）、判定部３５０は、判定結果をディスプレイ１０８へ出力することにより、術者へ警告し（ステップＳ８１１）、図２６に示した処理は終了する。

なお、体表候補領域についての検出処理（ステップＳ８１０）、開腹部候補領域についての検出処理（ステップＳ８３０）、及び異常部候補領域についての検出処理（ステップＳ８５０）の順序は係る例に限定されない。また、体表候補領域についての検出処理（ステップＳ８１０）、開腹部候補領域についての検出処理（ステップＳ８３０）、及び異常部候補領域についての検出処理（ステップＳ８５０）は、並列的に実行されてもよい。

続いて、図２７を参照して、第３の応用例に係る画像処理装置３０が行う体表候補領域、開腹部候補領域、及び異常部候補領域の各々の検出処理（図２６に示したステップＳ８１０，Ｓ８３０，Ｓ８５０）について、より詳細に説明する。図２７は、第３の応用例に係る画像処理装置３０が行う体表候補領域、開腹部候補領域、及び異常部候補領域の各々の検出処理の流れの一例を示すフローチャートである。

図２７に示したように、まず、体表検出部３４１（開腹部検出部３４２、異常部検出部３４３）は、遠赤外画像Ｉｍ３０から部分領域を抽出する（ステップＳ８１１（ステップＳ８３１，Ｓ８５１））。次に、体表検出部３４１（開腹部検出部３４２、異常部検出部３４３）は、抽出された部分領域についてのスコア値を算出する（ステップＳ８１３（ステップＳ８３３，Ｓ８５３））。次に、体表検出部３４１（開腹部検出部３４２、異常部検出部３４３）は、算出されたスコア値と閾値との比較を行う（ステップＳ８１５（ステップＳ８３５，Ｓ８５５））。そして、体表検出部３４１（開腹部検出部３４２、異常部検出部３４３）は、遠赤外画像Ｉｍ３０の全領域について、部分領域の抽出が終了したか否かを判定する（ステップＳ８１７（ステップＳ８３７，Ｓ８５７））。遠赤外画像Ｉｍ３０の全領域について、部分領域の抽出が終了したと判定されなかった場合（ステップＳ８１７／ＮＯ（ステップＳ８３７／ＮＯ，Ｓ８５７／ＮＯ））、ステップＳ８１１（ステップＳ８３１，Ｓ８５１）の処理へ戻る。一方、遠赤外画像Ｉｍ３０の全領域について、部分領域の抽出が終了したと判定された場合（ステップＳ８１７／ＹＥＳ（ステップＳ８３７／ＹＥＳ，Ｓ８５７／ＹＥＳ））、図２７に示した処理は終了する。

なお、上述のような本実施形態に係る画像処理装置１又は各応用例に係る画像処理装置１０，２０，３０の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。本実施形態に係る画像処理装置１又は各応用例に係る画像処理装置１０，２０，３０は、コンピュータに相当し得る。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。また、本実施形態に係る画像処理装置１又は各応用例に係る画像処理装置１０，２０，３０の各機能は複数のコンピュータにより分割されてもよく、その場合、当該複数のコンピュータが有する各機能は、上記のコンピュータプログラムにより実現され得る。

＜４．まとめ＞
以上説明したように、本開示の実施形態によれば、互いに異なる設定温度範囲内の温度を示す複数の検出領域間の位置関係と、モデリングとに基づいて、遠赤外画像に所定の被写体が映っているか否かが判定される。ゆえに、遠赤外画像に所定の被写体が映っているか否かの判定において、より尤もらしい判定結果を得ることができる。よって、赤外線カメラ１０２と異なる他のデバイスを利用することなく、被写体の検出精度を向上させることができる。従って、被写体の検出精度をより安価に向上させることが可能となる。

上記では、各検出部が所定の寸法の部分領域を抽出する例を主に説明したが、各検出部は、複数の寸法について部分領域の抽出を行ってもよい。それにより、対象物と赤外線カメラ１０２との距離によらず、より確実に部分領域を抽出することができる。

なお、上述した本開示に係る技術は、様々な用途に利用することができる。具体的には、本開示に係る技術は、人体以外の生体の検出に適用され得る。また、本開示に係る画像処理装置は、車両システム、医療システム、自動生産システム等に適用され得る。

なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。各プログラムを実行するプロセッサは、単数であっても複数であってもよい。

また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲は係る例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出する複数の検出部と、
検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、前記遠赤外画像に前記所定の被写体が映っているか否かを判定する判定部と、
を備える、画像処理装置。
（２）
前記設定温度範囲は、前記検出部の各々に対応する対象物の想定温度に応じた温度範囲であり、
前記検出領域は、前記対象物が映る候補である候補領域に相当する、
前記（１）に記載の画像処理装置。
（３）
前記検出部は、前記対象物に応じて設定される寸法を有する領域を、前記候補領域として、検出する、前記（２）に記載の画像処理装置。
（４）
前記検出部は、前記対象物の前記想定温度である尤度が閾値より高い温度を示す領域を、前記候補領域として、検出する、前記（２）又は（３）に記載の画像処理装置。
（５）
前記複数の検出部は、前記遠赤外画像から人体の顔が映る候補である顔候補領域を前記候補領域として検出する顔検出部、及び、前記遠赤外画像から前記人体の胴体が映る候補である胴体候補領域を前記候補領域として検出する胴体検出部を含み、
前記判定部は、検出された前記顔候補領域及び前記胴体候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記人体が映っているか否かを判定する、
前記（２）〜（４）のいずれか一項に記載の画像処理装置。
（６）
前記複数の検出部は、前記遠赤外画像から前記顔に関連する部分が映る候補である顔部分候補領域を前記候補領域として検出する顔部分検出部をさらに含み、
前記判定部は、検出された前記顔候補領域及び前記顔部分候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記人体が映っているか否かを判定する、
前記（５）に記載の画像処理装置。
（７）
前記複数の検出部は、前記遠赤外画像から車両のマフラーが映る候補であるマフラー候補領域を前記候補領域として検出するマフラー検出部、及び、前記遠赤外画像から路面上において前記車両の車輪が通過した部分が映る候補である通過部候補領域を前記候補領域として検出する通過部検出部を含み、
前記判定部は、検出された前記マフラー候補領域及び前記通過部候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記車両が映っているか否かを判定する、
前記（２）〜（４）のいずれか一項に記載の画像処理装置。
（８）
前記複数の検出部は、前記遠赤外画像から患者の体表が映る候補である体表候補領域を前記候補領域として検出する体表検出部、前記遠赤外画像から前記患者の切開部が映る候補である切開部候補領域を前記候補領域として検出する切開部検出部、及び、前記遠赤外画像から前記切開部における異常部が映る候補である異常部候補領域を前記候補領域として検出する異常部検出部を含み、
前記判定部は、検出された前記体表候補領域、前記切開部候補領域、及び前記異常部候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記異常部が映っているか否かを判定する、
前記（２）〜（４）のいずれか一項に記載の画像処理装置。
（９）
前記遠赤外画像を撮像する撮像部を備える、前記（１）〜（８）のいずれか一項に記載の画像処理装置。
（１０）
遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出することと、
検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、画像処理装置によって、前記遠赤外画像に前記所定の被写体が映っているか否かを判定することと、
を含む、画像処理方法。

１，１０，２０，３０ 画像処理装置
３１ 顕微鏡装置
３１ａ カメラ
３３ 患者ベッド
３５ 不織布
３７ 患者
４１ 第１検出部
４１ａ 第１抽出部
４１ｂ 第１スコア算出部
４１ｃ 第１スコア比較部
４２ 第２検出部
４２ａ 第２抽出部
４２ｂ 第２スコア算出部
４２ｃ 第２スコア比較部
５０，１５０，２５０，３５０ 判定部
６０，１６０，２６０，３６０ 記憶部
１０２ 赤外線カメラ
１０４ 入力インタフェース
１０６ メモリ
１０８ ディスプレイ
１１０ 通信インタフェース
１１２ ストレージ
１１４ プロセッサ
１１６ バス
１４１ 顔検出部
１４２ 胴体検出部
１４３ 目検出部
１４４ 眼鏡検出部
１４５ 頭髪検出部
２４１ マフラー検出部
２４２ 通過部検出部
２４３ 非通過部検出部
３４１ 体表検出部
３４２ 開腹部検出部
３４３ 異常部検出部

Claims (8)

1. 遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出する複数の検出部と、
   検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、前記遠赤外画像に前記所定の被写体が映っているか否かを判定する判定部と、
   を備え、前記設定温度範囲は、前記検出部の各々に対応する対象物の想定温度に応じた温度範囲であり、
   前記検出領域は、前記対象物が映る候補である候補領域に相当し、
   前記複数の検出部は、前記遠赤外画像から人体の顔が映る候補である顔候補領域を前記候補領域として検出する顔検出部、及び、前記遠赤外画像から前記顔に関連する部分が映る候補である顔部分候補領域を前記候補領域として検出する顔部分検出部を含み、
   前記判定部は、検出された前記顔候補領域及び前記顔部分候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記人体が映っているか否かを判定する、画像処理装置。
2. 前記検出部は、前記対象物に応じて設定される寸法を有する領域を、前記候補領域として、検出する、請求項１に記載の画像処理装置。
3. 前記検出部は、前記対象物の前記想定温度である尤度が閾値より高い温度を示す領域を、前記候補領域として、検出する、請求項１に記載の画像処理装置。
4. 前記複数の検出部は、前記遠赤外画像から前記人体の胴体が映る候補である胴体候補領域を前記候補領域として検出する胴体検出部をさらに含み、
   前記判定部は、検出された前記顔候補領域及び前記胴体候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記人体が映っているか否かを判定する、
   請求項１に記載の画像処理装置。
5. 遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出する複数の検出部と、
   検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、前記遠赤外画像に前記所定の被写体が映っているか否かを判定する判定部と、
   を備え、前記設定温度範囲は、前記検出部の各々に対応する対象物の想定温度に応じた温度範囲であり、
   前記検出領域は、前記対象物が映る候補である候補領域に相当し、
   前記複数の検出部は、前記遠赤外画像から車両のマフラーが映る候補であるマフラー候補領域を前記候補領域として検出するマフラー検出部、及び、前記遠赤外画像から路面上において前記車両の車輪が通過した部分が映る候補である通過部候補領域を前記候補領域として検出する通過部検出部を含み、
   前記判定部は、検出された前記マフラー候補領域及び前記通過部候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記車両が映っているか否かを判定する、画像処理装置。
6. 遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出する複数の検出部と、
   検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、前記遠赤外画像に前記所定の被写体が映っているか否かを判定する判定部と、
   を備え、前記設定温度範囲は、前記検出部の各々に対応する対象物の想定温度に応じた温度範囲であり、
   前記検出領域は、前記対象物が映る候補である候補領域に相当し、
   前記複数の検出部は、前記遠赤外画像から患者の体表が映る候補である体表候補領域を前記候補領域として検出する体表検出部、前記遠赤外画像から前記患者の切開部が映る候補である切開部候補領域を前記候補領域として検出する切開部検出部、及び、前記遠赤外画像から前記切開部における異常部が映る候補である異常部候補領域を前記候補領域として検出する異常部検出部を含み、
   前記判定部は、検出された前記体表候補領域、前記切開部候補領域、及び前記異常部候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記異常部が映っているか否かを判定する、画像処理装置。
7. 前記遠赤外画像を撮像する撮像部を備える、請求項１に記載の画像処理装置。
8. 遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出することと、
   検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、画像処理装置によって、前記遠赤外画像に前記所定の被写体が映っているか否かを判定することと、
   を含む、画像処理方法であって、
   前記設定温度範囲は、対象物の想定温度に応じた温度範囲であり、
   前記検出領域は、前記対象物が映る候補である候補領域に相当し、
   前記画像処理方法は、
   前記遠赤外画像から人体の顔が映る候補である顔候補領域を前記候補領域として検出することと、
   前記遠赤外画像から前記顔に関連する部分が映る候補である顔部分候補領域を前記候補領域として検出することと、
   検出された前記顔候補領域及び前記顔部分候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記人体が映っているか否かを判定することと、
   をさらに含む、画像処理方法。

Images