JP3574241B2

JP3574241B2 - Counting people by thermal image

Info

Publication number: JP3574241B2
Application number: JP29502095A
Authority: JP
Inventors: 英俊内山; 広史平井; 忠之青山
Original assignee: Ikegami Tsushinki Co Ltd; Video Research Co Ltd
Current assignee: Ikegami Tsushinki Co Ltd; Video Research Co Ltd
Priority date: 1995-10-19
Filing date: 1995-10-19
Publication date: 2004-10-06
Anticipated expiration: 2015-10-19
Also published as: JPH09113367A

Description

【０００１】
【発明の属する技術分野】
本発明は、室内の所定領域の人体から輻射される赤外線を検知することにより、所定領域内の人数を計数する熱画像による人数計数方法に関するものである。
【０００２】
【従来の技術】
従来、室内の所定領域の人体から輻射される赤外線を検知することにより、所定領域内の人数を計数することは、例えば特公平５−５２１１７号公報に記載されている。この公報には、超音波センサ及び赤外線検出熱センサを用いて室内無人環境を設定した後、テレビの視聴者数を計数する装置が記載されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、このような装置では、室内無人環境を設定する必要があるため、室内の家具の配置を変更等した場合にはこの設定を新たにやり直す必要がある。この設定を手動で行う必要があるため、設定のやり直しを行う手間がかかる。また、このような設定を行うために、視聴者数の計数を行う赤外線検出熱センサの他に、超音波センサを必要とする。
【０００４】
本発明の目的は、室内の無人環境を予め記憶することなく室内の所定領域の人数を正確に計数することができる熱画像による人数計数方法を提供することである。
【０００５】
本発明の他の目的は、室内の所定領域内に複数の人物が固まっている場合でも、室内の所定領域の人数を正確に計数することができる熱画像による人数計数方法を提供することである。
【０００６】
本発明の他の目的は、室内の所定領域内に暖房器具のような熱源が存在する場合でも、室内の所定領域の人数を正確に計数することができる熱画像による人数計数方法を提供することである。
【０００７】
本発明の他の目的は、室内の所定領域の天井付近に熱気が存在する場合や、室内の所定領域で人物が横たわっている場合でも、室内の所定領域の人数を正確に計数することができる熱画像による人数計数方法を提供することである。
【０００８】
本発明の他の目的は、室内の所定領域の壁部に温風ヒータのような熱源が存在する場合や、室内の所定領域の窓付近が太陽光により暖められている場合でも、室内の所定領域の人数を正確に計数することができる熱画像による人数計数方法を提供することである。
【０００９】
本発明の他の目的は、室内の所定領域に人物と同程度の温度の熱源が存在する場合でも、室内の所定領域の人数を正確に計数することができる熱画像による人数計数方法を提供することである。
【００１０】
本発明の他の目的は、室内の所定領域に人物より高いが暖房器具より低い温度の熱源が存在する場合でも、室内の所定領域の人数を正確に計数することができる熱画像による人数計数方法を提供することである。
【００１１】
本発明の他の目的は、室内の所定領域で熱画像測定位置からある程度離れたい位置に人物が存在する場合でも、室内の所定領域の人数を正確に計数することができる熱画像による人数計数方法を提供することである。
【００１２】
【課題を解決するための手段】
本発明による熱画像による人数計数方法は、
複数の画素から構成される室内の所定領域の熱画像を測定する熱画像測定工程と、
これら画素のうち相対的に温度が高い画素を熱源画素と判断し、この熱源画素が互いに隣接する区域をブロックとして抽出するブロック抽出工程と、
前記ブロックが人物か否かを判別して人数を算出することにより、前記室内の所定領域内の人数を計数する人物判別工程とを具え、
前記ブロック抽出工程は、
前記熱画像の画素の第１の温度平均値を算出する第１温度平均値算出工程と、
この温度平均値より高い温度の画素を除去した画像を作成する画像作成工程と、
この画像作成工程により作成した画像の第２の温度平均値を算出する第２温度平均値算出工程と、
この第２温度平均値に基づいて背景画像を作成する背景画像作成工程と、
前記熱画像から前記背景画像を減じて２値画像を作成する２値画像作成工程と、
この２値画像により前記ブロックを作成するブロック作成工程と、
同一の前記ブロック中の熱源画素にそれぞれ、他の前記ブロック中の熱源画素と相違する同一ラベルを付加する第１ラベル付加工程とを有することを特徴とするものである。
【００１３】
本発明による熱画像による人数計数方法では、室内の無人の環境を予め記憶することなく室内の所定領域の人数を正確に計数することができるため、室内の家具の配置を変更等した場合でも室内の無人の環境の設定のやり直しを行う手間がかからない。また、このような設定を行う必要がないために、人数を計測するに当たり超音波センサを用いる必要がなくなる。
【００１４】
この場合、前記ブロック抽出工程は、
前記熱画像の画素の第１の温度平均値を算出する第１温度平均値算出工程と、
この温度平均値より高い温度の画素を除去した画像を作成する画像作成工程と、
この画像作成工程により作成した画像の第２の温度平均値を算出する第２温度平均値算出工程と、
この第２温度平均値に基づいて背景画像を作成する背景画像作成工程と、
前記熱画像から前記背景画像を減じて２値画像を作成する２値画像作成工程と、
この２値画像により前記ブロックを作成するブロック作成工程と、
同一の前記ブロック中の熱源画素にそれぞれ、他の前記ブロック中の熱源画素と相違する同一ラベルを付加する第１ラベル付加工程とを有する。
【００１５】
さらに好適には、前記第１温度平均値算出工程、前記画像作成工程及び前記第２温度平均値算出工程を、前記熱画像の垂直方向の座標が同一である画素グループごとに行う。
【００１６】
室内の温度は、床付近に比べて天井付近の方が高いので、全体の平均温度を閾値とする場合床付近に存在する熱源を抽出するのに好ましくない。したがって、熱画像の垂直位置が同一である画素グループごとに、これら第１温度平均値算出工程、画像作成工程及び第２温度平均値算出工程を行うことが好ましい。
【００１７】
好適には、前記背景画像を、前記熱画像の全画素の温度を前記第２温度平均値にそれぞれ置き換えた画素で構成した画像とする。
【００１８】
好適には、前記人物判別工程は、
前記人物判別工程において人物が存在すると判別されたブロック中の画素数をそれぞれ算出する画素数算出工程と、
算出した画素数に基づいて前記ブロック中に人物が存在するか否かを判別する存在判別工程とを有する。
【００１９】
熱源の表面積とその熱源の熱画像における画素数とは比例する。ブロック中に人物が存在するか否かを判別する場合、算出した画素数に基づいて判別するのが好ましい。この場合、画素数が所定の数より少ない場合には、犬猫等の小動物又は局所的に温度が高い場合であると判別し、それに対して画素数が所定の数より多い場合には、複数の人物が固まっていると判別することにより、室内の所定領域の人数を正確に計数することができる。さらに、測定位置から熱源までの距離が遠くなるに従って算出される画素の数が減少するので、この距離に対応した画素数で人物が存在するか否かを判別する。
【００２０】
さらに好適には、前記存在判別工程は、
前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、最小人物画素数及び最大人物画素数をそれぞれ前記重心に基づいて設定する人物画素数設定工程と、
前記ブロック中の人数をそれぞれ、前記ブロック中の画素数が前記最小人物画素数より小さい場合には零とするとともに、前記最小人物画素数以上の場合には、前記ブロック中の画素数を前記最大人物画素数で除算し、その商の小数点以下を切り上げた値とするブロック人数算出工程とを有する。
【００２１】
好適には、人物が存在すると判別されたブロックについてそれぞれ温度極大値数を算出し、前記ブロック中の求めた温度極大値数を、前記人物判別工程で計数された人数の代わりに前記ブロック中の人数として、前記室内の所定領域の人数を計数する第１人数計数工程と具える。
【００２２】
第１人数計数工程において、人物が存在すると判別されたブロックについてそれぞれ温度極大値を求め、ブロック中の求めた温度極大値数をブロック中の人数とし、これらブロック中の人数を合計して室内の所定領域の人数を計数するので、室内の所定領域内に複数の人物が固まっている場合でも、室内の所定領域の人数を正確に計数することができる。
【００２３】
更に好適には、前記第１人数計数工程は、
前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、前記ブロック中の画素の最高温度から第１の所定の値を減じた値と、前記ブロック中に含まれる画素の温度とをそれぞれ比較し、前記最高温度から前記第１の所定の値を減じた値より大きい画素の温度を前記温度極大値とする第１温度極大値判別工程を有する。
【００２４】
さらに好適には、前記第１温度極大値判別工程は、
前記温度極大値を有する画素にそれぞれ第１の所定の符号を付し、それ以外の画素にこの第１の所定の符号と相違する符号をそれぞれ付すことにより２符号画像を作成する第１の２符号画像作成工程と、
前記温度極大値を有する画素が４連結で互いに隣接する場合、これらの画素を一つのまとまりとして、他のまとまりとは異なる同一ラベルをこれら画素にそれぞれ付加する第２ラベル付加工程と、
前記同一ラベルの種類の数を前記温度極大値数とする第１温度極大値計数工程とを有する。
【００２５】
好適には、前記最高温度が所定の温度以上の場合には、前記ブロック中の人数を、前記第１人数計数工程で計数した人数の代わりに零として、前記室内の所定領域の人数を計数する第１ブロック人数零工程を具える。
【００２６】
このように、第１ブロック人数零工程において、最高温度が所定の温度以上の場合には、ブロック中の人数を、第１人数計数工程で計数した人数の代わりに零として室内の所定領域の人数を計数するので、暖房器具のような熱源が存在する場合でも、室内の所定領域の人数を正確に計数することができる。
【００２７】
好適には、前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、前記ブロック中の画素の垂直方向の座標の最大値と最小値との差に１を加算した縦幅を算出し、この縦幅に基づいて前記ブロックそれぞれの人数を算出して、前記室内の所定領域中の人物をそれぞれ計数する縦幅人物判別工程を具える。
【００２８】
人物がソファーなどに横たわって存在する場合ブロックは横長になり、人物が座っている場合又は立っている場合に比べてブロック中の画素数が多くなる。したがってブロック中に横たわっている人物が存在する場合、人数を正確に計数するのが困難になる。室内の所定領域の天井付近に熱気が存在する場合も同様の困難が生じる。この場合、人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、縦幅に基づいて人数を算出して、室内の所定領域中の人物をそれぞれ計数することにより、室内の所定領域の人数を正確に計数することができる。
【００２９】
さらに好適には、前記縦幅人物判別工程は、
前記縦幅が第２の所定の値以下の場合には前記ブロック中の人数を零として、前記室内の所定領域の人数を計数する第２ブロック人数零工程と、
前記縦幅が所定の範囲内に存在するとともに、前記人物判別工程で前記ブロック中の人数が２人以上であると判別された場合には、前記人物判別工程で計数した人数から１を減算した人数を前記ブロック中の人数として、前記室内の所定領域の人数を計数する人数減算工程とを有する。
【００３０】
好適には、前記室内の所定領域の複数の画素を、前記室内の形状及び前記熱画像の測定位置に基づいて前記室内の壁に相当する画素と前記室内の床に相当する画素とに分類する画素分類工程と、
前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、前記ブロックの重心と水平方向の座標が同一である床壁接点の垂直方向の座標が、前記ブロックの重心の垂直方向の座標に所定の値を加算した値又は前記ブロックに含まれる画素の最大の垂直方向の座標より大きい場合には、前記ブロック中の人数を零として、前記室内の所定領域の人数を計数する第３ブロック人数零工程とを具える。
【００３１】
室内の所定領域の壁部に温風ヒータのような熱源が存在する場合や、室内の所定領域の窓付近が太陽光により暖められている場合、これらを人物と区別するのが困難となる。この場合、人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、ブロックの重心と水平方向の座標が同一である床壁接点の垂直方向の座標が、ブロックの重心の垂直方向の座標に所定の値を加算した値又はブロックに含まれる画素の最大の垂直方向の座標より大きい場合には、ブロック中の人数を零として、前記室内の所定領域の人数を計数することにより、室内の所定領域の人数を正確に計数することができる。
【００３２】
好適には、前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、人物が予め存在しえない領域に前記ブロックの重心が存在する場合には、前記ブロック中の人数を零にして、前記室内の所定領域の人数を計数する第４ブロック人数零工程とを具える。
【００３３】
室内の所定領域に、パーソナルコンピュータのように人物と同程度の温度の熱源が存在する場合、人物と区別するのが困難となる。この場合、人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、人物が予め存在しえない領域にブロックの重心が存在する場合には、ブロック中の人数を零にして、室内の所定領域の人数を計数することにより、室内の所定領域の人数を正確に計数することができる。
【００３４】
好適には、前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、前記ブロック中の画素の最高温度が第３の所定の値より高く、かつ、前記熱画像の測定位置の直下から前記ブロックまでの距離が第４の所定の値より大きい場合には、前記ブロック中の人数を零として、前記室内の所定領域の人数を計数する第５ブロック人数零工程を具える。
【００３５】
室内の所定領域に人物より高いが暖房器具より低い温度の熱源が存在する場合にも、人物と区別するのが困難となる。この場合、人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、ブロック中の画素の最高温度が第３の所定の値より高く、かつ、熱画像の測定位置の直下からブロックまでの距離が第４の所定の値より大きい場合には、ブロック中の人数を零として、前記室内の所定領域の人数を計数することにより、室内の所定領域の人数を正確に計数することができる。
【００３６】
好適には、前記人物判別工程において人物が存在すると判別されたブロックが、前記熱画像の測定位置から所定の距離離れた人物が存在しうる領域に存在する場合、前記ブロック中の人数を零にする第６ブロック人数零工程と、
前記熱画像の測定位置から所定の距離離れた人物が存在しうる領域の温度極大値を求め、このようにして求めた温度極大値数を、前記熱画像の測定位置から所定の距離離れた人物が存在しうる領域の人数として、前記室内の所定領域の人数を計数する第２人数計数工程と具える。
【００３７】
例えば隣室のように熱画像の測定位置から所定の距離離れた位置に人物が存在する場合、人物を表す熱源画素の数が少ないので、画素数に基づいて人物か否かを判断するのが困難になる。この場合、人物判別工程において人物が存在すると判別されたブロックが人物隔離存在領域に存在する場合、ブロック中の人数を零にし、熱画像の測定位置から所定の距離離れた人物が存在しうる領域の温度極大値を求め、このようにして求めた温度極大値数を、熱画像の測定位置から所定の距離離れた人物が存在しうる領域の人数として、前記室内の所定領域の人数を計数することにより、室内の所定領域の人数を正確に計数することができる。
【００３８】
好適には、前記第２人数計数工程は、
前記熱画像の測定位置から所定の距離離れた人物が存在しうる領域について、前記ブロック中の画素の最大温度から第５の所定の値を減じた値と、前記存在判別工程において人物が存在すると判別されたブロック中に含まれる画素の温度とそれぞれを比較し、前記最高温度から前記第５の所定の値を減じた値より大きい画素の温度を前記温度極大値とする第２温度極大値判別工程とを有する。
【００３９】
さらに好適には、前記第２温度極大値判別工程は、
前記温度極大値を有する画素にそれぞれ第２の所定の符号を付し、それ以外の画素にこの第２の所定の符号と相違する符号をそれぞれ付すことにより２符号画像を作成する第２の２符号画像作成工程と、
前記温度極大値を有する画素が４連結で互いに隣接する場合、これらの画素を一つのまとまりとして、他のまとまりとは異なる同一ラベルをこれら画素にそれぞれ付加する第３ラベル付加工程と、
前記同一ラベルの種類の数を前記温度極大値数とする第２温度極大値計数工程とを有する。
【００４０】
【発明の実施の形態】
本発明による熱画像による人数計数方法の実施の形態を図面を参照して詳細に説明する。なお、以下の実施例において同一部材には同一符号を付すものとする。
図１は、本発明による熱画像による人数計数方法の第１実施例を実施する視聴者数計数装置のブロック図である。この装置は、室内のテレビ視聴者領域の熱画像を測定する熱画像測定部１と、熱源画素のブロックを抽出する熱源画素抽出部２と、画素数に基づいて人物が存在するか否かを判別する画素数人物判別部３と、ブロック中の画素の温度極大値数を人数として計数する温度極大値数人物判別部４と、ブロック中の画素の最高温度に応じて人物が存在するか否かを判別する最高温度人物判別部５と、視聴者数を算出する視聴者数算出部６とを具える。
【００４１】
熱画像測定部１は、図示しない設定器からテレビ視聴者数計数開始信号を受信すると、後に説明する図２の室内環境上面図及び図３の室内環境側面図にそれぞれ示すテレビ視聴者領域の熱画像を取り込み、個々の画素の温度を測定するものである。
【００４２】
熱源画素抽出部２は、熱画像測定部１で測定された個々の画素の温度のうち相対的に高い画素を熱源画素と判断し、この熱源画素が互いに隣接する区域をブロックとして抽出するものである。
【００４３】
画素数人物判別部３は、熱源画素抽出部２によって抽出されたブロック中の画素数をそれぞれ算出し、算出した画素数に基づいて各ブロック中に人物が存在するか否かを判別するものである。この画素数人物判別部３により、ブロック中に人物が存在すると判別した場合には、そのブロック中の人数を算出する。
【００４４】
温度極大値数人物判別部４は、人物が存在すると判別したブロックに対してそれぞれ、後に説明する温度極大値を求め、求めた温度極大値数を新たにブロック中の人数とするものである。
【００４５】
最高温度人物判別部５は、人物が存在すると判別したブロックに対してそれぞれ、ブロック中の画素の最高温度を測定し、測定された最高温度が予め設定された温度より高い場合には、そのブロック中の人数を零とするものである。
【００４６】
視聴者数算出部６は、画素数人物判別部３、温度極大値数人物判別部４及び最高温度人物判別部５で算出された個々のブロックの人数を合計して、室内のテレビ視聴者領域全体の人数を算出するものである。
【００４７】
本例では、図２及び３に示すように、一方の辺の長さをＲＯＯＭＸ（３００ｃｍ＜ＲＯＯＭＹ＜５００ｃｍ）とし、かつ、他方の辺の長さをＲＯＯＭＹ（３００ｃｍ＜ＲＯＯＭＸ＜５００ｃｍ）とした室内のテレビ視聴者領域には、テレビジョン７と、ソファーなどに座ってテレビジョン７を視聴している人物８，９、１０及び１１と、暖房器具としてのストーブ１２とが存在し、人物８〜１０は固まっている。
【００４８】
本発明による方法を実施する視聴者数計数装置１３は、室の角部Ａから図３の右方向にＳＥＮＳＯＲＸで、かつ、室の床面から高さＳＥＮＳＯＲＨ（１８０ｃｍ＜ＳＥＮＳＯＲＨ＜２４０ｃｍ）に設置する。視聴者数計数装置１３の水平方向の計数可能範囲は図２に示すように１２０°であり、垂直方向の計数可能範囲は図３に示すように８０°である。
【００４９】
図４は、本発明により測定される熱画像の座標軸定義図を示す。本発明の実施例により作成される熱画像は、水平方向に２４画素、垂直方向に１０画素、すなわち合計２４０画素で構成される。水平方向を表す座標をｘ座標とし、かつ、垂直方向を表す座標をｙ座標とする。熱画像中の任意の画素のｘ座標がαであり、ｙ座標がβである場合、その画素の座標を（α，β）で表す。例えば図４において、左上の画素の座標は（１，１）であり、右下の画素の座標は（２４，１０）であり、画素ａの座標は（４，５）であり、画素ｂの座標は（１１，３）であり、画素ｃの座標は（１９，８）である。
【００５０】
図５は、本発明により測定される熱画像の一例を示す。この熱画像は第１実施例により測定されたものであり、個々の画素に記載された数字は各画素の温度を℃で表す。太線枠で囲まれたブロックは、図２及び３の人物８〜１１を表す。
【００５１】
本発明による熱画像による人数計数方法の第１実施例の動作を説明する。
図６は、第１実施例の処理手順を示すフローチャートである。本ルーチンでは先ず、ステップＳ１０１において、熱画像測定部１（図１）が上記設定器からテレビ視聴者数計数開始信号を受信したか否か判定する。テレビ視聴者数計数開始信号を受信した場合にはステップＳ１０２に進み、それに対して受信しない場合には本ルーチンを終了する。
【００５２】
ステップＳ１０２において、熱画像測定部１（図１）により、図２及び３に図示したテレビ視聴者領域の熱画像を測定する。ステップＳ１０２で測定された熱画像を図７に示す。熱画像測定（ステップＳ１０２）後、ステップＳ１０３に進む。
【００５３】
ステップＳ１０３において、熱源画素抽出部２（図１）により、熱画像中の画素のうち相対的に温度が高い画素を熱源画素として判別し、これら熱源画素をそれぞれ抽出する。熱源画素を抽出するに当たり、熱画像中のＹ軸の平均値を求めて、背景画像を作成し、２値化を行い熱源画像を作成する。これら熱源画素が互いに隣接する場合には、他のブロックの熱源画素と相違する同一ラベルを熱源画素にそれぞれ付加することにより、この区域をブロックとして抽出する。なお、ステップＳ１０３の詳細な動作については、図８〜１３を参照して後に詳細に説明する。
【００５４】
室内の温度は、床付近に比べて天井付近の方が高いので、上記閾値を画素全体の平均温度とすると床付近に存在する熱源画素を抽出するのが困難になる。したがって本例では、ｙ座標が同一である画素は床からの高さが同一であるため、ｙ座標が同一である画素グループごとに熱源画素を判別する。
【００５５】
ブロック抽出（ステップＳ１０３）後、ステップＳ１０４に進み、個々のブロック中に人物が存在するか否かを画素数人物判別部３（図１）により判断し、人物が存在する場合にはこれらブロックについてそれぞれ人数を算出する。なお、ステップＳ１０４の詳細な動作については、図１４を参照して後に詳細に説明する。
【００５６】
ブロック中に人物が存在するか否かを、ブロック中の画素数に基づいて判別する。人物が存在する場合には、人物の表面積は比較的広いのでブロック中に所定の数以上の画素を有する。したがって、ブロック中の画素が所定の数より少ない場合には、ブロック中に人物ではなく犬猫等の小動物が存在する又は局所的に温度が高い場合であると判断し、それに対してブロック中の画素が所定の数より著しく多い場合には、ブロック中に１人ではなく複数の人物が固まって存在していると判断する。
【００５７】
さらに、視聴者数計数装置１３（図２及び３）から熱源までの距離が遠くなるに従ってブロック中の画素数が減少するので、本例ではこの距離に対応した画素数で判別する。
【００５８】
ブロック中に人物が存在するか否かを判別（ステップＳ１０４）後、ブロックの画素数が所定の閾値よりも大きい場合ステップＳ１０５に進み、人物が存在すると判別されたブロックについてのブロック中の温度極大値数を温度極大値人物判別部４（図１）により算出し、この温度極大値数を、ステップＳ１０４で計数された人数の代わりにブロック中の人数とする。なお、ステップＳ１０５の詳細な動作については、図１５〜１８を参照して後に詳細に説明する。
【００５９】
これにより、室内のテレビ視聴者領域に複数の人物が固まっている場合でも、室内のテレビ視聴者領域の人数を正確に計数することができる。
【００６０】
人物が存在すると判別されたブロックについて、ブロック中の温度極大値数をブロック中の人数とした（ステップＳ１０５）後、ステップＳ１０６に進み、人物が存在すると判別されたブロックについての最高温度を最高温度人物判別部５（図１）により測定し、この最高温度が所定の温度以上の場合には、そのブロック中の人数を、ステップＳ１０５で計数した人数の代わりに零とする。なお、ステップＳ１０５の詳細な動作については、図１９及び２０を参照して後に詳細に説明する。
【００６１】
これにより、室内のテレビ視聴者領域に暖房器具（本例ではストーブ１２（図２及び３））が存在する場合でも、室内のテレビ視聴者領域の人数を正確に計数することができる。
【００６２】
ブロック中の最高温度に基づいて人数を計数した（ステップＳ１０６）後、ステップＳ１０７に進み、画素数人物判別部３、温度極大値数人物判別部４及び最高温度人物判別部５（図１）により計数されたブロック中の人数を、視聴者数算出部６（図１）で合計することにより、室内のテレビ視聴者領域の人数を計数する。その後、この人数を視聴者数計数装置１３（図２及び３）に出力して（ステップＳ１０８）、本ルーチンを終了する。
【００６３】
図８は、熱源画素を抽出する工程を示すフローチャートであり、図６のステップＳ１０３に相当する。本ルーチンでは先ず、ステップＳ１１１において、熱画像測定部１（図１）で測定した熱画像について、ｙ座標が同一である画素グループごとに温度平均値を算出する。ｙ座標が同一である画素グループごとに温度平均値を算出したものを以下示す。
【表１】

本例では、ｙ座標方向に１０画素存在するので、ｙ座標が同一である画素グループごとに温度平均値を算出すると１０個の温度平均値を算出することになる。これら温度平均値を、
【数１】

により算出する。ここで、ＳＵＭ（α）をｙ座標がαである画素の温度の総和とし、Ｎ（α）をｙ座標がαである画素の個数とし、ＡＶＧ（α）をｙ座標がαである画素グループの温度平均値とする。
【００６４】
次いでステップＳ１１２に進み、ｙ座標が同一である画素グループごとに、これら画素グループの温度平均値より温度が高い画素を、熱画像測定部１（図１）で測定した熱画像から除去した画像を作成する。このようにして作成した画像を図９に示す。図９において、除去した画素については空白で示す。
【００６５】
次いでステップＳ１１３に進み、図９に示す熱画像について、ｙ座標が同一である画素グループごとに温度平均値を算出する。温度平均値の算出方法は、ステップＳ１１１の場合と同様である。ステップＳ１１３においてｙ座標が同一である画素グループごとに温度平均値を算出したものを以下示す。
【表２】

【００６６】
次いでステップＳ１１４に進み、熱画像から熱源画素を取り除いた背景画像を作成する。本例では、〔表２〕に示した温度平均値を、ｙ座標が同一である画素グループの画素の値としたものを背景画像とし、これを図１０に示す。
【００６７】
次いでステップＳ１１５に進み、熱画像測定部１（図１）で測定した熱画像から熱源画素のみを抽出する。熱源画素を抽出するに当たり、図７の熱画像の温度から図１０の熱画像の温度を画素ごと減算する。この結果を図１１に示すが、減算結果が０以下の画素については空白で示す。
【００６８】
次に、図１１に示す画素の温度を、画素ごとに予め設定されている閾値Ａと比較し、温度が閾値Ａより大きい画素を１とし、それ以外の画素を空白とした２値画像を作成し、これを図１２に示す。
【００６９】
本例では、上記閾値Ａを、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な値として５とする。なお、閾値Ａは不変というものではなく、視聴者数計数装置１３（図２及び３）の水平方向及び垂直方向の計数可能範囲、熱画像の水平方向及び垂直方向の画素数並びに室の床面からの視聴者数計数装置１３（図２及び３）の高さＳＥＮＳＯＲＨに対応して変動する値である。
【００７０】
次いでステップＳ１１６に進み、同一のブロック中の熱源画素にそれぞれ、他のブロック中の熱源画素と相違する同一ラベルを付加した熱ラベリング画像を作成する。本例では、図１２において熱源画素が４連結で互いに隣接する場合、これらの画素を一つのまとまりとして、他のまとまりとは異なる同一ラベルを付加し、これを図１３に示す。なお本例では、ラベルは１から順に自然数を付加する。
ステップＳ１１６終了後、本ルーチンを終了する。
【００７１】
図１４は、ブロック中の画素数に基づいて人物が存在するか否かを判別する工程を示すフローチャートであり、図６のステップＳ１０４に相当する。本制御ルーチンでは先ず、ステップＳ１２１において、抽出された各ブロックの画素数を算出する。本例では図１３に示すように４個のブロックが存在する。なお、ブロック数は、図８のステップＳ１１６で付加されたラベルの最大値と同一である。また、ブロック番号は、ブロックに付されたラベルと同一である。また、ブロックの画素数とは、図１３の熱ラベリング画像においてそのブロック番号と同一のラベルが付加された画素の個数である。各ブロックの画素数を以下示す。
【表３】

【００７２】
次いでステップＳ１２２において、各ブロックの重心座標を算出する。ブロック番号Ｎ（Ｎは自然数）の重心座標は、
【数２】

により算出する。ここで、ＸＳＵＭ（Ｎ）をブロック番号Ｎに含まれる画素のｘ座標の総和とし、ＹＳＵＭ（Ｎ）をブロック番号Ｎに含まれる画素のｙ座標の総和とし、Ｐ（Ｎ）をブロック番号Ｎの画素数とし、ＸＧ（Ｎ）をブロック番号Ｎのｘ重心座標とし、ＹＧ（Ｎ）をブロック番号Ｎのｙ重心座標とする。図１３の各ブロックの重心座標を以下示す。
【表４】

【００７３】
次いでステップＳ１２３に進み、ブロック番号Ｎを１で初期設定する。次いでステップＳ１２４に進み、最小人物画素数及び最大人物画素数をそれぞれブロック番号Ｎのｙ重心座標ＹＧ（Ｎ）に基づいて取得する。これら最小人物画素数及び最大人物画素数は本例において予め設定されており、これらを以下示す。
【表５】

これら最小人物画素数及び最大人物画素数は不変というものではなく、視聴者数計数装置１３（図２及び３）の水平方向及び垂直方向の計数可能範囲、熱画像の水平方向及び垂直方向の画素数並びに室の床面からの視聴者数計数装置１３（図２及び３）の高さＳＥＮＳＯＲＨに対応して変動する値である。〔表４〕における各ブロックのｙ重心座標から各ブロックの最小人物画素数及び最大人物画素数を示したものを以下に示す。
【表６】

【００７４】
次いでステップＳ１２５に進み、ブロック番号Ｎの画素数が最小人物画素数より小さいか否か判断する。最小人物画素数より小さいと判断した場合、ステップＳ１２６においてブロック番号Ｎの人数を零とし、後に説明するステップＳ１２７をスキップしてステップＳ１２８に進む。本例では、ブロック番号４の画素数は〔表３〕に示すように２であり、その最小人物画素数は〔表６〕に示すように３であるので、この処理によりブロック番号４の人数は０人となる。
【００７５】
ステップＳ１２５において、ブロック番号Ｎの画素数が最小人物画素数より小さくないと判断した場合、ステップＳ１２６をスキップしてステップＳ１２７に進む。ステップＳ１２７において、ブロック番号Ｎの画素数をその最大人物画素数で除算し、その商の小数点以下を切り上げた値をブロック番号Ｎの人数とする。本例では、ブロック番号１の画素数は〔表３〕に示すように２７であり、その最小人物画素数は〔表６〕に示すように１５であるので、この処理によりブロック番号１の人数は２人となる。同様にして、ブロック番号２及び３の人数は共に１人となる。
【００７６】
ステップＳ１２６又はＳ１２７終了後ステップＳ１２８に進むと、全てのブロックについて人数を算出したか否かを判別する。算出したと判別した場合本ルーチンを終了し、それに対して算出していないと判別した場合ステップＳ１２９に進み、ブロック番号Ｎに１を加算した後ステップＳ１２４に戻る。本例において算出されたブロック中の人数を以下示す。
【表７】

【００７７】
図１５は、人物が存在すると判別されたブロック中の温度極大値数を算出する工程を示すフローチャートであり、図６のステップＳ１０５に相当する。本制御ルーチンでは先ず、ステップＳ１３１においてブロック番号Ｎを１で初期設定した後ステップＳ１３２に進む。
【００７８】
ステップＳ１３２において、ブロック番号Ｎの人数が１人を超えるか否か判断する。１人を超えると判断した場合ステップＳ１３３に進み、それに対して１人を超えないと判断した場合、後に説明するステップＳ１３３，Ｓ１３４，Ｓ１３５及びＳ１３６をスキップしてステップＳ１３７に進む。本例では、ブロック番号１の場合にはステップＳ１３３に進み、ブロック番号２，３及び４の場合にはステップＳ１３７に進む。
【００７９】
ステップＳ１３３において、ブロック番号Ｎに含まれる画素の最高温度を測定する。図１６は、図７の熱画像のブロック番号１に含まれる画素の温度だけを示す画像である。ブロック番号１の場合、その最高温度を測定する際、これら画素の温度の最高値を求めればよい。図１６に示すように、太線枠で囲んだ画素の温度が、ブロック番号１に含まれる画素の最高温度であり、これをブロック番号１の最高温度とする。
【００８０】
次いでステップＳ１３４に進み、図１６に示す画素の温度を、画素ごとに最高温度から予め設定されている閾値Ｂを減算した値より大きい画素を１とし、それ以外の画素を空白とした２値画像を作成し、これを図１７に示す。
【００８１】
本例では、上記閾値Ｂを、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な値として１．０とする。したがってこの場合、ブロック番号１の最高温度は図１６に示すように２７．４であり、これから閾値Ｂの１．０を減算した値は２６．４であるので、図１７は２６．４より大きい画素には温度極大源として１を付加し、それ以外の画素を空白にする。なお、閾値Ｂは不変というものではなく、熱画像中の画素の平均値及び標準偏差に対応して変動する値である。
【００８２】
次いでステップＳ１３５に進み、同一の温度極大源の熱源画素にそれぞれ、他の温度極大源の熱源画素と相違する同一ラベルを付加した熱ラベリング画像を作成する。本例では、図１７において熱源画素が４連結で互いに隣接する場合、これらの画素を一つのまとまりとして、他のまとまりとは異なる同一ラベルを付加し、これを図１８に示す。なお本例では、ラベルは１から順に自然数を付加する。
【００８３】
次いでステップＳ１３６に進み、ブロック番号Ｎの人数を、図６のステップＳ１０４で算出した人数の代わりにブロック番号Ｎ中の温度極大値数に置き換える。ブロック番号Ｎの温度極大値数とは、ブロック番号Ｎに含まれる画素の温度分布を参照したときの局所的に温度が高い部分の数であり、ステップＳ１３５で付加したラベル数と同一である。本例のブロック番号１の場合には、ステップＳ１３５で付加したラベル数の３が新たにブロック番号１の人数となる。
【００８４】
ステップＳ１３２又はＳ１３６終了後ステップＳ１３７に進むと、全てのブロックについて人数を算出したか否かを判別する。算出したと判別した場合本ルーチンを終了し、それに対して算出していないと判別した場合ステップＳ１３８に進み、ブロック番号Ｎに１を加算した後ステップＳ１３２に戻る。本例において新たに算出されたブロック中の人数を以下示す。
【表８】

【００８５】
図１９は、人物が存在すると判別されたブロックについての最高温度が所定の温度以上の場合ブロック中の人数を零とする工程を示すフローチャートであり、図６のステップＳ１０６に相当する。本ルーチンでは先ず、ステップＳ１４１においてブロック番号Ｎを１で初期設定した後ステップＳ１４２に進む。
【００８６】
ステップＳ１４２において、ブロック番号Ｎの人数が１人以上か否か判断する。１人以上であると判断した場合ステップＳ１４３に進み、それに対して１人未満であると判断した場合、後に説明するステップＳ１４３，Ｓ１４４及びＳ１４５をスキップしてステップＳ１４６に進む。本例では、ブロック番号１，２及び３の場合にはステップＳ１４３に進み、ブロック番号４の場合にはステップＳ１４６に進む。
【００８７】
ステップＳ１４３において、ブロック番号Ｎに含まれる画素の最高温度を測定する。図２０は、図７の熱画像のブロック番号１〜３に含まれる画素の温度だけを示す画像である。ブロック番号１の場合、その最高温度を測定する場合、これら画素の温度の最高値を求めればよい。図２０に示すように、太線枠で囲んだ画素の温度が、ブロック番号１〜３に含まれる画素のそれぞれの最高温度であり、これをブロック番号１〜３の最高温度とする。本例では、ブロック番号１の最高温度は２７．４であり、ブロック番号２の最高温度は２５．２であり、ブロック番号３の最高温度は３９．８である。
【００８８】
ステップＳ１４３終了後ステップＳ１４４に進み、ステップＳ１４３で測定したブロック番号Ｎの最高温度が、予め設定された閾値Ｃ以上であるか否かを判断する。閾値Ｃ以上である場合にはステップＳ１４５に進み、そうでない場合にはステップＳ１４５をスキップしてステップＳ１４６に進む。本例では、この閾値Ｃを、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な値として３７．０とする。したがって本例では、ブロック番号１及び２の場合にはステップＳ１４６に進み、ブロック番号３の場合にはステップＳ１４５に進む。なお、閾値Ｃは不変というものではなく、熱画像中の画素の平均値及び標準偏差に対応して変動する値である。
【００８９】
ステップＳ１４５において、ブロック番号Ｎ（本例ではブロック番号３）中の人物の人数を新たに０人とし、ステップＳ１４６に進む。
【００９０】
ステップＳ１４２，Ｓ１４４又はＳ１４５終了後ステップＳ１４６に進むと、全てのブロックについて人数を算出したか否かを判別する。算出したと判別した場合本ルーチンを終了し、それに対して算出していないと判別した場合ステップＳ１４７に進み、ブロック番号Ｎに１を加算した後ステップＳ１４２に戻る。本例において新たに算出されたブロック中の人数を以下示す。
【表９】

【００９１】
以上説明したように第１実施例によれば、ブロック中の熱源画素に基づいてテレビ視聴者領域の人数を計数しているので、室内の無人環境を予め記憶することなく室内のテレビ視聴者領域の人数を正確に計数することができ、したがって室内の家具の配置を変更等した場合でも室内の無人環境の設定のやり直しを行う手間がかからない。また、このような設定を行う必要がないため、視聴者数計数装置に超音波センサを用いる必要がない。
【００９２】
また、人物が存在すると判別されたブロックについて温度極大値を求め、これらの温度極大値数に基づいて室内のテレビ視聴者領域の人数を計数しているので、この領域に複数の人物が固まっている場合でも人数を正確に計数することができる。
【００９３】
さらに、ブロック中の画素の最高温度が閾値Ｃ以上である場合には、そのブロック中の人数を新たに零として室内のテレビ視聴者領域の人数を計数しているので、ストーブのような高温の熱源が存在する場合でも人数を正確に計数することができる。
【００９４】
図２１は、本発明による熱画像による人数計数方法の第２実施例を実施する視聴者数計数装置のブロック図である。この装置は、熱画像測定部１と、熱源画素抽出部２と、画素数人物判別部３と、ソファーなどに横たわっている人物について判別する縦幅人物判別部１４と、視聴者数を算出する視聴者数算出部６とを具える。
【００９５】
縦幅人物判別部１４は、人物が存在すると判別されたブロックの縦幅を算出し、この縦幅に基づいてブロック中に人物が存在するか否かを判断するものである。
【００９６】
人物の画素数はその人物のテレビ視聴時の姿勢に基づき変化するものである。熱画像の一つの画素の測定範囲は、ｘ方向については１２０°÷２４画素＝５°／画素であり、ｙ方向については８０°÷１０画素＝８°／画素であるので、一つの画素の測定範囲は縦長となる。〔表５〕のｙ重心座標の範囲に基づく最小人物画素数及び最大人物画素数は人物が横たわっていない場合についてのものであり、人物が横たわっている場合にはブロックは横長になり、座っている場合や立っている場合と比較してブロックの画素数が多くなるため、横たわっている人物がブロック中に存在する場合、人数を正確に計数するのが困難になる。テレビ視聴者領域の天井付近に熱気が存在する場合でも同様の困難が生じる。本例では、横たわっている人物がブロック中に存在する場合及びテレビ視聴者領域の天井付近に熱気が存在する場合を考慮したものである。
【００９７】
本例における室内のテレビ視聴者領域及び測定される熱画像の座標軸定義は上記実施例と同様であるが、テレビ視聴者領域には、図２２に示すように、テレビジョン７と、ソファーなどに座ってテレビジョン７を視聴している人物１５，１６及び１７と、天井付近にたまっている熱気１８とが存在し、人物１７は横たわっている。
【００９８】
本発明による熱画像による人数計数方法の第２実施例の動作を説明する。
図２３は、第２実施例の処理手順を示すフローチャートである。本ルーチンでは先ず、ステップＳ２０１において、熱画像測定部１（図２１）が上記設定器からテレビ視聴者数計数開始信号を受信したか否か判定する。テレビ視聴者数計数開始信号を受信した場合にはステップＳ２０２に進み、それに対して受信しない場合には本ルーチンを終了する。
【００９９】
ステップＳ２０２において、熱画像測定部１（図２１）により、図２２に図示したテレビ視聴者領域の熱画像を測定する。ステップＳ２０２で測定された熱画像を図２４に示す。熱画像測定（ステップＳ２０２）後、ステップＳ２０３に進む。
【０１００】
ステップＳ２０３において、熱源画素抽出部２（図２１）により、熱画像中の画素のうち相対的に温度が高い画素を熱源画素として判別し、これら熱源画素をそれぞれ抽出する。熱源画素を抽出するに当たり、熱画像中のＹ軸の平均値を求めて、背景画像を作成し、２値化を行い熱源画素とする。これら熱源画素が互いに隣接する場合には、他のブロックの熱源画素と相違する同一ラベルを熱源画素にそれぞれ付加することにより、この区域をブロックとして抽出する。なお、ステップＳ２０３の詳細な動作については、図８〜１３を参照して既に詳細に説明した通りである。
なお本例でもｙ座標が同一である画素グループごとに熱源画素を判別する。
【０１０１】
図２５は、図２４の熱画像の熱ラベリング画像を示す図である。このような熱ラベリング画像の作成については図８のステップＳ１１６で既に説明したのでここでは詳しく説明しない。図２５の熱ラベリング画像から個々のブロックの人数を算出したものを以下示す。
【表１０】

なお、図２５のブロック番号２及び３は、図２２の人物１７及び熱気１８にそれぞれ相当する。
【０１０２】
ブロック抽出（ステップＳ２０３）後、ステップＳ２０４に進み、個々のブロック中に人物が存在するか否かを画素数人物判別部３（図２１）により判断し、人物が存在する場合にはこれらブロックについてそれぞれ人数を算出する。なお、ステップＳ２０４の詳細な動作については、図１４を参照して既に詳細に説明した通りである。
【０１０３】
本例でも、ブロック中の画素数に基づいて人物が存在するか否かを判別するとともに、視聴者数計数装置１３（図２２）から熱源までの距離に対応した画素数を考慮する。
【０１０４】
ブロック中に人物が存在するか否かを判別（ステップＳ２０４）後、ステップＳ２０５に進み、人物が存在すると判別されたブロックの縦幅を算出し、この縦幅に基づいてブロック中の人数を計数する。なお、ステップＳ２０５の詳細な動作については、図２６を参照して後に詳細に説明する。
【０１０５】
これにより、室内のテレビ視聴者領域で人物が横たわっている場合や天井付近に熱気が存在する場合でも、室内のテレビ視聴者領域の人数を正確に計数することができる。
【０１０６】
ブロックの縦幅に基づいて人数を計数した（ステップＳ２０５）後、ステップＳ２０６に進み、画素数人物判別部３及び縦幅人物判別部１４（図２１）により計数されたブロック中の人数を、室内のテレビ視聴者領域の人数として視聴者数算出部６（図２１）で合計することにより、室内のテレビ視聴者領域の人数を計数する。その後、この人数を視聴者数計数装置１３（図２２）に出力（ステップＳ２０７）して、本ルーチンを終了する。
【０１０７】
図２６は、人物が存在すると判別されたブロックの縦幅をそれぞれ算出する工程を示すフローチャートであり、図２３のステップＳ２０５に相当する。本ルーチンでは先ず、ステップＳ２１１においてブロック番号Ｎを１で初期設定した後ステップＳ２１２に進む。
【０１０８】
ステップＳ２１２において、ブロック番号Ｎの人数が１人以上か否か判断する。１人以上であると判断した場合ステップＳ２１３に進み、それに対して１人未満であると判断した場合、後に説明するステップＳ２１３〜Ｓ２１７をスキップしてステップＳ２１８に進む。本例ではブロック番号１〜３は〔表１０〕に示すように１人以上であるので、ステップＳ２１３に進む。
【０１０９】
ステップＳ２１３において、ブロック番号Ｎに含まれる画素の最大ｙ座標から最小ｙ座標を減算して５を加算した値である縦幅を算出する。本例のブロック番号１〜３の縦幅を以下に示す。
【表１１】

【０１１０】
ステップＳ２１３で縦幅を算出した後ステップＳ２１４に進み、これら縦幅が、予め設定された閾値Ｄ以下であるか否か判断する。閾値Ｄ以下である場合にはステップＳ２１５に進み、それに対して閾値Ｄ以下でない場合にはステップＳ２１５をスキップしてステップＳ２１６に進む。本例では、ブロック番号１及び２の場合にはステップＳ２１６に進み、ブロック番号３の場合にはステップＳ２１５に進む。
【０１１１】
本例では、閾値Ｄを、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な値として１とする。なお、閾値Ｄは不変というものではなく、視聴者数計数装置１３（図２２）の水平方向及び垂直方向の計数可能範囲並びに熱画像の水平方向及び垂直方向の画素数に対応して変動する値である。
【０１１２】
ステップＳ２１５において、ブロック番号Ｎ（本例ではブロック番号３）の人数を新たに０人とする。本例では、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な判断としてブロックの縦幅が予め設定されている閾値Ｄ以下の場合には人物でないとしている。人物が横たわっている場合、そのブロックの縦幅は予め設定されている閾値Ｄを超えた値となる。なお、この判断は不変というものではなく、視聴者数計数装置１３（図２２）の水平方向及び垂直方向の計数可能範囲並びに熱画像の水平方向及び垂直方向の画素数に対応して変化する判断である。
【０１１３】
ステップＳ２１４又はＳ２１５終了後ステップＳ２１６に進むと、ブロック番号Ｎの縦幅が、予め設定された閾値Ｅａ以上かつ予め設定された閾値Ｅｂ以下で、ブロック番号Ｎの人数が２人以上であるか否か判断する。ブロック番号Ｎの縦幅が、予め設定された閾値Ｅａ以上かつ予め設定された閾値Ｅｂ以下で、ブロック番号Ｎの人数が２人以上である場合には、ステップＳ２１７に進み、そうでない場合にはステップＳ２１７をスキップしてステップＳ２１８に進む。
【０１１４】
本例では、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な値として閾値Ｅａを２とするとともに、閾値Ｅｂを２とする。なお、閾値Ｅａ及びＥｂは不変というものではなく、視聴者数計数装置１３（図２２）の水平方向及び垂直方向の計数可能範囲並びに熱画像の水平方向及び垂直方向の画素数に対応して変動する値である。
【０１１５】
ステップＳ２１７において、ブロック番号Ｎの人数を、図２３のステップＳ２０４で算出した人数から１を減算した人数を新たにブロック番号Ｎの人数とする。本例では、ブロック番号２の人数が新たに１人となる。
【０１１６】
ステップＳ２１２，Ｓ２１６又はＳ２１７終了後ステップＳ２１８に進むと、全てのブロックについて人数を算出したか否かを判別する。算出したと判別した場合本ルーチンを終了し、それに対して算出していないと判別した場合ステップＳ２１９に進み、ブロック番号Ｎに１を加算した後ステップＳ２１２に戻る。本例において新たに算出されたブロック中の人数を以下示す。
【表１２】

【０１１７】
以上説明したように第２実施例によれば、人物が存在すると判別されたブロックの縦幅に基づいて人数を算出して、室内のテレビ視聴者領域の人物をそれぞれ計数しているので、人物がソファーなどに横たわっている場合や室内の天井付近に熱気が存在する場合でも人数を正確に計数することができる。
【０１１８】
図２７は、本発明による熱画像による人数計数方法の第３実施例を実施する視聴者数計数装置のブロック図である。この装置は、熱画像測定部１と、熱源画素抽出部２と、画素数人物判別部３と、室内のテレビ視聴者領域の壁部に存在する熱源を人物と区別する壁部熱源判別部１９と、視聴者数を算出する視聴者数算出部６とを具える。
【０１１９】
壁部熱源判別部１９は、壁取付型の温風ヒータなどの暖房器具や太陽光により暖められた窓がテレビ視聴者領域に存在する場合に人物と区別するために、人物が存在すると判別されたブロックの重心座標を算出し、この重心座標に基づいて新たに人物が存在するか否かを判別するものである。
【０１２０】
壁取付型の温風ヒータなどの暖房器具や太陽光により暖められた窓がテレビ視聴者領域に存在する場合、これら最高温度は人物の最高温度とあまり変わらないため人物か否かを判断することが困難となる。本例は、このような暖房器具が存在する場合や太陽光により窓が暖められた場合を考慮したものである。
【０１２１】
本例における室内のテレビ視聴者領域及び測定される熱画像の座標軸定義は上記実施例と同様であるが、テレビ視聴者領域には、図２８及び２９に示すように、テレビジョン７と、ソファーなどに座ってテレビジョン７を視聴している人物２０及び２１と、壁２２に取り付けられた温風ヒータ２３とが存在する。
【０１２２】
本発明による熱画像による人数計数方法の第３実施例の動作を説明する。
図３０は、第３実施例の処理手順を示すフローチャートである。本ルーチンでは先ず、ステップＳ３０１において、熱画像測定部１（図２７）が上記設定器からテレビ視聴者数計数開始信号を受信したか否か判定する。テレビ視聴者数計数開始信号を受信した場合にはステップＳ３０２に進み、それに対して受信しない場合には本ルーチンを終了する。
【０１２３】
ステップＳ３０２において、熱画像測定部１（図２７）により、図２８及び２９に図示したテレビ視聴者領域の熱画像を測定する。ステップＳ３０２で測定された熱画像を図３１に示す。熱画像測定（ステップＳ３０２）後、ステップＳ３０３に進む。
【０１２４】
ステップＳ３０３において、熱源画素抽出部２（図２７）により、熱画像中の画素のうち相対的に温度が高い画素を熱源画素として判別し、これら熱源画素をそれぞれ抽出する。熱源画素を抽出するに当たり、熱画像中のＹ軸の平均値を求めて、背景画像を作成し、２値化を行い熱源画素とする。これら熱源画素が互いに隣接する場合には、他のブロックの熱源画素と相違する同一ラベルを熱源画素にそれぞれ付加することにより、この区域をブロックとして抽出する。なお、ステップＳ３０３の詳細な動作については、図８〜１３を参照して既に詳細に説明した通りである。
なお本例でもｙ座標が同一である画素グループごとに熱源画素を判別する。
【０１２５】
図３２は、図３１の熱画像の熱ラベリング画像を示す図である。このような熱ラベリング画像の作成については図８のステップＳ１１６で既に説明したのでここでは詳しく説明しない。図３２の熱ラベリング画像から個々のブロックの人数を算出したものを以下示す。
【表１３】

なお、図３２のブロック番号１，２及び３は、図２８及び２９の温風ヒータ２３、人物２０及び２１にそれぞれ相当する。
【０１２６】
ブロック抽出（ステップＳ３０３）後、ステップＳ３０４に進み、個々のブロック中に人物が存在するか否かを画素数人物判別部３（図２７）により判断し、人物が存在する場合にはこれらブロックについてそれぞれ人数を算出する。なお、ステップＳ３０４の詳細な動作については、図１４を参照して既に詳細に説明した通りである。
【０１２７】
本例でも、ブロック中の画素数に基づいて人物が存在するか否かを判別するとともに、視聴者数計数装置１３（図２８及び２９）から熱源までの距離に対応した画素数を考慮する。
【０１２８】
ブロック中に人物が存在するか否かを判別した（ステップＳ３０４）後、ステップＳ３０５に進み、人物が存在すると判別されたブロックの重心座標を算出し、この重心座標に基づいてブロック中の人数を計数する。なお、ステップＳ３０５の詳細な動作については、図３３を参照して後に詳細に説明する。
【０１２９】
これにより、室内のテレビ視聴者領域に壁取付型の温風ヒータが存在する場合や太陽光により窓が暖められた場合でも、室内のテレビ視聴者領域の人数を正確に計数することができる。
【０１３０】
ブロックの重心座標に基づいて人数を計数した（ステップＳ３０５）後、ステップＳ３０６に進み、画素数人物判別部３及び壁部熱源判別部１９（図２７）により計数されたブロック中の人数を、室内のテレビ視聴者領域の人数を視聴者数算出部６（図２７）で合計することにより、室内のテレビ視聴者領域の人数を計数する。その後、この人数を視聴者数計数装置１３（図２８及び２９）に出力（ステップＳ３０７）して、本ルーチンを終了する。
【０１３１】
図３３は、人物が存在すると判別されたブロックの重心座標をそれぞれ算出する工程を示すフローチャートであり、図３０のステップＳ３０５に相当する。本制御ルーチンでは先ず、図３０のステップＳ３０２で測定された熱画像中の画素が、室内のテレビ視聴者領域に人物２０，２１及び壁取付型の温風ヒータ２３（図２８及び２９）が存在しない場合に、室内の壁部と床部のうちのいずれに属するかを、部屋の形状及び視聴者数計数装置１３（図２８及び２９）の位置に基づいて算出する。
【０１３２】
図３４は、図２８及び２９に示すテレビ視聴者領域の熱画像の壁に属する画素及び床に属する画素を示す図である。この図は、図２８及び２９に示すテレビ視聴者領域において、熱画像に、視聴者数計数装置１３（図２８及び２９）から熱画像と同様の視野でテレビ視聴者領域を眺めたときの床と壁の様子を重ね合わせたものである。図３４の壁Ａ，Ｂ，Ｃ及び床は、図２８の壁２２，２４，２５及び床２６にそれぞれ対応するものであり、また図３４において壁２２，２４，２５と床２６との間の境界２７を太線で示し、壁２４と壁２２との境界２８と、壁２２と壁２５との境界２９とをそれぞれ破線で示す。
【０１３３】
図３４において、点Ａ，Ｂ，Ｃ及びＤの座標を算出し、これらの点を点Ａ，Ｂ，Ｃ，Ｄの順で直線で結ぶことにより境界２７が判明し、熱画像の個々の画素が壁に属する画素であるか床に属する画素であるかを判明することができる。点Ａ，Ｂ，Ｃ及びＤの座標は、部屋の形状（図２８のＲＯＯＭＸ及びＲＯＯＭＹの値）及び視聴者数計数装置１３（図２８及び２９）の位置（図２８のＳＥＮＳＯＲＸの値及び図２９のＳＥＮＳＯＲＨの値）から幾何学的計算により求めることができる。
【０１３４】
本例では、点Ａ〜Ｄの座標をそれぞれ（ＡＸ，ＡＹ），（ＢＸ，ＢＹ），（ＣＸ，ＣＹ），（ＤＸ，ＤＹ）とすると、
【数３】

となる。ここでｕｘ及びｕｙを、熱画像の一つの画素のｘ方向及びｙ方向の測定範囲とし、既に説明したように、
【数４】

である。
【０１３５】
次いでステップＳ３１２に進んでブロック番号Ｎを１で初期設定した後ステップＳ３１３に進む。
【０１３６】
ステップＳ３１３において、ブロック番号Ｎの人数が１人以上か否か判断する。１人以上であると判断した場合ステップＳ３１４に進み、それに対して１人未満であると判断した場合、後に説明するステップＳ３１４〜Ｓ３１９をスキップしてステップＳ３２０に進む。本例では〔表１３〕に示すように、ブロック番号１〜３の場合は１人以上であるのでステップＳ３１４に進み、それに対してブロック番号４の場合はステップ３２０に進む。
【０１３７】
ステップＳ３１４において、ブロック番号Ｎの重心座標を算出する。ブロック番号Ｎの重心座標は〔数２〕に基づいて算出され、その結果を以下に示す。
【表１４】

【０１３８】
ステップＳ３１４で重心座標を算出した後ステップＳ３１５に進み、ブロック番号Ｎの重心座標とｘ座標が同一である床壁接点のｙ座標を算出する。図３５は、図３２の熱ラベリング画像に図３４の境界２７を重ね合わせた図であり、ブロック番号Ｎの重心座標とｘ座標が同一である床壁接点のｙ座標を以下示す。
【表１５】

【０１３９】
次いでステップＳ３１６に進み、ブロック番号Ｎのｙ重心座標に、予め設定された閾値Ｆを加算した値が、ステップＳ３１５で算出された床壁接点のｙ座標より小さいか否か判断する。床壁接点のｙ座標より小さい場合には、後に説明するステップＳ３１７及びＳ３１８をスキップしてステップＳ３１９に進み、そうでない場合にはステップＳ３１７に進む。
【０１４０】
本例では、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な値として閾値Ｆを３としているので、ブロック番号１の場合はステップＳ３１９に進み、ブロック番号２及び３の場合にはステップＳ３１７に進む。なお、閾値Ｆは不変というものではなく、視聴者数計数装置１３（図２８及び２９）の水平方向及び垂直方向の計数可能範囲、熱画像の水平方向及び垂直方向の画素数並びに視聴者数計数装置１３（図２８及び２９）の室の床面からの高さＳＥＮＳＯＲＨに対応して変動する値である。
【０１４１】
ステップＳ３１７において、ブロック番号Ｎの最大ｙ座標を算出する。ここでブロック番号Ｎの最大ｙ座標とは、ブロック番号Ｎに含まれる画素において最大のｙ座標を有する画素のｙ座標をいう。ブロック番号２及び３の最大ｙ座標を算出したものを以下示す。
【表１６】

【０１４２】
次いでステップＳ３１８において、ブロック番号Ｎの最大ｙ座標が、ステップＳ３１５で算出した床壁接点のｙ座標より小さいか否か判断する。床壁接点のｙ座標より小さい場合ステップＳ３１９に進み、そうでない場合にはステップＳ３１９をスキップしてステップＳ３２０に進む。
【０１４３】
ステップＳ３１６又はＳ３１８終了後ステップＳ３１９に進むと、ブロック番号Ｎ（本例ではブロック番号１）の人数を新たに０人とする。本例では、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な判断としてブロックの熱源が人物ならば空中に浮かんでいるはずはなく床付近に存在するはずなので、ブロックの重心が床壁接点よりある程度上方に存在する場合には、ブロック中に存在する熱源画素は人物以外の壁部に存在する熱源を示すものと判別する。またこれ以外の場合でも、ブロックの最大のｙ座標が床壁接点より上方に存在する場合には、ブロック中に存在する熱源画素は人物以外の壁部に存在する熱源を示すものと判別する。なお、これら判断は不変というものではなく、視聴者数計数装置１３（図２８及び２９）の水平方向及び垂直方向の計数可能範囲並びに熱画像の水平方向及び垂直方向の画素数に対応して変化する判断である。
【０１４４】
ステップＳ３１３，Ｓ３１８又はＳ３１９終了後ステップＳ３２０に進むと、全てのブロックについて人数を算出したか否かを判別する。算出したと判別した場合本ルーチンを終了し、それに対して算出していないと判別した場合ステップＳ３２１に進み、ブロック番号Ｎに１を加算した後ステップＳ３１３に戻る。本例において新たに算出されたブロック中の人数を以下示す。
【表１７】

【０１４５】
以上説明したように第３実施例によれば、人物が存在すると判別されたブロックの重心座標に基づいて、ブロックの熱源が人物か否かを判別して、室内のテレビ視聴者領域の人物をそれぞれ計数しているので、壁に温風ヒータのような熱源が存在する場合や、窓付近が太陽光により暖められている場合でも人数を正確に計数することができる。
【０１４６】
図３６は、本発明による熱画像による人数計数方法の第４実施例を実施する視聴者数計数装置のブロック図である。この装置は、熱画像測定部１と、熱源画素抽出部２と、画素数人物判別部３と、熱画像の個々の画素が予め人物が存在しない領域に属するか否かを判別する特定領域人物判別部３０と、視聴者数を算出する視聴者数算出部６とを具える。
【０１４７】
人物が予め存在しえない領域がテレビ視聴者領域に存在し、人物が予め存在しえない領域の温度が人物の温度と同程度である場合には、その熱源を人物と区別するのが困難となる。例えば、テレビ視聴者領域にパーソナルコンピュータが存在し、このパーソナルコンピュータの温度が人物と同程度である場合がかかる場合に該当する。また、パーソナルコンピュータの存在を示すブロックの画素数は、人物の存在を示すブロックの画素数数とほぼ同程度であるので、ブロック中に人物が存在するか否かの判断がより困難になる。本例では、パーソナルコンピュータのように人物と同程度の温度の物体がテレビ視聴者領域に存在する場合を考慮したものである。
【０１４８】
本例における室内のテレビ視聴者領域及び測定される熱画像の座標軸定義は上記実施例と同様であるが、テレビ視聴者領域には、図３７に示すように、テレビジョン７と、ソファーなどに座ってテレビジョン７を視聴している人物３１及び３２と、パーソナルコンピュータ３３とが存在する。
【０１４９】
本発明による熱画像による人数計数方法の第４実施例の動作を説明する。
図３８は、第４実施例の処理手順を示すフローチャートである。本ルーチンでは先ず、ステップＳ４０１において、熱画像測定部１（図３６）が上記設定器からテレビ視聴者数計数開始信号を受信したか否か判定する。テレビ視聴者数計数開始信号を受信した場合にはステップＳ４０２に進み、それに対して受信しない場合には本ルーチンを終了する。
【０１５０】
ステップＳ４０２において、熱画像測定部１（図３６）により、図３７に図示したテレビ視聴者領域の熱画像を測定する。ステップＳ４０２で測定された熱画像を図３９に示す。熱画像測定（ステップＳ４０２）後、ステップＳ４０３に進む。
【０１５１】
ステップＳ４０３において、熱源画素抽出部２（図３６）により、熱画像中の画素のうち相対的に温度が高い画素を熱源画素として判別し、これら熱源画素をそれぞれ抽出する。熱源画素を抽出するに当たり、熱画像中のＹ軸の平均値を求めて、背景画像を作成し、２値化を行い熱源画素を作成する。これら熱源画素が互いに隣接する場合には、他のブロックの熱源画素と相違する同一ラベルを熱源画素にそれぞれ付加することにより、この区域をブロックとして抽出する。なお、ステップＳ４０３の詳細な動作については、図８〜１３を参照して既に詳細に説明した通りである。
なお本例でもｙ座標が同一である画素グループごとに熱源画素を判別する。
【０１５２】
図４０は、図３９の熱画像の熱ラベリング画像を示す図である。このような熱ラベリング画像の作成については図８のステップＳ１１６で既に説明したのでここでは詳しく説明しない。図４０の熱ラベリング画像から個々のブロックの人数を算出したものを以下示す。
【表１８】

なお、図４０のブロック番号１，２及び３は、図３７のパーソナルコンピュータ３３、人物３１及び３２にそれぞれ相当する。
【０１５３】
ブロック抽出（ステップＳ４０３）後、ステップＳ４０４に進み、個々のブロック中に人物が存在するか否かを画素数人物判別部３（図３６）により判断し、人物が存在する場合にはこれらブロックについてそれぞれ人数を算出する。なお、ステップＳ４０４の詳細な動作については、図１４を参照して既に詳細に説明した通りである。
【０１５４】
本例でも、ブロック中の画素数に基づいて人物が存在するか否かを判別するとともに、視聴者数計数装置１３（図３７）から熱源までの距離に対応した画素数を考慮する。
【０１５５】
ブロック中に人物が存在するか否かを判別（ステップＳ４０４）後、ステップＳ４０５に進み、人物が存在すると判別されたブロックの重心座標を算出し、この重心座標に基づいてブロック中の人数を計数する。なお、ステップＳ４０５の詳細な動作については、図４１を参照して後に詳細に説明する。
【０１５６】
これにより、人物が予め存在しえない領域に人物が存在すると判別された場合でも、室内のテレビ視聴者領域の人数を正確に計数することができる。
【０１５７】
ブロックの重心座標に基づいて人数を計数した（ステップＳ４０５）後、ステップＳ４０６に進み、画素数人物判別部３及び特定領域人物判別部３０（図３６）により計数されたブロック中の人数を、室内のテレビ視聴者領域の人数を視聴者数算出部６（図３６）で合計することにより、室内のテレビ視聴者領域の人数を計数する。その後、この人数を視聴者数計数装置１３（図３７）に出力（ステップＳ４０７）して、本ルーチンを終了する。
【０１５８】
図４１は、人物が存在すると判別されたブロックの重心座標をそれぞれ算出し、この重心座標に基づいてブロック中に人物が存在するか否かを新たに判別する工程を示すフローチャートであり、図３８のステップＳ４０５に相当する。本制御ルーチンでは先ずステップＳ４１１において、図３８のステップＳ４０２で測定された熱画像中の個々の画素が、人物が予め存在しえない領域に属するか否かを算出する。図４２は、図３９の熱画像に対して算出された人物が予め存在しえない領域を示す図であり、人物が予め存在しえない領域を斜線で示す。
【０１５９】
次いでステップＳ４１２に進み、ブロック番号Ｎを１で初期設定した後ステップＳ４１３に進む。
【０１６０】
ステップＳ４１３において、ブロック番号Ｎの人数が１人以上か否か判断する。１人以上であると判断した場合ステップＳ４１４に進み、それに対して１人未満であると判断した場合、後に説明するステップＳ４１４〜Ｓ４１６をスキップしてステップＳ４１７に進む。本例では、ブロック番号１〜３の場合、〔表１８〕に示すように１人以上であるので、ステップＳ４１４に進む。
【０１６１】
ステップＳ４１４において、ブロック番号Ｎの重心座標を〔数２〕に基づいてそれぞれ算出する。算出した本例のブロック番号１〜３の重心座標を以下に示す。
【表１９】

【０１６２】
ステップＳ４１４で重心座標を算出した後ステップＳ４１５に進み、これら重心座標が人物が予め存在しえない領域に存在するか否か判断する。人物が予め存在しえない領域に存在する場合にはステップＳ４１６に進み、それに対して人物が予め存在しえない領域に存在しない場合にはステップＳ４１６をスキップしてステップＳ４１７に進む。本例では、ブロック番号１の場合にはステップＳ４１６に進み、ブロック番号２及び３の場合にはステップＳ４１７に進む。
【０１６３】
ステップＳ４１６において、ブロック番号Ｎ（本例ではブロック番号１）の人数を新たに０人とする。本例では図３７に示すようにテレビ視聴者領域にパーソナルコンピュータ３３が配置されているので、図４２で斜線で示すような人物が予め存在しえない領域が得られる。なお、人物が予め存在しえない領域は不変というものではなく、視聴者数計数装置１３（図３７）の水平方向及び垂直方向の計数可能範囲、熱画像の水平方向及び垂直方向の画素数並びに室内環境に対応して変化する領域である。
【０１６４】
ステップＳ４１３，Ｓ４１５又はＳ４１６終了後ステップＳ４１７に進むと、全てのブロックについて人数を算出したか否かを判別する。算出したと判別した場合本ルーチンを終了し、それに対して算出していないと判別した場合ステップＳ４１８に進み、ブロック番号Ｎに１を加算した後ステップＳ４１３に戻る。本例において新たに算出されたブロック中の人数を以下示す。
【表２０】

【０１６５】
以上説明したように第４実施例によれば、人物が存在すると判別されたブロックの重心が人物が予め存在しえない領域に存在する場合にはブロック中の人数を零として、室内のテレビ視聴者領域の人物をそれぞれ計数しているので、パーソナルコンピュータのように熱画像中の画素数及び温度が人物と同程度である物体がテレビ視聴者領域に存在する場合でも人数を正確に計数することができる。
【０１６６】
図４３は、本発明による熱画像による人数計数方法の第５実施例を実施する視聴者数計数装置のブロック図である。この装置は、熱画像測定部１と、熱源画素抽出部２と、画素数人物判別部３と、人物が存在すると判別されたブロックの最高温度及び熱画像の測定位置の真下からブロックまでの距離に基づいてブロック中に人物が存在するか否かを判別する距離温度人物判別部３４と、視聴者数を算出する視聴者数算出部６とを具える。
【０１６７】
パーソナルコンピュータのように人物より少し温度が高いが暖房器具より温度が低い熱源がテレビ視聴者領域に存在する場合、これを人物と判別するのは困難である。本例は、このような熱源がテレビ視聴者領域に存在する場合を考慮したものである。
【０１６８】
本例における室内のテレビ視聴者領域及び測定される熱画像の座標軸定義は上記実施例と同様であるが、テレビ視聴者領域には、図４４に示すように、テレビジョン７と、ソファーなどに座ってテレビジョン７を視聴している人物３５及び３６と、人物より少し温度が高いが暖房器具より温度が低いパーソナルコンピュータ３７とが存在する。
【０１６９】
本発明による熱画像による人数計数方法の第５実施例の動作を説明する。
図４５は、第５実施例の処理手順を示すフローチャートである。この制御ルーチンでは先ず、ステップＳ５０１において、熱画像測定部１（図４３）が上記設定器からテレビ視聴者数計数開始信号を受信したか否か判定する。テレビ視聴者数計数開始信号を受信した場合にはステップＳ５０２に進み、それに対して受信しない場合にはこの制御ルーチンを終了する。
【０１７０】
ステップＳ５０２において、熱画像測定部１（図４３）により、図４４に図示したテレビ視聴者領域の熱画像を測定する。ステップＳ５０２で測定された熱画像を図４６に示す。熱画像測定（ステップＳ５０２）後、ステップＳ５０３に進む。
【０１７１】
ステップＳ５０３において、熱源画素抽出部２（図４３）により、熱画像中の画素のうち相対的に温度が高い画素を熱源画素として判別し、これら熱源画素をそれぞれ抽出する。熱源画素を抽出するに当たり、熱画像中のＹ軸の平均値を求めて、背景画像を作成し、２値化を行い熱源画素を作成する。これら熱源画素が互いに隣接する場合には、他のブロックの熱源画素と相違する同一ラベルを熱源画素にそれぞれ付加することにより、この区域をブロックとして抽出する。なお、ステップＳ５０３の詳細な動作については、図８〜１３を参照して既に詳細に説明した通りである。
なお本例でもｙ座標が同一である画素グループごとに熱源画素を判別する。
【０１７２】
図４７は、図４６の熱画像の熱ラベリング画像を示す図である。このような熱ラベリング画像の作成については図８のステップＳ１１６で既に説明したのでここでは詳しく説明しない。図４７の熱ラベリング画像から個々のブロックの人数を算出したものを以下示す。
【表２１】

なお、図４７のブロック番号１，２及び３は、図４４のパーソナルコンピュータ３７、人物３５及び３６にそれぞれ相当する。
【０１７３】
ブロック抽出（ステップＳ５０３）後、ステップＳ５０４に進み、個々のブロック中に人物が存在するか否かを画素数人物判別部３（図４３）により判断し、人物が存在する場合にはこれらブロックについてそれぞれ人数を算出する。なお、ステップＳ５０４の詳細な動作については、図１４を参照して既に詳細に説明した通りである。
【０１７４】
本例でも、ブロック中の画素数に基づいて人物が存在するか否かを判別するとともに、視聴者数計数装置１３（図４４）から熱源までの距離に対応した画素数を考慮する。
【０１７５】
ブロック中に人物が存在するか否かを判別（ステップＳ５０４）後、ステップＳ５０５に進み、人物が存在すると判別されたブロックの画素の最高温度及び熱画像の測定位置の真下からブロックまでの距離に基づいてブロック中に人物が存在するか否かを判別し、ブロック中の人数を計数する。なお、ステップＳ５０５の詳細な動作については、図４８を参照して後に詳細に説明する。
【０１７６】
これにより、パーソナルコンピュータのように人物より少し温度が高いが暖房器具より温度が低い熱源がテレビ視聴者領域に存在する場合、これを人物でないと判別して、室内のテレビ視聴者領域の人数を正確に計数することができる。
【０１７７】
ブロック中の画素の最高温度及び熱画像の測定位置の真下からブロックまでの距離に基づいて人数を計数した（ステップＳ５０５）後、ステップＳ５０６に進み、画素数人物判別部３及び距離温度人物判別部３４（図４３）により計数されたブロック中の人数を視聴者数算出部６（図４３）で合計することにより、室内のテレビ視聴者領域の人数を計数する。その後、この人数を視聴者数計数装置１３（図４４）に出力（ステップＳ５０７）して、本ルーチンを終了する。
【０１７８】
図４８は、人物が存在すると判別されたブロックの最高温度及び熱画像の測定位置の真下からブロックまでの距離に基づいてブロック中の人数を算出する工程を示すフローチャートであり、図４５のステップＳ５０５に相当する。本ルーチンでは先ず、ステップＳ５１１においてブロック番号Ｎを１で初期設定した後ステップＳ５１２に進む。
【０１７９】
ステップＳ５１２において、ブロック番号Ｎの人数が１人以上か否か判断する。１人以上であると判断した場合ステップＳ５１３に進み、それに対して１人未満であると判断した場合、後に説明するステップＳ５１３〜Ｓ５１６をスキップしてステップＳ５１７に進む。本例では、ブロック番号１〜３の場合、〔表２１〕に示すように１人以上であるので、ステップＳ５１３に進む。
【０１８０】
ステップＳ５１３において、ブロック番号Ｎに含まれる画素の最高温度を算出する。最高温度の算出方法は、図１９のステップＳ１４３と同様である。
【０１８１】
次いでステップＳ５１４に進み、視聴者数計数装置１３（図４４）の真下からブロック番号Ｎまでの距離を算出する。ここで視聴者数計数装置１３（図４４）の真下からブロック番号Ｎまでの距離とは、視聴者数計数装置１３（図４４）の真下からブロック番号Ｎの最大ｙ座標までの距離をいう。この距離は、部屋の形状（図４４のＲＯＯＭＸ及びＲＯＯＭＹの値）及び視聴者数計数装置１３（図４４）の位置（ＳＥＮＳＯＲＸ（図４４）の値及び高さＳＥＮＳＯＲＨの値）から幾何学的計算により求めることができる。
【０１８２】
本例では、視聴者数計数装置１３（図４４）の真下からブロック番号Ｎまでの距離をＤＩＳＴＡＮＣＥとすると、
【数５】

となる。ここで、ｕｙをｙ方向の一つの画素の測定範囲（８°／画素）とし、Ｙを最大ｙ座標とし、本例ではＳＥＮＳＯＲＨを２００ｃｍとする。
【０１８３】
ステップＳ５１３及びＳ５１４で算出した最高温度及び距離を以下示す。
【表２２】

【０１８４】
ステップＳ５１５において、距離が予め設定された閾値Ｇより大きく、かつ、最高温度が予め設定された閾値Ｈより大きいか否かを判断する。閾値Ｇより大きくかつ閾値Ｈより大きい場合には、ステップＳ５１６に進み、そうでない場合にはステップＳ５１６をスキップしてステップＳ５１７に進む。本例では、ブロック番号１の場合にはステップＳ５１６に進み、ブロック番号２及び３の場合にはステップＳ５１７に進む。
【０１８５】
本例では、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な判断として距離がある程度遠く離れているにもかかわらず温度がある程度高い熱源は、パーソナルコンピュータなどの人物以外の熱源として判断している。また本例では、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な値として、閾値Ｇを２００とし、閾値Ｈを３０として処理している。なお、これら閾値Ｇ及びＨは不変というものではなく、視聴者数計数装置１３（図４４）の水平方向及び垂直方向の計数可能範囲、熱画像の水平方向及び垂直方向の画素数、視聴者計数装置１３（図４４）の室の床面からの高さＳＥＮＳＯＲＨ並びに熱画像中の画素の平均値及び標準偏差に対応して変動する値である。
【０１８６】
ステップＳ５１６において、ブロック番号Ｎ（本例ではブロック番号１）の人数を新たに０人として、ステップＳ５１７に進む。
【０１８７】
ステップＳ５１２，Ｓ５１５又はＳ５１６終了後ステップＳ５１７に進むと、全てのブロックについて人数を算出したか否かを判別する。算出したと判別した場合本ルーチンを終了し、それに対して算出していないと判別した場合ステップＳ５１８に進み、ブロック番号Ｎに１を加算した後ステップＳ５１２に戻る。本例において新たに算出されたブロック中の人数を以下示す。
【表２３】

【０１８８】
以上説明したように第５実施例によれば、パーソナルコンピュータのように人物より少し温度が高いが暖房器具より温度が低い熱源がテレビ視聴者領域に存在する場合、これを人物でないと判別して、テレビ視聴者領域の人数を正確に計数することができる。
【０１８９】
図４９は、本発明による熱画像による人数計数方法の第６実施例を実施する視聴者数計数装置のブロック図である。この装置は、熱画像測定部１と、熱源画素抽出部２と、画素数人物判別部３と、隣室のように計数位置からある程度離れた位置に存在する人物を判別する隣室人数計数部３８と、視聴者数を算出する視聴者数算出部６とを具える。
【０１９０】
隣室のように計数位置からある程度離れた位置に人物が存在する場合、ブロック中の人物を表す熱源画素の画素数は、計数位置から距離が離れているためわずか数画素程度となり、これらを人物と判別するのが困難である。本例は、隣室のように計数位置からある程度離れた位置に人物が存在する場合を考慮したものである。
【０１９１】
本例における室内のテレビ視聴者領域及び測定される熱画像の座標軸定義は上記実施例と同様であるが、テレビ視聴者領域には、図５０に示すように、テレビジョン７と、ソファーなどに座ってテレビジョン７を視聴している人物３９，４０，４１及び４２とが存在し、人物４１及び４２は隣室視聴領域４３に存在する。
【０１９２】
本発明による熱画像による人数計数方法の第６実施例の動作を説明する。
図５１は、第６実施例の処理手順を示すフローチャートである。本ルーチンでは先ず、ステップＳ６０１において、熱画像測定部１（図４９）が上記設定器からテレビ視聴者数計数開始信号を受信したか否か判定する。テレビ視聴者数計数開始信号を受信した場合にはステップＳ６０２に進み、それに対して受信しない場合には本ルーチンを終了する。
【０１９３】
ステップＳ６０２において、熱画像測定部１（図４９）により、図５０に図示したテレビ視聴者領域の熱画像を測定する。ステップＳ６０２で測定された熱画像を図５２に示す。熱画像測定（ステップＳ６０２）後、ステップＳ６０３に進む。
【０１９４】
ステップＳ６０３において、熱源画素抽出部２（図４９）により、熱画像中の画素のうち相対的に温度が高い画素を熱源画素として判別し、これら熱源画素をそれぞれ抽出する。熱源画素を抽出するに当たり、熱画像中のＹ軸の平均値を求めて、背景画像を急く静止、２値化を行い熱源画素を作成する。これら熱源画素が互いに隣接する場合には、他のブロックの熱源画素と相違する同一ラベルを熱源画素にそれぞれ付加することにより、この区域をブロックとして抽出する。なお、ステップＳ６０３の詳細な動作については、図８〜１３を参照して既に詳細に説明した通りである。
なお本例でもｙ座標が同一である画素グループごとに熱源画素を判別する。
【０１９５】
図５３は、図５２の熱画像の熱ラベリング画像を示す図である。このような熱ラベリング画像の作成については図８のステップＳ１１６で既に説明したのでここでは詳しく説明しない。図５３の熱ラベリング画像から個々のブロックの人数を算出したものを以下示す。
【表２４】

なお、図５３のブロック番号１，２，３及び４は、図５０の人物４１，４２，４０及び３９にそれぞれ相当するが、〔表２４〕ではブロック番号１及び２には人物が存在しないと判断されている。
【０１９６】
ブロック抽出（ステップＳ６０３）後、ステップＳ６０４に進み、個々のブロック中に人物が存在するか否かを画素数人物判別部３（図４９）により判断し、人物が存在する場合にはこれらブロックについてそれぞれ人数を算出する。なお、ステップＳ６０４の詳細な動作については、図１４を参照して既に詳細に説明した通りである。
【０１９７】
本例でも、ブロック中の画素数に基づいて人物が存在するか否かを判別するとともに、視聴者数計数装置１３（図５０）から熱源までの距離に対応した画素数を考慮する。
【０１９８】
ブロック中に人物が存在するか否かを判別（ステップＳ６０４）後、ステップＳ６０５に進み、人物が存在すると判別されたブロックの重心座標を〔数２〕に基づいて算出し、予め設定されている隣室視聴領域４３（図５０）にこの重心座標が存在するか否かに基づいて人数を計数する。なお、ステップＳ６０５の詳細な動作については、図５４を参照して後に詳細に説明する。
【０１９９】
これにより、隣室のように計数位置からある程度離れた位置に人物が存在する場合でも室内のテレビ視聴者領域の人数を正確に計数することができる。
【０２００】
予め設定されている隣室視聴領域４３（図５０）にブロックの重心座標が存在するか否かに基づいて人数を計数した（ステップＳ６０５）後、ステップＳ６０６に進み、画素数人物判別部３及び隣室人数計数部３８（図４９）により計数されたブロック中の人数を、室内のテレビ視聴者領域の人数として視聴者数算出部６（図５０）で合計することにより、室内のテレビ視聴者領域の人数を計数する。その後、この人数を視聴者数計数装置１３（図４９）に出力（ステップＳ６０７）して、本ルーチンを終了する。
【０２０１】
図５４は、隣室に人物が存在するか否かを判別する工程を示すフローチャートであり、図５１のステップＳ６０５に相当する。本ルーチンでは先ず、ステップＳ６１１において、予め設定されている隣室視聴領域４３（図５０）に重心座標が存在するブロックを削除する。本例では、図５０の隣室視聴領域４３及び図５５に斜線で示すような隣室視聴領域が予め設定されている。図５３と図５５を比較すると、ブロック番号１及び２の重心座標が隣室視聴領域に含まれるので、ブロック番号１及び２を削除する。
【０２０２】
次いでステップＳ６１２に進み、隣室視聴領域（図５５の斜線部）に含まれる画素の最高温度を測定する。図５６は図５５の隣室視聴領域の画素の温度を示す図であり、最高温度は、太字枠で囲んだ画素の２４．８である。
【０２０３】
次いでステップＳ６１３に進み、隣室視聴領域（図５５の斜線部）の２値画像を作成する。本例では図５７に示すように、隣室視聴領域の画素の最高温度（２４．８）から予め設定された閾値Ｉを減算した値より大きい温度の画素を１とし、それ以外を空白とする。
【０２０４】
本例では、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な値として、閾値Ｉを２．０としている。なお、この閾値Ｉは不変というものではなく、熱画像中の画素の平均値及び標準偏差並びに隣室視聴領域の大きさに対応して変動する値である。
【０２０５】
次いでステップＳ６１４に進み、図５７の２値画像の熱ラベリング画像を作成する。このような熱ラベリング画像の作成については図８のステップＳ１１８で既に説明したので、ここでは詳しく説明しない。図５５の隣室視聴領域の画素の熱ラベリング画像を示す図を図５８に示す。
【０２０６】
次いでステップＳ６１５に進み、隣室視聴領域（図５５の斜線部）の人数を、隣室視聴領域の温度極大値数とする。隣室視聴領域の温度極大値数とは、隣室視聴領域に含まれる画素の温度分布を参照したときの局所的に温度が高い部分の数であり、ステップＳ６１４で付加したラベル数と同一である。本例では、ステップＳ６１４で付加したラベル数の２が隣室視聴領域の人数となり、本ルーチンを終了する。
本ルーチンにより新たに求めた各ブロックの人数を以下示す。
【表２５】

〔表２５〕では、ステップＳ６１１によりブロック番号１及び２が削除され、代わりにステップＳ６１５により、新たに隣室視聴領域を表すブロック番号６を設定して人数を２としている。
【０２０７】
以上説明したように第６実施例によれば、隣室のように計数位置からある程度離れた位置に人物が存在する場合でも室内のテレビ視聴者領域の人数を正確に計数することができる。
【図面の簡単な説明】
【図１】本発明による熱画像による人数計数方法の第１実施例を実施する装置のブロック図である。
【図２】第１実施例により測定されるテレビ視聴者領域の上面図である。
【図３】第１実施例により測定されるテレビ視聴者領域の側面図である。
【図４】本発明により測定される熱画像の座標軸定義図である。
【図５】本発明により測定される熱画像の一例を示す図である。
【図６】第１実施例の処理手順を示すフローチャートである。
【図７】第１実施例で測定された熱画像である。
【図８】熱源画素を抽出する工程を示すフローチャートである。
【図９】画素グループの温度平均値より温度が高い画素を図５の熱画像から除去した画像である。
【図１０】図７の熱画像の背景画像を示す図である。
【図１１】図７の熱画像の温度から図１０の熱画像の温度を画素ごと減算した結果を示す図である。
【図１２】図７の熱画像の２値画像を示す図である。
【図１３】図７の熱画像の熱ラベリング画像を示す図である。
【図１４】ブロック中の画素数に基づいて人物が存在するか否かを判別する工程を示すフローチャートである。
【図１５】人物が存在すると判別されたブロック中の温度極大値に基づいてブロック中に人物が存在するか否かを新たに判別する工程を示すフローチャートである。
【図１６】図７の熱画像のブロック番号１に含まれる画素の温度だけを示す画像である。
【図１７】図１６の熱画像の２値画像を示す図である。
【図１８】図１６の熱画像の熱ラベリング画像を示す図である。
【図１９】人物が存在すると判別されたブロックについての最高温度が所定の温度以上の場合ブロック中の人数を零とする工程を示すフローチャートである。
【図２０】図７の熱画像のブロック番号１〜３に含まれる画素の温度だけを示す画像である。
【図２１】本発明による熱画像による人数計数方法の第２実施例を実施する視聴者数計数装置のブロック図である。
【図２２】第２実施例により測定されるテレビ視聴者領域の上面図である。
【図２３】第２実施例の処理手順を示すフローチャートである。
【図２４】第２実施例で測定された熱画像である。
【図２５】図２４の熱画像の熱ラベリング画像を示す図である。
【図２６】人物が存在すると判別されたブロックの縦幅に基づいてブロック中に人物が存在するか否かを新たに判別する工程を示すフローチャートである。
【図２７】本発明による熱画像による人数計数方法の第３実施例を実施する視聴者数計数装置のブロック図である。
【図２８】第３実施例により測定されるテレビ視聴者領域の上面図である。
【図２９】第３実施例により測定されるテレビ視聴者領域の側面図である。
【図３０】第３実施例の処理手順を示すフローチャートである。
【図３１】第３実施例で測定された熱画像である。
【図３２】図３１の熱画像の熱ラベリング画像を示す図である。
【図３３】人物が存在すると判別されたブロックの重心座標をそれぞれ算出する工程を示すフローチャートである。
【図３４】図２８及び２９に示すテレビ視聴者領域の熱画像の壁に属する画素及び床に属する画素を示す図である。
【図３５】図３２の熱ラベリング画像に図３４の境界２７を重ねた図である。
【図３６】本発明による熱画像による人数計数方法の第４実施例を実施する視聴者数計数装置のブロック図である。
【図３７】第４実施例により測定されるテレビ視聴者領域の上面図である。
【図３８】第４実施例の処理手順を示すフローチャートである。
【図３９】第４実施例で測定された熱画像である。
【図４０】図３９の熱画像の熱ラベリング画像を示す図である。
【図４１】特定領域人物判別部における人物が存在すると判別されたブロックの重心座標に基づいてブロック中に人物が存在するか否かを新たに判別する工程を示すフローチャートである。
【図４２】図３９の熱画像に対して算出された人物が予め存在しない領域を示す図である。
【図４３】本発明による熱画像による人数計数方法の第５実施例を実施する視聴者数計数装置のブロック図である。
【図４４】第５実施例により測定されるテレビ視聴者領域の上面図である。
【図４５】第５実施例の処理手順を示すフローチャートである。
【図４６】第５実施例で測定された熱画像である。
【図４７】図４６の熱画像の熱ラベリング画像を示す図である。
【図４８】ブロックの最高温度及び熱画像の測定位置の真下からブロックまでの距離に基づいて人物が存在するか否かを判別する工程を示すフローチャートである。
【図４９】本発明による熱画像による人数計数方法の第６実施例を実施する視聴者数計数装置のブロック図である。
【図５０】第６実施例により測定されるテレビ視聴者領域の上面図である。
【図５１】第６実施例の処理手順を示すフローチャートである。
【図５２】第６実施例で測定された熱画像である。
【図５３】図５２の熱画像の熱ラベリング画像を示す図である。
【図５４】隣室に人物が存在するか否かを判別する工程を示すフローチャートである。
【図５５】図５２の熱画像に対して算出された隣室視聴領域を示す図である。
【図５６】図５５の隣室視聴領域の画素の温度を示す図である。
【図５７】図５５の隣室視聴領域の画素の２値画像を示す図である。
【図５８】図５５の隣室視聴領域の画素の熱ラベリング画像を示す図である。
【符号の説明】
１熱画像測定部
２熱源画素抽出部
３画素数人物判別部
４温度極大値数人物判別部
５最高温度人物判別部
６視聴者数算出部
７テレビジョン
８，９，１０，１１，１５，１６，１７，２０，２１，３１，３２，３５，３６，３９，４０，４１，４２人物
１２ストーブ
１３視聴者数計数装置
１４縦幅人物判別部
１８熱気
１９壁部熱源判別部
２２，２４，２５壁
２３温風ヒータ
２６床
２７，２８，２９境界
３０特定領域人物判別部
３３，３７パーソナルコンピュータ
３４距離温度人物判別部
３８隣室人数計数部
４３隣室視聴領域[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a thermal image counting method for counting the number of people in a predetermined area by detecting infrared rays radiated from a human body in a predetermined area in a room.
[0002]
[Prior art]
Conventionally, counting the number of persons in a predetermined area by detecting infrared rays radiated from a human body in a predetermined area in a room is described in, for example, Japanese Patent Publication No. 5-52117. This publication describes an apparatus for counting the number of television viewers after setting an indoor unmanned environment using an ultrasonic sensor and an infrared detection heat sensor.
[0003]
[Problems to be solved by the invention]
However, in such a device, it is necessary to set an unmanned indoor environment. Therefore, when the arrangement of furniture in the room is changed, the setting needs to be redone. Since this setting needs to be performed manually, it takes time and effort to redo the setting. Further, in order to perform such setting, an ultrasonic sensor is required in addition to the infrared detection heat sensor for counting the number of viewers.
[0004]
SUMMARY OF THE INVENTION It is an object of the present invention to provide a thermal image counting method that can accurately count the number of people in a predetermined area in a room without previously storing the unmanned environment in the room.
[0005]
Another object of the present invention is to provide a thermal image counting method that can accurately count the number of persons in a predetermined area of a room even when a plurality of persons are fixed in a predetermined area of the room. .
[0006]
Another object of the present invention is to provide a thermal image counting method that can accurately count the number of persons in a predetermined area of a room even when a heat source such as a heating device is present in the predetermined area of the room. It is.
[0007]
Another object of the present invention is to accurately count the number of persons in a predetermined area in a room even when hot air is present near the ceiling of a predetermined area in a room or when a person is lying in a predetermined area in a room. An object of the present invention is to provide a method for counting the number of people using a thermal image.
[0008]
Another object of the present invention is to provide a vehicle in which a predetermined area of a room is provided with a heat source such as a hot air heater on a wall portion thereof or a case where a window in a predetermined area of the room is heated by sunlight. An object of the present invention is to provide a thermal image counting method capable of accurately counting the number of people in an area.
[0009]
Another object of the present invention is to provide a method of counting the number of persons by using a thermal image, which can accurately count the number of persons in a predetermined area of a room even when a heat source having a temperature similar to that of a person exists in a predetermined area of the room. That is.
[0010]
Another object of the present invention is to provide a method for counting the number of persons using a thermal image, which can accurately count the number of persons in a predetermined area of a room even when a heat source having a temperature higher than that of a person but lower than that of a heating device is present in the predetermined area of the room. It is to provide.
[0011]
Another object of the present invention is to provide a method for counting the number of persons using a thermal image, which can accurately count the number of persons in a predetermined area of a room even when a person is present in a predetermined area in the room at a position that is to some extent away from the thermal image measurement position. It is to provide.
[0012]
[Means for Solving the Problems]
The method of counting the number of people by the thermal image according to the present invention is as follows.
A thermal image measuring step of measuring a thermal image of a predetermined area in a room composed of a plurality of pixels,
A block extraction step of determining a pixel having a relatively high temperature among these pixels as a heat source pixel, and extracting an area where the heat source pixels are adjacent to each other as a block;
A person discriminating step of counting the number of persons in a predetermined area in the room by calculating whether the block is a person or not and calculating the number of persons.,
The block extraction step includes:
A first temperature average value calculating step of calculating a first temperature average value of the pixels of the thermal image;
An image creation step of creating an image from which pixels having a temperature higher than the temperature average value have been removed,
A second temperature average value calculating step of calculating a second temperature average value of the image created by the image creating step;
A background image creating step of creating a background image based on the second temperature average value;
A binary image creating step of subtracting the background image from the thermal image to create a binary image;
A block creation step of creating the block from the binary image;
A first label adding step of adding the same label different from the heat source pixels in the other blocks to the heat source pixels in the same block, respectively.It is characterized by the following.
[0013]
In the method for counting the number of people using the thermal image according to the present invention, the number of people in a predetermined area in the room can be accurately counted without previously storing the unmanned environment in the room. No need to redo the unattended environment settings. Further, since there is no need to make such settings, it is not necessary to use an ultrasonic sensor when measuring the number of people.
[0014]
in this case,The block extraction step includes:
A first temperature average value calculating step of calculating a first temperature average value of the pixels of the thermal image;
An image creation step of creating an image from which pixels having a temperature higher than the temperature average value have been removed,
A second temperature average value calculating step of calculating a second temperature average value of the image created by the image creating step;
A background image creating step of creating a background image based on the second temperature average value;
A binary image creating step of subtracting the background image from the thermal image to create a binary image;
A block creation step of creating the block from the binary image;
A first label adding step of adding the same label different from the heat source pixels in the other blocks to the heat source pixels in the same block.
[0015]
More preferably, the first temperature average value calculation step, the image creation step, and the second temperature average value calculation step are performed for each pixel group having the same vertical coordinate of the thermal image.
[0016]
Since the indoor temperature is higher near the ceiling than near the floor, it is not preferable to extract the heat source existing near the floor when the entire average temperature is used as the threshold. Therefore, it is preferable to perform the first temperature average value calculation step, the image creation step, and the second temperature average value calculation step for each pixel group having the same vertical position of the thermal image.
[0017]
Preferably, the background image isThe temperature of all the pixels of the thermal image is calculated as the second temperature average value.It is assumed that the image is composed of the replaced pixels.
[0018]
Preferably, the person discriminating step includes:
A pixel number calculation step of calculating the number of pixels in a block in which a person is determined to be present in the person determination step,
An existence determining step of determining whether or not a person exists in the block based on the calculated number of pixels.
[0019]
The surface area of the heat source is proportional to the number of pixels in the thermal image of the heat source. When determining whether or not a person exists in the block, it is preferable to determine based on the calculated number of pixels. In this case, if the number of pixels is smaller than the predetermined number, it is determined that the temperature is small animals such as dogs and cats or the case where the temperature is locally high. By determining that the person is solidified, the number of persons in a predetermined area in the room can be accurately counted. Furthermore, since the number of pixels calculated decreases as the distance from the measurement position to the heat source increases, it is determined whether a person exists with the number of pixels corresponding to this distance.
[0020]
More preferably, the presence determination step includes:
For each of the blocks in which a person is determined to be present in the person determination step, a person pixel number setting step of setting a minimum person pixel number and a maximum person pixel number based on the center of gravity, respectively,
The number of pixels in the block is set to zero when the number of pixels in the block is smaller than the minimum number of human pixels, and the number of pixels in the block is set to the maximum when the number of pixels in the block is equal to or more than the minimum number of human pixels. Dividing the number by the number of human pixels and rounding the quotient up to the decimal point.
[0021]
Preferably, the number of temperature maxima is calculated for each of the blocks determined to have a person, and the number of temperature maxima determined in the block is replaced with the number of temperature maxima in the block instead of the number of people counted in the person determination step. The method includes a first number counting step of counting the number of people in a predetermined area in the room as the number of people.
[0022]
In the first person counting step, a temperature maximum value is obtained for each of the blocks determined to have a person, the number of temperature maximum values obtained in the block is defined as the number of persons in the block, and the number of persons in the block is summed to determine the number of persons in the room. Since the number of persons in the predetermined area is counted, the number of persons in the predetermined area in the room can be accurately counted even when a plurality of persons are fixed in the predetermined area in the room.
[0023]
More preferably,The first number counting step includes:
For each of the blocks for which it is determined that a person is present in the person determination step, a value obtained by subtracting a first predetermined value from the maximum temperature of the pixels in the block is compared with the temperature of the pixels included in the block. And a first temperature maximum value determining step of setting a temperature of a pixel larger than a value obtained by subtracting the first predetermined value from the maximum temperature as the temperature maximum value.
[0024]
More preferably, the first temperature local maximum value determining step includes:
A first two-code image is created by assigning a first predetermined code to each of the pixels having the temperature maximum value and a different code from the first predetermined code to each of the other pixels. Sign image creation process,
When the pixels having the temperature maximum value are adjacent to each other in four links, a second label adding step of setting these pixels as one unit and adding the same label different from the other units to these pixels,
A first temperature maximum value counting step of setting the number of types of the same label to the temperature maximum value number.
[0025]
Preferably, when the maximum temperature is equal to or higher than a predetermined temperature, the number of persons in the block is set to zero instead of the number of persons counted in the first number counting step, and the number of persons in a predetermined area in the room is counted. The first block has a zero-person process.
[0026]
As described above, in the first block number zero step, when the maximum temperature is equal to or higher than the predetermined temperature, the number of persons in the block is set to zero instead of the number counted in the first number counting step, and the number of persons in the room is set to zero. Since the number of persons is counted, the number of persons in a predetermined area in the room can be accurately counted even when a heat source such as a heating appliance is present.
[0027]
Preferably, for each of the blocks in which a person is determined to be present in the person determination step, a vertical width is calculated by adding 1 to a difference between a maximum value and a minimum value of vertical coordinates of pixels in the block, A vertical width person discriminating step of calculating the number of persons in each of the blocks based on the vertical width and counting the persons in a predetermined area in the room is provided.
[0028]
When a person is lying on a sofa or the like, the block is horizontally long, and the number of pixels in the block is larger than when the person is sitting or standing. Therefore, when there is a person lying in the block, it becomes difficult to accurately count the number of people. Similar difficulties occur when hot air is present near the ceiling in a predetermined area in the room. In this case, for each of the blocks for which it is determined that a person is present in the person determination step, the number of persons is calculated based on the vertical width, and the number of persons in the predetermined area in the room is counted. Accurate counting is possible.
[0029]
More preferably, the vertical width person identification step includes:
If the vertical width is equal to or less than a second predetermined value, the number of persons in the block is set to zero, and a second block number zero step of counting the number of persons in the predetermined area in the room;
When the vertical width is within a predetermined range and the number of persons in the block is determined to be two or more in the person determination step, 1 is subtracted from the number counted in the person determination step. A step of counting the number of persons in a predetermined area in the room, with the number of persons being the number of persons in the block.
[0030]
Preferably, the plurality of pixels in a predetermined area in the room are classified into pixels corresponding to walls in the room and pixels corresponding to floors in the room based on a shape of the room and a measurement position of the thermal image. A pixel classification step;
For each of the blocks determined to have a person in the person determination step, the vertical coordinates of the floor wall contact point having the same horizontal coordinates as the center of gravity of the block are set to the vertical coordinates of the center of gravity of the block. Is larger than the maximum vertical coordinate of a pixel included in the block, the number of persons in the block is set to zero, and the number of persons in a predetermined area in the room is counted. It has a zero process.
[0031]
When a heat source such as a hot air heater is present on a wall of a predetermined area in a room or when a window near a predetermined area in a room is heated by sunlight, it is difficult to distinguish these from a person. In this case, for each of the blocks for which it is determined that a person is present in the person determination step, the vertical coordinates of the floor wall contact point having the same horizontal coordinates as the block's centroid are set to the vertical coordinates of the block's centroid. If the sum of the values is larger than the maximum vertical coordinate of the pixels included in the block, the number of persons in the block is set to zero, and the number of persons in the predetermined area in the room is counted. Can be accurately counted.
[0032]
Preferably, for each of the blocks for which a person is determined to be present in the person determination step, when the center of gravity of the block is present in an area where a person cannot exist in advance, the number of persons in the block is set to zero, A fourth block number zero step of counting the number of persons in a predetermined area in the room.
[0033]
When a heat source having a temperature similar to that of a person, such as a personal computer, exists in a predetermined area in a room, it is difficult to distinguish the person from the person. In this case, when the center of gravity of the block is present in an area where no person can be present in advance for each of the blocks for which it is determined that the person is present in the person determination step, the number of persons in the block is set to zero and a predetermined area in the room is set. By counting the number of persons, the number of persons in a predetermined area in the room can be accurately counted.
[0034]
Preferably, for each of the blocks in which a person is determined to be present in the person determination step, the maximum temperature of a pixel in the block is higher than a third predetermined value, and the temperature is determined from immediately below a measurement position of the thermal image. When the distance to the block is larger than the fourth predetermined value, a fifth block number zero step of counting the number of persons in the predetermined area in the room by setting the number of persons in the block to zero is provided.
[0035]
Even when a heat source whose temperature is higher than that of a person but lower than that of a heater is present in a predetermined area in a room, it is difficult to distinguish the person from the person. In this case, for each of the blocks for which it has been determined that a person is present in the person determination step, the maximum temperature of the pixels in the block is higher than a third predetermined value, and the distance from immediately below the measurement position of the thermal image to the block is When the number is larger than the fourth predetermined value, the number of persons in the predetermined area in the room can be accurately counted by setting the number of persons in the block to zero and counting the number of persons in the predetermined area in the room.
[0036]
Preferably, when the block determined that a person is present in the person determination step is present in an area where a person separated by a predetermined distance from the measurement position of the thermal image may exist, the number of persons in the block is set to zero. The sixth block number zero process to do,
A temperature maximum in a region where a person at a predetermined distance from the measurement position of the thermal image may exist, and the number of temperature maximums determined in this manner, a person at a predetermined distance from the measurement position of the thermal image And a second number counting step of counting the number of people in a predetermined area in the room as the number of people in the area where may exist.
[0037]
For example, when a person exists at a position separated by a predetermined distance from the measurement position of the thermal image, such as an adjacent room, the number of heat source pixels representing the person is small, so it is difficult to determine whether the person is a person based on the number of pixels. become. In this case, if the block in which the person is determined to be present in the person determination step is present in the person isolation presence area, the number of persons in the block is set to zero, and the area where a person separated by a predetermined distance from the measurement position of the thermal image may exist And the number of temperature maxima determined in this way is counted as the number of people in a region where a person at a predetermined distance from the measurement position of the thermal image may exist, and the number of people in a predetermined region in the room is counted. This makes it possible to accurately count the number of persons in a predetermined area in the room.
[0038]
Preferably, the second number counting step includes:
For a region where a person at a predetermined distance from the measurement position of the thermal image may exist, a value obtained by subtracting a fifth predetermined value from the maximum temperature of the pixel in the block, and a person is present in the presence determination step Comparing the temperatures of the pixels included in the determined block with the temperatures of the pixels, and determining a temperature of a pixel that is greater than a value obtained by subtracting the fifth predetermined value from the maximum temperature as the temperature maximum value; And a process.
[0039]
More preferably, the second temperature maximum value discriminating step includes:
A second code for creating a two-code image by assigning a second predetermined code to each of the pixels having the temperature maximum value and a code different from the second predetermined code to each of the other pixels. Sign image creation process,
When the pixels having the temperature maximum value are adjacent to each other in four links, a third label adding step of adding these pixels to one group and adding the same label different from other groups to these pixels,
A second temperature maximum value counting step of setting the number of types of the same label to the temperature maximum value number.
[0040]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of a thermal image counting method according to the present invention will be described in detail with reference to the drawings. In the following embodiments, the same members are denoted by the same reference numerals.
FIG. 1 is a block diagram of a viewer number counting apparatus which implements a first embodiment of a thermal image counting method according to the present invention. The apparatus includes a thermal image measuring unit 1 for measuring a thermal image of a TV viewer area in a room, a heat source pixel extracting unit 2 for extracting a block of heat source pixels, and determining whether a person exists based on the number of pixels. The number of pixels to be discriminated The person discriminating unit 3, the maximum number of temperature person discriminating unit 4 that counts the number of temperature maxima of the pixels in the block as the number of people, and whether a person exists according to the maximum temperature of the pixels in the block A maximum temperature person determining unit 5 for determining whether the number of viewers is high, and a viewer number calculating unit 6 for calculating the number of viewers.
[0041]
Upon receiving the television viewer count start signal from a setting device (not shown), the thermal image measurement section 1 heats the television viewer area shown in the indoor environment top view of FIG. 2 and the indoor environment side view of FIG. It captures an image and measures the temperature of each pixel.
[0042]
The heat source pixel extracting unit 2 determines a relatively high pixel among the temperatures of the individual pixels measured by the thermal image measuring unit 1 as a heat source pixel, and extracts an area where the heat source pixels are adjacent to each other as a block. is there.
[0043]
The pixel number person determination unit 3 calculates the number of pixels in each of the blocks extracted by the heat source pixel extraction unit 2, and determines whether a person exists in each block based on the calculated number of pixels. is there. When it is determined by the pixel number person determination unit 3 that a person exists in the block, the number of persons in the block is calculated.
[0044]
The number-of-temperature-maximum-numbers person determination unit 4 obtains a temperature maximum value, which will be described later, for each of the blocks for which it is determined that a person exists, and sets the obtained number of temperature maximum values as the number of people in the block.
[0045]
The maximum temperature person determination unit 5 measures the maximum temperature of the pixels in the block for each of the blocks for which it is determined that a person exists, and when the measured maximum temperature is higher than a preset temperature, the block The number of people inside is set to zero.
[0046]
The number-of-viewers calculating unit 6 sums the number of individual blocks calculated by the number-of-pixels person discriminating unit 3, the number-of-maximum-values person discriminating unit 4, and the person with the highest-temperature person discriminating unit 5, and sets the TV viewer area in the room. The total number of people is calculated.
[0047]
In this example, as shown in FIGS. 2 and 3, the length of one side is ROOM X (300cm <ROOM Y <500 cm) and the length of the other side is ROOM Y (300cm <ROOM X <500 cm), the television viewer area in the room includes a television 7,

persons

8, 9, 10 and 11 sitting on a sofa or the like and watching the television 7, and a stove 12 as a heater. Exists, and the persons 8 to 10 are solidified.
[0048]
The viewer counting device 13 that implements the method according to the invention is arranged so that the SENSOR from the corner A of the room to the right in FIG. X and the height SENSOR from the floor of the room H (180cm <SENSOR H <240 cm). The countable range in the horizontal direction of the viewer number counting device 13 is 120 ° as shown in FIG. 2, and the countable range in the vertical direction is 80 ° as shown in FIG.
[0049]
FIG. 4 is a coordinate axis definition diagram of a thermal image measured according to the present invention. The thermal image created by the embodiment of the present invention is composed of 24 pixels in the horizontal direction and 10 pixels in the vertical direction, that is, a total of 240 pixels. The coordinates representing the horizontal direction are x coordinates, and the coordinates representing the vertical direction are y coordinates. If the x coordinate of an arbitrary pixel in the thermal image is α and the y coordinate is β, the coordinate of the pixel is represented by (α, β). For example, in FIG. 4, the coordinates of the upper left pixel are (1, 1), the coordinates of the lower right pixel are (24, 10), the coordinates of the pixel a are (4, 5), and the coordinates of the pixel b are The coordinates are (11, 3), and the coordinates of pixel c are (19, 8).
[0050]
FIG. 5 shows an example of a thermal image measured according to the present invention. This thermal image was measured according to the first embodiment, and the number described for each pixel represents the temperature of each pixel in ° C. The blocks surrounded by thick lines represent the persons 8 to 11 in FIGS.
[0051]
The operation of the first embodiment of the thermal image counting method according to the present invention will be described.
FIG. 6 is a flowchart illustrating the processing procedure of the first embodiment. In this routine, first, in step S101, it is determined whether or not the thermal image measurement unit 1 (FIG. 1) has received a television viewer count start signal from the setting device. If the television viewer number counting start signal has been received, the process proceeds to step S102, and if not received, the present routine ends.
[0052]
In step S102, the thermal image of the television viewer area shown in FIGS. 2 and 3 is measured by the thermal image measurement unit 1 (FIG. 1). FIG. 7 shows the thermal image measured in step S102. After the thermal image measurement (Step S102), the process proceeds to Step S103.
[0053]
In step S103, the heat source pixel extraction unit 2 (FIG. 1) determines a pixel having a relatively high temperature among the pixels in the thermal image as a heat source pixel, and extracts each of these heat source pixels. In extracting a heat source pixel, an average value of the Y axis in the thermal image is obtained, a background image is generated, and binarization is performed to generate a heat source image. When these heat source pixels are adjacent to each other, the same label different from the heat source pixels of the other blocks is added to each of the heat source pixels, so that this area is extracted as a block. The detailed operation of step S103 will be described later in detail with reference to FIGS.
[0054]
Since the indoor temperature is higher near the ceiling than near the floor, it is difficult to extract the heat source pixels existing near the floor if the threshold is set to the average temperature of all the pixels. Therefore, in this example, since the pixels having the same y-coordinate have the same height from the floor, the heat source pixel is determined for each pixel group having the same y-coordinate.
[0055]
After the block extraction (step S103), the process proceeds to step S104, where it is determined whether or not a person exists in each block by the pixel number person determination unit 3 (FIG. 1). Calculate the number of people for each. The detailed operation of step S104 will be described later in detail with reference to FIG.
[0056]
It is determined whether or not a person exists in the block based on the number of pixels in the block. When a person is present, the block has more than a predetermined number of pixels in the block because the surface area of the person is relatively large. Therefore, when the number of pixels in the block is smaller than the predetermined number, it is determined that a small animal such as a dog or cat is present instead of a person in the block or that the temperature is locally high. If the number of pixels is significantly larger than the predetermined number, it is determined that not one person but a plurality of persons are present in the block.
[0057]
Further, as the distance from the viewer number counting device 13 (FIGS. 2 and 3) to the heat source increases, the number of pixels in the block decreases. Therefore, in this example, determination is made based on the number of pixels corresponding to this distance.
[0058]
After determining whether or not a person exists in the block (step S104), if the number of pixels of the block is larger than a predetermined threshold, the process proceeds to step S105, and the temperature maximum in the block for the block determined to include the person is determined. The number of values is calculated by the person with temperature maximum value discriminator 4 (FIG. 1), and the number of values of temperature maximum is set as the number of persons in the block instead of the number of persons counted in step S104. The detailed operation of step S105 will be described later in detail with reference to FIGS.
[0059]
Thereby, even when a plurality of persons are set in the indoor TV viewer area, the number of persons in the indoor TV viewer area can be accurately counted.
[0060]
For the block determined to have a person, the number of temperature maxima in the block is set as the number of persons in the block (step S105), and the process proceeds to step S106. It is measured by the person discriminating unit 5 (FIG. 1), and when the maximum temperature is equal to or higher than the predetermined temperature, the number of persons in the block is set to zero instead of the number counted in step S105. The detailed operation of step S105 will be described later in detail with reference to FIGS.
[0061]
Thus, even when a heating device (in this example, the stove 12 (FIGS. 2 and 3)) is present in the indoor TV viewer area, the number of persons in the indoor TV viewer area can be accurately counted.
[0062]
After counting the number of persons based on the maximum temperature in the block (step S106), the process proceeds to step S107, where the number-of-pixels person discriminating unit 3, the number-of-temperature-maximum-numbers discriminating unit 4 and the highest-temperature person discriminating unit 5 (FIG. 1) The number of persons in the room is counted by summing the counted number of persons in the block by the number-of-viewers calculating unit 6 (FIG. 1). Thereafter, this number is output to the viewer number counting device 13 (FIGS. 2 and 3) (step S108), and this routine ends.
[0063]
FIG. 8 is a flowchart showing a process of extracting a heat source pixel, which corresponds to step S103 in FIG. In this routine, first, in step S111, a temperature average value is calculated for each of the pixel groups having the same y coordinate with respect to the thermal image measured by the thermal image measurement unit 1 (FIG. 1). A calculation result of the average temperature value for each pixel group having the same y coordinate is shown below.
[Table 1]

In this example, since there are 10 pixels in the y-coordinate direction, calculating the temperature average value for each pixel group having the same y-coordinate results in calculating 10 temperature average values. These temperature averages are
(Equation 1)

It is calculated by: Here, SUM (α) is the sum of the temperatures of the pixels whose y coordinate is α, N (α) is the number of pixels whose y coordinate is α, and AVG (α) is the pixel group whose y coordinate is α. Temperature average value.
[0064]
Next, in step S112, for each pixel group having the same y-coordinate, an image obtained by removing a pixel whose temperature is higher than the average temperature of these pixel groups from the thermal image measured by the thermal image measurement unit 1 (FIG. 1). create. The image created in this way is shown in FIG. In FIG. 9, the removed pixels are shown as blanks.
[0065]
Next, the process proceeds to step S113 to calculate an average temperature value for each pixel group having the same y-coordinate in the thermal image shown in FIG. The method of calculating the temperature average value is the same as that in step S111. The calculation result of the average temperature value for each pixel group having the same y coordinate in step S113 is shown below.
[Table 2]

[0066]
Next, in step S114, a background image is created by removing the heat source pixels from the thermal image. In this example, the temperature average value shown in [Table 2] as a background image is obtained by using the values of the pixels in the pixel group having the same y coordinate as the background image, which is shown in FIG.
[0067]
Next, the process proceeds to step S115, where only the heat source pixels are extracted from the thermal image measured by the thermal image measurement unit 1 (FIG. 1). In extracting the heat source pixels, the temperature of the thermal image of FIG. 10 is subtracted from the temperature of the thermal image of FIG. 7 for each pixel. This result is shown in FIG. 11, and pixels having a subtraction result of 0 or less are shown as blanks.
[0068]
Next, the temperature of the pixel shown in FIG. 11 is compared with a threshold value A set in advance for each pixel, and a pixel having a temperature higher than the threshold value A is set to 1 and a binary image in which the other pixels are blank is created. This is shown in FIG.
[0069]
In this example, the threshold value A is set to 5 as a statistical value based on a thermal image measured in an enormous real-world television viewing environment. It should be noted that the threshold value A is not invariable, but can be counted in the horizontal and vertical directions of the viewer counting device 13 (FIGS. 2 and 3), the number of horizontal and vertical pixels of the thermal image, and the floor of the room. SENSOR of viewer counting device 13 (FIGS. 2 and 3) The value fluctuates according to H.
[0070]
Next, the process proceeds to step S116, in which a heat labeling image in which the same label different from the heat source pixels in the other blocks is added to the heat source pixels in the same block is created. In this example, when the heat source pixels are adjacent to each other in four connections in FIG. 12, these pixels are grouped together and the same label different from the other groups is added, and this is shown in FIG. Note that in this example, natural numbers are added to the labels in order from 1.
After the end of step S116, this routine ends.
[0071]
FIG. 14 is a flowchart showing a process of determining whether or not a person exists based on the number of pixels in a block, and corresponds to step S104 in FIG. In this control routine, first, in step S121, the number of pixels of each extracted block is calculated. In this example, there are four blocks as shown in FIG. Note that the number of blocks is the same as the maximum value of the label added in step S116 in FIG. The block number is the same as the label assigned to the block. The number of pixels of a block is the number of pixels to which the same label as the block number is added in the thermal labeling image of FIG. The number of pixels in each block is shown below.
[Table 3]

[0072]
Next, in step S122, the barycentric coordinates of each block are calculated. The barycentric coordinates of the block number N (N is a natural number) are
(Equation 2)

It is calculated by: Here, XSUM (N) is the sum of the x coordinates of the pixels included in the block number N, YSUM (N) is the sum of the y coordinates of the pixels included in the block number N, and P (N) is the sum of the block numbers N. Let XG (N) be the x barycentric coordinates of the block number N and YG (N) be the y barycentric coordinates of the block number N. The barycentric coordinates of each block in FIG. 13 are shown below.
[Table 4]

[0073]
Next, the process proceeds to step S123, where the block number N is initialized to 1. Next, the process proceeds to step S124, where the minimum number of human pixels and the maximum number of human pixels are obtained based on the y barycentric coordinates YG (N) of the block number N. The minimum number of human pixels and the maximum number of human pixels are preset in this example, and are described below.
[Table 5]

The minimum number of human pixels and the maximum number of human pixels are not invariable, but the horizontal and vertical countable ranges of the viewer counting device 13 (FIGS. 2 and 3), the horizontal and vertical pixels of the thermal image. Number and height SENSOR of viewer counting device 13 (FIGS. 2 and 3) from the floor of the room The value fluctuates according to H. The table below shows the minimum number of human pixels and the maximum number of human pixels in each block from the y barycentric coordinates of each block in Table 4.
[Table 6]

[0074]
Next, the process proceeds to step S125, and it is determined whether or not the pixel number of the block number N is smaller than the minimum human pixel number. If it is determined that the number is smaller than the minimum number of human pixels, the number of persons of the block number N is set to zero in step S126, and the process skips step S127 described later and proceeds to step S128. In this example, the number of pixels of block number 4 is 2 as shown in [Table 3], and the minimum number of pixels is 3 as shown in [Table 6]. Is zero.
[0075]
If it is determined in step S125 that the pixel number of the block number N is not smaller than the minimum human pixel number, step S126 is skipped and the process proceeds to step S127. In step S127, the number of pixels of the block number N is divided by the maximum number of human pixels, and a value obtained by rounding up the decimal point of the quotient is set as the number of persons of the block number N. In this example, the number of pixels of block number 1 is 27 as shown in [Table 3], and the minimum number of pixels is 15 as shown in [Table 6]. Becomes two people. Similarly, the number of persons in

block numbers

2 and 3 is one.
[0076]
When the process proceeds to step S128 after the end of step S126 or S127, it is determined whether or not the number of people has been calculated for all blocks. When it is determined that the calculation has been performed, this routine ends. When it is determined that the calculation has not been performed, the process proceeds to step S129, where 1 is added to the block number N, and the process returns to step S124. The number of people in the block calculated in this example is shown below.
[Table 7]

[0077]
FIG. 15 is a flowchart illustrating a process of calculating the number of temperature maxima in a block determined to include a person, and corresponds to step S105 in FIG. In this control routine, first, the block number N is initialized to 1 in step S131, and then the process proceeds to step S132.
[0078]
In step S132, it is determined whether or not the number of block numbers N exceeds one. If it is determined that the number exceeds one, the process proceeds to step S133. If it is determined that the number does not exceed one, the process skips steps S133, S134, S135, and S136 described later and proceeds to step S137. In this example, the process proceeds to step S133 in the case of the block number 1, and proceeds to step S137 in the case of the

block numbers

2, 3 and 4.
[0079]
In step S133, the maximum temperature of the pixel included in the block number N is measured. FIG. 16 is an image showing only the temperatures of the pixels included in block number 1 of the thermal image of FIG. In the case of the block number 1, when measuring the highest temperature, the highest value of the temperature of these pixels may be obtained. As shown in FIG. 16, the temperature of the pixel surrounded by the thick line frame is the maximum temperature of the pixel included in the block number 1, and this is set as the maximum temperature of the block number 1.
[0080]
Next, the process proceeds to step S134, where the pixel temperature shown in FIG. 16 is set to 1 for a pixel larger than a value obtained by subtracting a preset threshold value B from the maximum temperature for each pixel, and the other pixels are blank. And this is shown in FIG.
[0081]
In this example, the threshold value B is set to 1.0 as a statistical value based on a thermal image measured in an enormous home TV viewing environment. Therefore, in this case, the maximum temperature of the block number 1 is 27.4 as shown in FIG. 16, and the value obtained by subtracting 1.0 of the threshold B from this is 26.4. 1 is added to the pixel as the maximum temperature source, and the other pixels are blank. It should be noted that the threshold value B is not constant, but is a value that varies according to the average value and the standard deviation of the pixels in the thermal image.
[0082]
Next, the process proceeds to step S135, in which a heat labeling image is created in which the same label different from the heat source pixels of the other maximum temperature sources is added to the heat source pixels of the same maximum temperature source. In this example, when the heat source pixels are adjacent to each other in four connections in FIG. 17, these pixels are grouped together and the same label different from other groups is added, and this is shown in FIG. Note that in this example, natural numbers are added to the labels in order from 1.
[0083]
Next, the process proceeds to step S136, in which the number of persons of the block number N is replaced with the number of maximum temperature values in the block number N instead of the number of persons calculated in step S104 of FIG. The maximum number of temperature values of the block number N is the number of portions where the temperature is locally high when referring to the temperature distribution of the pixels included in the block number N, and is the same as the number of labels added in step S135. In the case of the block number 1 in this example, the number of labels 3 added in step S135 becomes the number of people of the block number 1 newly.
[0084]
When the process proceeds to step S137 after the end of step S132 or S136, it is determined whether or not the number of people has been calculated for all blocks. If it is determined that the calculation has been performed, this routine ends. If it is determined that the calculation has not been performed, the process proceeds to step S138, where 1 is added to the block number N, and the process returns to step S132. The number of people in the block newly calculated in this example is shown below.
[Table 8]

[0085]
FIG. 19 is a flowchart showing a process of setting the number of persons in a block to zero when the maximum temperature of a block determined to include a person is equal to or higher than a predetermined temperature, and corresponds to step S106 in FIG. In this routine, first, in step S141, the block number N is initialized to 1 and then the process proceeds to step S142.
[0086]
In step S142, it is determined whether or not the number of block numbers N is one or more. If it is determined that the number is one or more, the process proceeds to step S143. If it is determined that the number is less than one, the process proceeds to step S146, skipping steps S143, S144, and S145 described later. In this example, the process proceeds to step S143 in the case of

block numbers

1, 2, and 3, and proceeds to step S146 in the case of block number 4.
[0087]
In step S143, the maximum temperature of the pixel included in the block number N is measured. FIG. 20 is an image showing only the temperatures of the pixels included in the block numbers 1 to 3 of the thermal image of FIG. In the case of the block number 1, when measuring the maximum temperature, the maximum value of the temperature of these pixels may be obtained. As shown in FIG. 20, the temperature of the pixel surrounded by the thick line frame is the maximum temperature of each of the pixels included in the block numbers 1 to 3, and this is set as the maximum temperature of the block numbers 1 to 3. In this example, the maximum temperature of block number 1 is 27.4, the maximum temperature of block number 2 is 25.2, and the maximum temperature of block number 3 is 39.8.
[0088]
After step S143 ends, the process proceeds to step S144, and it is determined whether or not the maximum temperature of the block number N measured in step S143 is equal to or higher than a preset threshold C. If the difference is equal to or larger than the threshold value C, the process proceeds to step S145; otherwise, the process skips step S145 and proceeds to step S146. In this example, this threshold value C is set to 37.0 as a statistical value based on a thermal image measured in a huge real home TV viewing environment. Therefore, in this example, the process proceeds to step S146 in the case of

block numbers

1 and 2, and proceeds to step S145 in the case of block number 3. Note that the threshold value C is not invariable, but is a value that varies according to the average value and the standard deviation of the pixels in the thermal image.
[0089]
In step S145, the number of persons in the block number N (in this example, block number 3) is set to 0, and the process proceeds to step S146.
[0090]
When the process proceeds to step S146 after the end of step S142, S144 or S145, it is determined whether or not the number of people has been calculated for all blocks. If it is determined that the calculation has been performed, this routine ends. If it is determined that the calculation has not been performed, the process proceeds to step S147, where 1 is added to the block number N, and the process returns to step S142. The number of people in the block newly calculated in this example is shown below.
[Table 9]

[0091]
As described above, according to the first embodiment, since the number of persons in the TV viewer area is counted based on the heat source pixels in the block, the indoor TV viewer area is stored without storing the unmanned indoor environment in advance. Therefore, even if the arrangement of the furniture in the room is changed, it is not necessary to redo the setting of the unmanned environment in the room. Further, since there is no need to make such settings, it is not necessary to use an ultrasonic sensor for the viewer counting device.
[0092]
In addition, the temperature maximum value is obtained for the block determined to have a person, and the number of persons in the TV viewer area in the room is counted based on the number of the temperature maximum values. Can accurately count the number of people.
[0093]
Further, when the maximum temperature of the pixel in the block is equal to or higher than the threshold value C, the number of persons in the TV viewer area in the room is counted by newly setting the number of persons in the block to zero. Even when a heat source is present, the number of people can be accurately counted.
[0094]
FIG. 21 is a block diagram of a viewer number counting apparatus for implementing the second embodiment of the thermal image counting method according to the present invention. This apparatus calculates a thermal image measuring unit 1, a heat source pixel extracting unit 2, a pixel number person determining unit 3, a vertical person determining unit 14 for determining a person lying on a sofa or the like, and the number of viewers. And a viewer number calculation unit 6.
[0095]
The vertical width person discriminating unit 14 calculates the vertical width of a block in which a person is determined to exist, and determines whether or not a person exists in the block based on the vertical width.
[0096]
The number of pixels of a person changes based on the posture of the person when watching television. The measurement range of one pixel of the thermal image is 120 ° ÷ 24 pixels = 5 ° / pixel in the x direction and 80 ° ÷ 10 pixels = 8 ° / pixel in the y direction. The measurement range is vertically long. The minimum number of human pixels and the maximum number of human pixels based on the range of the y barycentric coordinates in [Table 5] are for the case where a person is not lying down. When a person is lying down, the block is horizontally long and the person sits down. Since the number of pixels in the block is greater than when the person is standing or standing, it is difficult to accurately count the number of people who are lying in the block. Similar difficulties arise when hot air is present near the ceiling of the television viewer area. In this example, the case where a lying person is present in the block and the case where hot air exists near the ceiling of the television viewer area are considered.
[0097]
The definition of the coordinate axes of the indoor TV viewer area and the measured thermal image in the present example is the same as in the above embodiment, but the TV viewer area includes the television 7 and the sofa as shown in FIG. There are

persons

15, 16 and 17 sitting and watching television 7, and hot air 18 standing near the ceiling, and person 17 is lying down.
[0098]
The operation of the second embodiment of the thermal image counting method according to the present invention will be described.
FIG. 23 is a flowchart illustrating a processing procedure according to the second embodiment. In this routine, first, in step S201, it is determined whether or not the thermal image measurement unit 1 (FIG. 21) has received a television viewer count start signal from the setting device. If a television viewer count start signal has been received, the process proceeds to step S202; otherwise, the present routine ends.
[0099]
In step S202, the thermal image of the television viewer area shown in FIG. 22 is measured by the thermal image measurement unit 1 (FIG. 21). FIG. 24 shows the thermal image measured in step S202. After the thermal image measurement (Step S202), the process proceeds to Step S203.
[0100]
In step S203, the heat source pixel extraction unit 2 (FIG. 21) determines a pixel having a relatively high temperature among the pixels in the thermal image as a heat source pixel, and extracts each of these heat source pixels. In extracting a heat source pixel, an average value of the Y axis in the thermal image is obtained, a background image is created, and binarization is performed to obtain a heat source pixel. When these heat source pixels are adjacent to each other, the same label different from the heat source pixels of the other blocks is added to each of the heat source pixels, so that this area is extracted as a block. The detailed operation of step S203 is as already described in detail with reference to FIGS.
Also in this example, the heat source pixel is determined for each pixel group having the same y coordinate.
[0101]
FIG. 25 is a diagram showing a thermal labeling image of the thermal image of FIG. Since the creation of such a thermal labeling image has already been described in step S116 of FIG. 8, it will not be described in detail here. The calculation of the number of individual blocks from the thermal labeling image of FIG. 25 is shown below.
[Table 10]

The

block numbers

2 and 3 in FIG. 25 correspond to the person 17 and the hot air 18 in FIG. 22, respectively.
[0102]
After the block extraction (step S203), the process proceeds to step S204, where it is determined whether or not a person exists in each block by the pixel number person determination unit 3 (FIG. 21). Calculate the number of people for each. The detailed operation of step S204 is as already described in detail with reference to FIG.
[0103]
Also in this example, whether or not a person is present is determined based on the number of pixels in the block, and the number of pixels corresponding to the distance from the viewer counting device 13 (FIG. 22) to the heat source is considered.
[0104]
After determining whether or not a person exists in the block (step S204), the process proceeds to step S205, in which the vertical width of the block determined as having a person is calculated, and the number of persons in the block is counted based on the vertical width. I do. The detailed operation of step S205 will be described later in detail with reference to FIG.
[0105]
Accordingly, even when a person is lying in the indoor TV viewer area or when there is hot air near the ceiling, the number of persons in the indoor TV viewer area can be accurately counted.
[0106]
After counting the number of persons based on the vertical width of the block (step S205), the process proceeds to step S206, and the number of persons in the block counted by the pixel number person determination unit 3 and the vertical width person determination unit 14 (FIG. 21) is calculated. The total number of TV viewer areas in the room is counted by summing up the number of TV viewer areas in the TV viewer area by the viewer number calculation unit 6 (FIG. 21). Thereafter, the number is output to the viewer number counting device 13 (FIG. 22) (step S207), and this routine ends.
[0107]
FIG. 26 is a flowchart illustrating a process of calculating the vertical width of each of the blocks determined to include a person, and corresponds to step S205 in FIG. In this routine, first, the block number N is initialized to 1 in step S211 and the process proceeds to step S212.
[0108]
In step S212, it is determined whether or not the number of block numbers N is one or more. If it is determined that the number is one or more, the process proceeds to step S213. If it is determined that the number is less than one, the process skips steps S213 to S217 described later and proceeds to step S218. In this example, since the block numbers 1 to 3 are one or more as shown in [Table 10], the process proceeds to step S213.
[0109]
In step S213, the vertical width is calculated by subtracting the minimum y coordinate from the maximum y coordinate of the pixel included in the block number N and adding 5. The vertical widths of the block numbers 1 to 3 in this example are shown below.
[Table 11]

[0110]
After calculating the vertical width in step S213, the process proceeds to step S214, and it is determined whether or not these vertical widths are equal to or less than a preset threshold D. If the difference is equal to or smaller than the threshold D, the process proceeds to step S215. If the difference is not equal to or smaller than the threshold D, the process skips step S215 and proceeds to step S216. In this example, the process proceeds to step S216 for

block numbers

1 and 2, and proceeds to step S215 for block number 3.
[0111]
In this example, the threshold value D is set to 1 as a statistical value based on a thermal image measured in an enormous home TV viewing environment. It should be noted that the threshold value D is not invariable, but varies according to the horizontal and vertical countable ranges of the viewer number counting device 13 (FIG. 22) and the number of horizontal and vertical pixels of the thermal image. It is.
[0112]
In step S215, the number of block numbers N (in this example, block number 3) is newly set to 0. In this example, as a statistical determination based on a thermal image measured in an enormous real-world TV viewing environment, a block is determined to be not a person if the vertical width of the block is equal to or less than a preset threshold D. When a person is lying down, the vertical width of the block has a value exceeding a preset threshold D. Note that this determination is not invariable, but is determined in accordance with the horizontal and vertical countable ranges of the viewer number counting device 13 (FIG. 22) and the number of horizontal and vertical pixels of the thermal image. It is.
[0113]
When the process proceeds to step S216 after the end of step S214 or S215, it is determined whether or not the vertical width of the block number N is equal to or more than the preset threshold Ea and equal to or less than the preset threshold Eb, and the number of persons of the block number N is two or more. Judge. If the vertical width of the block number N is equal to or greater than the preset threshold value Ea and equal to or less than the preset threshold value Eb, and if the number of persons of the block number N is two or more, the process proceeds to step S217; The process skips step S217 and proceeds to step S218.
[0114]
In this example, the threshold value Ea is set to 2 and the threshold value Eb is set to 2 as a statistical value based on a thermal image measured in an enormous real home television viewing environment. The threshold values Ea and Eb are not invariable, but fluctuate in accordance with the horizontal and vertical countable ranges of the viewer number counting device 13 (FIG. 22) and the horizontal and vertical pixel numbers of the thermal image. Value.
[0115]
In step S217, the number of people with the block number N is subtracted from the number of people calculated in step S204 of FIG. In this example, the number of people of the block number 2 is newly one.
[0116]
When the process proceeds to step S218 after the end of step S212, S216 or S217, it is determined whether or not the number of people has been calculated for all blocks. When it is determined that the calculation has been performed, this routine ends. When it is determined that the calculation has not been performed, the process proceeds to step S219, where 1 is added to the block number N, and then the process returns to step S212. The number of people in the block newly calculated in this example is shown below.
[Table 12]

[0117]
As described above, according to the second embodiment, the number of persons is calculated based on the vertical width of the block in which the person is determined to be present, and the persons in the TV viewer area in the room are counted. Can be accurately counted even when the person is lying on a sofa or the like or hot air is present near the ceiling in the room.
[0118]
FIG. 27 is a block diagram of a viewer number counting apparatus for implementing the third embodiment of the thermal image counting method according to the present invention. This apparatus includes a thermal image measuring unit 1, a heat source pixel extracting unit 2, a pixel number person determining unit 3, and a wall heat source determining unit 19 that distinguishes a heat source present in a wall of a TV viewer area in a room from a person. And a viewer number calculator 6 for calculating the number of viewers.
[0119]
The wall heat source determining unit 19 determines that a person exists in order to distinguish from a person when a heating device such as a wall-mounted type hot air heater or a window heated by sunlight is present in the television viewer area. The coordinates of the center of gravity of the block are calculated, and it is determined whether or not a new person exists based on the coordinates of the center of gravity.
[0120]
If there is a heating device such as a wall-mounted warm air heater or a window heated by sunlight in the TV viewer area, these maximum temperatures are not so different from the maximum temperature of the person, so it is necessary to determine whether the person is a person. Becomes difficult. This example considers the case where such a heating device exists or the case where the window is heated by sunlight.
[0121]
In this example, the definition of the television viewer area in the room and the coordinate axes of the measured thermal image are the same as those in the above embodiment, but the television viewer area includes the television 7 and the sofa as shown in FIGS. For example, there are

persons

20 and 21 who are sitting on the television 7 and watching the television 7, and a warm air heater 23 attached to a wall 22.
[0122]
The operation of the third embodiment of the method for counting the number of people using a thermal image according to the present invention will be described.
FIG. 30 is a flowchart illustrating the processing procedure of the third embodiment. In this routine, first, in step S301, it is determined whether or not the thermal image measuring unit 1 (FIG. 27) has received a television viewer number counting start signal from the setting device. If the television viewer number counting start signal has been received, the process proceeds to step S302, and if not received, the present routine ends.
[0123]
In step S302, the thermal image of the television viewer area shown in FIGS. 28 and 29 is measured by the thermal image measuring unit 1 (FIG. 27). FIG. 31 shows the thermal image measured in step S302. After the thermal image measurement (Step S302), the process proceeds to Step S303.
[0124]
In step S303, the heat source pixel extraction unit 2 (FIG. 27) determines a pixel having a relatively high temperature among the pixels in the thermal image as a heat source pixel, and extracts each of these heat source pixels. In extracting a heat source pixel, an average value of the Y axis in the thermal image is obtained, a background image is created, and binarization is performed to obtain a heat source pixel. When these heat source pixels are adjacent to each other, the same label different from the heat source pixels of the other blocks is added to each of the heat source pixels, so that this area is extracted as a block. The detailed operation of step S303 is as already described in detail with reference to FIGS.
Also in this example, the heat source pixel is determined for each pixel group having the same y coordinate.
[0125]
FIG. 32 is a diagram showing a thermal labeling image of the thermal image of FIG. Since the creation of such a thermal labeling image has already been described in step S116 of FIG. 8, it will not be described in detail here. The calculation of the number of individual blocks from the thermal labeling image of FIG. 32 is shown below.
[Table 13]

The

block numbers

1, 2, and 3 in FIG. 32 correspond to the hot air heater 23 and the

persons

20 and 21 in FIGS. 28 and 29, respectively.
[0126]
After the block extraction (step S303), the process proceeds to step S304, where it is determined whether or not a person exists in each block by the pixel number person determination unit 3 (FIG. 27). Calculate the number of people for each. The detailed operation of step S304 is as already described in detail with reference to FIG.
[0127]
Also in this example, whether or not a person is present is determined based on the number of pixels in the block, and the number of pixels corresponding to the distance from the viewer counting device 13 (FIGS. 28 and 29) to the heat source is considered.
[0128]
After determining whether or not a person exists in the block (step S304), the process proceeds to step S305, where the barycentric coordinates of the block determined as having the person are calculated, and the number of persons in the block is determined based on the barycentric coordinates. Count. The detailed operation in step S305 will be described later in detail with reference to FIG.
[0129]
Accordingly, even when a wall-mounted warm air heater exists in the indoor TV viewer area or when the window is heated by sunlight, the number of persons in the indoor TV viewer area can be accurately counted.
[0130]
After counting the number of people based on the barycenter coordinates of the block (step S305), the process proceeds to step S306, and the number of pixels in the block counted by the pixel number person determination unit 3 and the wall heat source determination unit 19 (FIG. 27) is calculated. The number of persons in the TV viewer area in the room is counted by summing up the number of persons in the TV viewer area in FIG. Thereafter, this number of persons is output to the viewer number counting device 13 (FIGS. 28 and 29) (step S307), and this routine ends.
[0131]
FIG. 33 is a flowchart showing the process of calculating the barycentric coordinates of the blocks determined to have a person, and corresponds to step S305 in FIG. In this control routine, first, the pixels in the thermal image measured in step S302 in FIG. 30 are the

persons

20, 21 and the wall-mounted warm air heater 23 (FIGS. 28 and 29) in the TV viewer area in the room. If not, which one of the wall and floor in the room belongs is calculated based on the shape of the room and the position of the viewer counting device 13 (FIGS. 28 and 29).
[0132]
FIG. 34 is a diagram illustrating pixels belonging to the walls and pixels belonging to the floor of the thermal image of the television viewer area shown in FIGS. 28 and 29. This figure shows the floor when the television viewer area is viewed from the viewer counting device 13 (FIGS. 28 and 29) in the same view as the thermal image in the television viewer area shown in FIGS. 28 and 29. And the state of the wall is superimposed. 34 correspond to the

walls

22, 24, 25 and the floor 26 in FIG. 28, respectively, and in FIG. The boundary 27 is indicated by a bold line, and the boundary 28 between the wall 24 and the wall 22 and the boundary 29 between the wall 22 and the wall 25 are indicated by broken lines.
[0133]
In FIG. 34, the coordinates of points A, B, C, and D are calculated, and these points are connected by a straight line in the order of points A, B, C, and D to find the boundary 27. Is a pixel belonging to a wall or a floor. The coordinates of points A, B, C and D are determined by the shape of the room (ROOM in FIG. 28). X and ROOM Y value) and the position of the viewer counting device 13 (FIGS. 28 and 29) (SENSOR in FIG. 28). The value of X and SENSOR in FIG. H value) by geometric calculation.
[0134]
In this example, if the coordinates of the points A to D are (AX, AY), (BX, BY), (CX, CY), and (DX, DY),
(Equation 3)

It becomes. Here, ux and ui are measurement ranges in the x and y directions of one pixel of the thermal image, and as described above,
(Equation 4)

It is.
[0135]
Next, the process proceeds to step S312, where the block number N is initialized to 1, and then the process proceeds to step S313.
[0136]
In step S313, it is determined whether or not the number of block numbers N is one or more. When it is determined that the number is one or more, the process proceeds to step S314, and when it is determined that the number is less than one, the process skips steps S314 to S319 described later and proceeds to step S320. In this example, as shown in [Table 13], in the case of the block numbers 1 to 3, there is at least one person, and the process proceeds to step S314.
[0137]
In step S314, the barycentric coordinates of the block number N are calculated. The barycentric coordinates of the block number N are calculated based on [Equation 2], and the results are shown below.
[Table 14]

[0138]
After calculating the barycentric coordinates in step S314, the process advances to step S315 to calculate the y-coordinate of the floor wall contact point having the same x-coordinate as the barycentric coordinate of the block number N. FIG. 35 is a diagram in which the boundary 27 of FIG. 34 is superimposed on the thermal labeling image of FIG. 32, and the y-coordinate of the floor wall contact having the same x-coordinate as the barycentric coordinate of the block number N is shown below.
[Table 15]

[0139]
Next, the process proceeds to step S316, and it is determined whether or not a value obtained by adding a preset threshold value F to the y barycentric coordinate of the block number N is smaller than the y coordinate of the floor wall contact calculated in step S315. If it is smaller than the y-coordinate of the floor wall contact point, steps S317 and S318 described later are skipped, and the process proceeds to step S319. Otherwise, the process proceeds to step S317.
[0140]
In this example, since the threshold value F is set to 3 as a statistical value based on a thermal image measured in an enormous real home TV viewing environment, the process proceeds to step S319 in the case of the block number 1 and proceeds to step S319. In this case, the process proceeds to step S317. It should be noted that the threshold value F is not invariable, but the countable range in the horizontal and vertical directions of the viewer number counting device 13 (FIGS. 28 and 29), the number of pixels in the horizontal and vertical directions of the thermal image, and the number of viewers The height SENSOR from the floor of the room of the device 13 (FIGS. 28 and 29) The value fluctuates according to H.
[0141]
In step S317, the maximum y coordinate of the block number N is calculated. Here, the maximum y coordinate of the block number N refers to the y coordinate of the pixel having the maximum y coordinate among the pixels included in the block number N. The calculation of the maximum y coordinate of the

block numbers

2 and 3 is shown below.
[Table 16]

[0142]
Next, in step S318, it is determined whether the maximum y coordinate of the block number N is smaller than the y coordinate of the floor wall contact point calculated in step S315. If it is smaller than the y coordinate of the floor wall contact point, the process proceeds to step S319, otherwise, the process skips step S319 and proceeds to step S320.
[0143]
When the process proceeds to step S319 after the end of step S316 or S318, the number of block numbers N (block number 1 in this example) is newly set to 0. In this example, as a statistical judgment based on thermal images measured in a huge real home TV viewing environment, if the heat source of the block is a person, it should not be floating in the air but exist near the floor, so the block If the center of gravity exists to some extent above the floor wall contact, the heat source pixel existing in the block is determined to indicate a heat source existing on a wall other than a person. Also in other cases, when the maximum y coordinate of the block is above the floor wall contact point, it is determined that the heat source pixel existing in the block indicates a heat source existing on the wall other than the person. Note that these determinations are not invariable, but change according to the horizontal and vertical countable ranges of the viewer number counting device 13 (FIGS. 28 and 29) and the number of horizontal and vertical pixels of the thermal image. It is a judgment to make.
[0144]
When the process proceeds to step S320 after the end of step S313, S318 or S319, it is determined whether or not the number of people has been calculated for all blocks. If it is determined that the calculation has been performed, this routine ends. If it is determined that the calculation has not been performed, the process proceeds to step S321, where 1 is added to the block number N, and the process returns to step S313. The number of people in the block newly calculated in this example is shown below.
[Table 17]

[0145]
As described above, according to the third embodiment, it is determined whether or not the heat source of the block is a person based on the barycentric coordinates of the block in which the person is determined to be present, and the person in the TV viewer area in the room is determined. Since each is counted, the number of people can be accurately counted even when a heat source such as a hot air heater is present on the wall or when the vicinity of the window is heated by sunlight.
[0146]
FIG. 36 is a block diagram of a viewer number counting apparatus for implementing a fourth embodiment of the thermal image counting method according to the present invention. This apparatus includes a thermal image measuring unit 1, a heat source pixel extracting unit 2, a pixel number person determining unit 3, and a specific region person for determining whether each pixel of the thermal image belongs to a region where no person exists in advance. The system includes a determination unit 30 and a viewer number calculation unit 6 that calculates the number of viewers.
[0147]
If an area where a person cannot exist in advance exists in the television viewer area and the temperature of the area where a person cannot exist in advance is about the same as the temperature of the person, it is difficult to distinguish the heat source from the person. It becomes. For example, this corresponds to a case where a personal computer exists in the television viewer area and the temperature of the personal computer is almost the same as that of a person. Further, since the number of pixels of the block indicating the presence of the personal computer is substantially the same as the number of pixels of the block indicating the presence of a person, it is more difficult to determine whether a person exists in the block. In this example, a case is considered in which an object such as a personal computer having a temperature similar to that of a person exists in the television viewer area.
[0148]
The definition of the coordinate axes of the indoor TV viewer area and the measured thermal image in this example is the same as in the above embodiment, but the TV viewer area includes the television 7 and the sofa as shown in FIG. There are

persons

31 and 32 sitting and watching the television 7 and a personal computer 33.
[0149]
The operation of the fourth embodiment of the thermal image counting method according to the present invention will be described.
FIG. 38 is a flowchart illustrating a processing procedure according to the fourth embodiment. In this routine, first, in step S401, it is determined whether or not the thermal image measurement unit 1 (FIG. 36) has received a television viewer counting start signal from the setting device. If the television viewer number counting start signal has been received, the process proceeds to step S402, and if not received, the present routine ends.
[0150]
In Step S402, the thermal image of the television viewer area shown in FIG. 37 is measured by the thermal image measurement unit 1 (FIG. 36). FIG. 39 shows the thermal image measured in step S402. After the thermal image measurement (Step S402), the process proceeds to Step S403.
[0151]
In step S403, the heat source pixel extraction unit 2 (FIG. 36) determines pixels having a relatively high temperature among the pixels in the thermal image as heat source pixels, and extracts these heat source pixels. In extracting a heat source pixel, an average value of the Y axis in the thermal image is obtained, a background image is generated, and binarization is performed to generate a heat source pixel. When these heat source pixels are adjacent to each other, the same label different from the heat source pixels of the other blocks is added to each of the heat source pixels, so that this area is extracted as a block. The detailed operation of step S403 is as already described in detail with reference to FIGS.
Also in this example, the heat source pixel is determined for each pixel group having the same y coordinate.
[0152]
FIG. 40 is a diagram showing a thermal labeling image of the thermal image of FIG. Since the creation of such a thermal labeling image has already been described in step S116 of FIG. 8, it will not be described in detail here. The result of calculating the number of individual blocks from the thermal labeling image of FIG. 40 is shown below.
[Table 18]

40 correspond to the personal computer 33 and the

persons

31 and 32 in FIG. 37, respectively.
[0153]
After the block extraction (step S403), the process proceeds to step S404, where it is determined whether or not a person exists in each block by the pixel number person determination unit 3 (FIG. 36). Calculate the number of people for each. The detailed operation of step S404 is as already described in detail with reference to FIG.
[0154]
Also in this example, whether or not a person exists is determined based on the number of pixels in the block, and the number of pixels corresponding to the distance from the viewer number counting device 13 (FIG. 37) to the heat source is considered.
[0155]
After determining whether or not a person is present in the block (step S404), the process proceeds to step S405, where the barycentric coordinates of the block determined as having a person are calculated, and the number of persons in the block is counted based on the barycentric coordinates. I do. The detailed operation of step S405 will be described later in detail with reference to FIG.
[0156]
Accordingly, even when it is determined that a person exists in an area where a person cannot exist in advance, the number of persons in the indoor TV viewer area can be accurately counted.
[0157]
After counting the number of persons based on the barycenter coordinates of the block (step S405), the process proceeds to step S406, and the number of persons in the block counted by the pixel number person determination unit 3 and the specific area person determination unit 30 (FIG. 36) is calculated. The total number of persons in the TV viewer area in the room is counted by summing the number of persons in the TV viewer area of FIG. Thereafter, this number is output to the viewer number counting device 13 (FIG. 37) (step S407), and the present routine ends.
[0158]
FIG. 41 is a flowchart showing a process of calculating the barycentric coordinates of the block determined to have a person and newly determining whether or not a person exists in the block based on the barycentric coordinates. Corresponds to step S405. In this control routine, first, in step S411, it is calculated whether each pixel in the thermal image measured in step S402 in FIG. 38 belongs to an area where a person cannot exist in advance. FIG. 42 is a diagram illustrating an area where a person cannot exist in advance calculated with respect to the thermal image of FIG. 39, and an area where a person cannot exist in advance is indicated by oblique lines.
[0159]
Next, the process proceeds to step S412, where the block number N is initially set to 1, and then the process proceeds to step S413.
[0160]
In step S413, it is determined whether or not the number of block numbers N is one or more. If it is determined that the number is one or more, the process proceeds to step S414. If it is determined that the number is less than one, the process skips steps S414 to S416 described later and proceeds to step S417. In this example, in the case of the block numbers 1 to 3, since there is one or more persons as shown in [Table 18], the process proceeds to step S414.
[0161]
In step S414, the barycentric coordinates of the block number N are calculated based on [Equation 2]. The calculated barycentric coordinates of the block numbers 1 to 3 of this example are shown below.
[Table 19]

[0162]
After calculating the barycentric coordinates in step S414, the process proceeds to step S415, and it is determined whether or not these barycentric coordinates exist in an area where a person cannot exist in advance. If the person exists in the region where the person cannot exist in advance, the process proceeds to step S416. If the person does not exist in the region where the person cannot exist in advance, the process skips step S416 and proceeds to step S417. In this example, in the case of the block number 1, the process proceeds to step S416, and in the case of the

block numbers

2 and 3, the process proceeds to step S417.
[0163]
In step S416, the number of persons of the block number N (block number 1 in this example) is newly set to 0. In this example, since the personal computer 33 is arranged in the television viewer area as shown in FIG. 37, an area where no person can be previously shown as hatched in FIG. 42 is obtained. It should be noted that the region where the person cannot exist in advance is not invariable, but the horizontal and vertical countable ranges of the viewer number counting device 13 (FIG. 37), the number of horizontal and vertical pixels of the thermal image, and This is an area that changes according to the indoor environment.
[0164]
When the process proceeds to step S417 after the end of step S413, S415 or S416, it is determined whether or not the number of people has been calculated for all blocks. If it is determined that the calculation has been performed, this routine ends. If it is determined that the calculation has not been performed, the process proceeds to step S418, where 1 is added to the block number N and then returns to step S413. The number of people in the block newly calculated in this example is shown below.
[Table 20]

[0165]
As described above, according to the fourth embodiment, when the center of gravity of a block determined to include a person is present in an area where a person cannot exist in advance, the number of persons in the block is set to zero, and indoor TV viewing is performed. Since the number of persons in the viewer area is counted, even if an object such as a personal computer, whose number of pixels in the thermal image and the temperature are similar to that of the person, exists in the TV viewer area, the number of persons must be accurately counted. Can be.
[0166]
FIG. 43 is a block diagram of a viewer number counting apparatus for implementing a fifth embodiment of the thermal image counting method according to the present invention. This apparatus includes a thermal image measuring unit 1, a heat source pixel extracting unit 2, a pixel number person determining unit 3, and a maximum temperature of a block determined to include a person and a distance from a position immediately below a measurement position of the thermal image to the block. And a distance temperature person discriminating unit 34 for discriminating whether or not a person exists in the block based on the number of viewers, and a viewer number calculating unit 6 for calculating the number of viewers.
[0167]
When a heat source, such as a personal computer, which has a temperature slightly higher than that of a person but lower than that of a heater is present in the television viewer area, it is difficult to distinguish this from a person. This example considers the case where such a heat source exists in the television viewer area.
[0168]
In this example, the definition of the coordinate axes of the indoor TV viewer area and the measured thermal image is the same as that of the above-described embodiment, but the TV viewer area includes the TV 7 and the sofa as shown in FIG. There are

persons

35 and 36 who are sitting and watching the television 7 and a personal computer 37 whose temperature is slightly higher than that of the person but lower than the temperature of the heater.
[0169]
The operation of the fifth embodiment of the thermal image counting method according to the present invention will be described.
FIG. 45 is a flowchart illustrating a processing procedure according to the fifth embodiment. In this control routine, first, in step S501, it is determined whether or not the thermal image measurement unit 1 (FIG. 43) has received a television viewer number counting start signal from the setting device. If the television viewer number counting start signal has been received, the process proceeds to step S502, and if not received, the control routine ends.
[0170]
In step S502, the thermal image of the television viewer area shown in FIG. 44 is measured by the thermal image measurement unit 1 (FIG. 43). FIG. 46 shows the thermal image measured in step S502. After the thermal image measurement (Step S502), the process proceeds to Step S503.
[0171]
In step S503, the heat source pixel extraction unit 2 (FIG. 43) determines a pixel having a relatively high temperature among the pixels in the thermal image as a heat source pixel, and extracts each of these heat source pixels. In extracting a heat source pixel, an average value of the Y axis in the thermal image is obtained, a background image is generated, and binarization is performed to generate a heat source pixel. When these heat source pixels are adjacent to each other, the same label different from the heat source pixels of the other blocks is added to each of the heat source pixels, so that this area is extracted as a block. The detailed operation of step S503 is as already described in detail with reference to FIGS.
Also in this example, the heat source pixel is determined for each pixel group having the same y coordinate.
[0172]
FIG. 47 is a diagram showing a thermal labeling image of the thermal image of FIG. Since the creation of such a thermal labeling image has already been described in step S116 of FIG. 8, it will not be described in detail here. The calculation of the number of individual blocks from the thermal labeling image of FIG. 47 is shown below.
[Table 21]

The

block numbers

1, 2, and 3 in FIG. 47 correspond to the personal computer 37 and the

persons

35 and 36 in FIG. 44, respectively.
[0173]
After the block extraction (step S503), the process proceeds to step S504, where it is determined whether or not a person exists in each block by the pixel number person determination unit 3 (FIG. 43). Calculate the number of people for each. The detailed operation of step S504 is as already described in detail with reference to FIG.
[0174]
Also in this example, whether or not a person is present is determined based on the number of pixels in the block, and the number of pixels corresponding to the distance from the viewer number counting device 13 (FIG. 44) to the heat source is considered.
[0175]
After determining whether or not a person is present in the block (step S504), the process proceeds to step S505, in which the maximum temperature of the pixel of the block determined as having the person and the distance from the block immediately below the measurement position of the thermal image to the block. Based on this, it is determined whether or not a person exists in the block, and the number of persons in the block is counted. The detailed operation of step S505 will be described later in detail with reference to FIG.
[0176]
Thus, when a heat source, such as a personal computer, having a temperature slightly higher than that of a person but lower than that of a heating device is present in the television viewer area, it is determined that the user is not a person, and the number of persons in the indoor television viewer area is determined. Accurate counting is possible.
[0177]
After counting the number of persons based on the maximum temperature of the pixels in the block and the distance from immediately below the measurement position of the thermal image to the block (step S505), the process proceeds to step S506, where the number-of-pixels person determination unit 3 and the distance-temperature person determination unit The total number of persons in the block counted by 34 (FIG. 43) is summed up by the number-of-viewers calculating unit 6 (FIG. 43), thereby counting the number of persons in the TV viewer area in the room. Thereafter, this number is output to the viewer number counting device 13 (FIG. 44) (step S507), and this routine ends.
[0178]
FIG. 48 is a flowchart showing a process of calculating the number of persons in the block based on the maximum temperature of the block determined to include a person and the distance from immediately below the measurement position of the thermal image to the block. Is equivalent to In this routine, first, in step S511, the block number N is initialized to 1 and then the process proceeds to step S512.
[0179]
In step S512, it is determined whether or not the number of block numbers N is one or more. When it is determined that the number is one or more, the process proceeds to step S513, and when it is determined that the number is less than one, steps S513 to S516 described below are skipped and the process proceeds to step S517. In this example, in the case of the block numbers 1 to 3, since there is at least one person as shown in [Table 21], the process proceeds to step S513.
[0180]
In step S513, the maximum temperature of the pixel included in the block number N is calculated. The method for calculating the maximum temperature is the same as that in step S143 in FIG.
[0181]
Next, the process proceeds to step S514, where the distance from immediately below the viewer number counting device 13 (FIG. 44) to the block number N is calculated. Here, the distance from directly below the number-of-viewers counting device 13 (FIG. 44) to the block number N refers to the distance from directly below the number-of-viewers counting device 13 (FIG. 44) to the maximum y coordinate of the block number N. This distance depends on the shape of the room (ROOM in FIG. 44). X and ROOM Y value) and the position (SENSOR) of the viewer counting device 13 (FIG. 44). Value of X (FIG. 44) and height SENSOR H value) by geometric calculation.
[0182]
In this example, assuming that the distance from immediately below the viewer number counting device 13 (FIG. 44) to the block number N is DISTANCE,
(Equation 5)

It becomes. Here, uy is the measurement range of one pixel in the y direction (8 ° / pixel), Y is the maximum y coordinate, and in this example, SENSOR Let H be 200 cm.
[0183]
The maximum temperatures and distances calculated in steps S513 and S514 are shown below.
[Table 22]

[0184]
In step S515, it is determined whether or not the distance is greater than a preset threshold G and the maximum temperature is greater than a preset threshold H. If it is larger than the threshold value G and larger than the threshold value H, the process proceeds to step S516; otherwise, the process skips step S516 and proceeds to step S517. In this example, in the case of the block number 1, the process proceeds to step S516, and in the case of the

block numbers

2 and 3, the process proceeds to step S517.
[0185]
In this example, as a statistical judgment based on thermal images measured in an enormous real home TV viewing environment, a heat source with a certain high temperature despite a certain distance, Judge as a heat source. In this example, the threshold value G is set to 200 and the threshold value H is set to 30 as a statistical value based on a thermal image measured in an enormous real home television viewing environment. It should be noted that these thresholds G and H are not invariable, but can be counted in the horizontal and vertical directions by the viewer counting device 13 (FIG. 44), the number of horizontal and vertical pixels of the thermal image, the viewer count. The height SENSOR from the floor of the room of the device 13 (FIG. 44) It is a value that varies according to H and the average value and standard deviation of the pixels in the thermal image.
[0186]
In step S516, the number of persons of the block number N (block number 1 in this example) is newly set to 0, and the process proceeds to step S517.
[0187]
When the process proceeds to step S517 after the end of step S512, S515 or S516, it is determined whether or not the number of people has been calculated for all blocks. If it is determined that the calculation has been performed, this routine ends. If it is determined that the calculation has not been performed, the process proceeds to step S518, where 1 is added to the block number N, and the process returns to step S512. The number of people in the block newly calculated in this example is shown below.
[Table 23]

[0188]
As described above, according to the fifth embodiment, when a heat source, such as a personal computer, having a temperature slightly higher than that of a person but lower than that of a heater is present in the television viewer area, it is determined that the person is not a person. Thus, the number of persons in the television viewer area can be accurately counted.
[0189]
FIG. 49 is a block diagram of a viewer number counting apparatus for implementing a sixth embodiment of the thermal image counting method according to the present invention. The apparatus includes a thermal image measuring unit 1, a heat source pixel extracting unit 2, a pixel number person determining unit 3, a neighboring room number counting unit 38 for determining a person located at a certain distance from the counting position such as a neighboring room. And a viewer number calculation unit 6 for calculating the number of viewers.
[0190]
When a person exists at a position distant from the counting position to some extent, such as in an adjacent room, the number of pixels of the heat source pixels representing the person in the block is only a few pixels because the distance is far from the counting position. It is difficult to determine. This example considers the case where a person exists at a position that is somewhat distant from the counting position, such as a next room.
[0191]
The definition of the coordinate axes of the indoor TV viewer area and the measured thermal image in this example is the same as in the above embodiment, but the TV viewer area includes the TV 7 and the sofa as shown in FIG. There are

persons

39, 40, 41, and 42 who are sitting and watching the television 7, and the

persons

41 and 42 exist in the adjacent room viewing area 43.
[0192]
The operation of the sixth embodiment of the method for counting the number of people using a thermal image according to the present invention will be described.
FIG. 51 is a flowchart illustrating the processing procedure of the sixth embodiment. In this routine, first, in step S601, it is determined whether or not the thermal image measurement unit 1 (FIG. 49) has received a television viewer number counting start signal from the setting device. If a television viewer number counting start signal has been received, the process proceeds to step S602; otherwise, the present routine ends.
[0193]
In step S602, the thermal image of the television viewer area shown in FIG. 50 is measured by the thermal image measurement unit 1 (FIG. 49). FIG. 52 shows the thermal image measured in step S602. After the thermal image measurement (Step S602), the process proceeds to Step S603.
[0194]
In step S603, the heat source pixel extraction unit 2 (FIG. 49) determines a pixel having a relatively high temperature among the pixels in the thermal image as a heat source pixel, and extracts each of the heat source pixels. In extracting the heat source pixels, the average value of the Y-axis in the thermal image is obtained, and the background image is quickly stopped and binarized to generate the heat source pixels. When these heat source pixels are adjacent to each other, the same label different from the heat source pixels of the other blocks is added to each of the heat source pixels, so that this area is extracted as a block. The detailed operation of step S603 is as already described in detail with reference to FIGS.
Also in this example, the heat source pixel is determined for each pixel group having the same y coordinate.
[0195]
FIG. 53 is a diagram showing a thermal labeling image of the thermal image of FIG. Since the creation of such a thermal labeling image has already been described in step S116 of FIG. 8, it will not be described in detail here. A calculation of the number of individual blocks from the thermal labeling image of FIG. 53 is shown below.
[Table 24]

The

block numbers

1, 2, 3, and 4 in FIG. 53 correspond to the

persons

41, 42, 40, and 39 in FIG. 50, respectively. Has been determined.
[0196]
After the block extraction (step S603), the process proceeds to step S604, where it is determined whether or not a person exists in each block by the pixel number person determination unit 3 (FIG. 49). Calculate the number of people for each. Note that the detailed operation of step S604 is as already described in detail with reference to FIG.
[0197]
Also in this example, whether or not a person is present is determined based on the number of pixels in the block, and the number of pixels corresponding to the distance from the viewer counting device 13 (FIG. 50) to the heat source is considered.
[0198]
After determining whether or not a person is present in the block (step S604), the process proceeds to step S605, where the barycentric coordinates of the block determined to have the person are calculated based on [Equation 2] and set in advance. The number of persons is counted based on whether or not the barycentric coordinates exist in the adjacent room viewing area 43 (FIG. 50). The detailed operation of step S605 will be described later in detail with reference to FIG.
[0199]
Accordingly, even when a person exists at a position distant from the counting position to some extent, such as in an adjacent room, the number of persons in the TV viewer area in the room can be accurately counted.
[0200]
After counting the number of persons based on whether or not the barycentric coordinates of the block exist in the preset adjacent room viewing area 43 (FIG. 50) (step S605), the process proceeds to step S606, and the pixel number person determination unit 3 and the adjacent room The number of persons in the block counted by the number of persons counting section 38 (FIG. 49) is summed up by the number-of-viewers calculating section 6 (FIG. 50) as the number of persons in the indoor TV viewer area, thereby obtaining the number of persons in the indoor TV viewer area. Count the number of people. After that, this number is output to the viewer number counting device 13 (FIG. 49) (step S607), and this routine ends.
[0201]
FIG. 54 is a flowchart illustrating a process of determining whether or not a person exists in the next room, and corresponds to step S605 in FIG. In this routine, first, in step S611, a block in which the barycentric coordinates exist in the preset adjacent room viewing area 43 (FIG. 50) is deleted. In this example, the adjacent room viewing area 43 shown in FIG. 50 and the adjacent room viewing area shown by hatching in FIG. 55 are set in advance. Comparing FIG. 53 with FIG. 55, since the barycenter coordinates of the

block numbers

1 and 2 are included in the adjacent room viewing area, the

block numbers

1 and 2 are deleted.
[0202]
Next, the process proceeds to step S612, in which the maximum temperature of the pixels included in the adjacent room viewing area (the shaded area in FIG. 55) is measured. FIG. 56 is a diagram showing the temperature of the pixel in the adjacent room viewing area of FIG. 55, and the maximum temperature is 24.8 of the pixel surrounded by the bold frame.
[0203]
Next, the process proceeds to step S613, where a binary image of the adjacent room viewing area (the hatched portion in FIG. 55) is created. In this example, as shown in FIG. 57, a pixel having a temperature higher than a value obtained by subtracting a preset threshold value I from the maximum temperature (24.8) of the pixel in the adjacent room viewing area is set to 1, and the others are blank.
[0204]
In this example, the threshold value I is set to 2.0 as a statistical value based on thermal images measured in an enormous real home television viewing environment. Note that the threshold value I is not invariable, but a value that varies according to the average value and the standard deviation of the pixels in the thermal image and the size of the adjacent room viewing area.
[0205]
Next, the process proceeds to step S614, where a thermal labeling image of the binary image of FIG. 57 is created. Since the creation of such a thermal labeling image has already been described in step S118 of FIG. 8, it will not be described in detail here. FIG. 58 shows a thermal labeling image of a pixel in the adjacent room viewing area in FIG.
[0206]
Next, the process proceeds to step S615, where the number of persons in the adjacent room viewing area (the hatched portion in FIG. 55) is set as the maximum number of temperatures in the adjacent room viewing area. The maximum number of temperature values in the adjacent room viewing area is the number of locally high temperature portions when referring to the temperature distribution of the pixels included in the adjacent room viewing area, and is the same as the number of labels added in step S614. In this example, 2 of the number of labels added in step S614 becomes the number of people in the adjacent room viewing area, and this routine ends.
The number of persons in each block newly obtained by this routine is shown below.
[Table 25]

In [Table 25], the

block numbers

1 and 2 are deleted in step S611, and the block number 6 representing the adjacent room viewing area is newly set in step S615, and the number of persons is set to 2.
[0207]
As described above, according to the sixth embodiment, it is possible to accurately count the number of persons in the TV viewer area in a room even when a person is present at a position distant from the counting position to some extent, such as in an adjacent room.
[Brief description of the drawings]
FIG. 1 is a block diagram of an apparatus for executing a first embodiment of a thermal image counting method according to the present invention.
FIG. 2 is a top view of a television viewer area measured according to the first embodiment.
FIG. 3 is a side view of a television viewer area measured according to the first embodiment.
FIG. 4 is a coordinate axis definition diagram of a thermal image measured according to the present invention.
FIG. 5 is a diagram showing an example of a thermal image measured according to the present invention.
FIG. 6 is a flowchart illustrating a processing procedure according to the first embodiment.
FIG. 7 is a thermal image measured in the first embodiment.
FIG. 8 is a flowchart illustrating a process of extracting a heat source pixel.
FIG. 9 is an image obtained by removing pixels having a temperature higher than the average temperature value of the pixel group from the thermal image of FIG. 5;
FIG. 10 is a diagram showing a background image of the thermal image of FIG. 7;
11 is a diagram illustrating a result obtained by subtracting the temperature of the thermal image of FIG. 10 for each pixel from the temperature of the thermal image of FIG. 7;
FIG. 12 is a diagram showing a binary image of the thermal image of FIG. 7;
FIG. 13 is a view showing a thermal labeling image of the thermal image of FIG. 7;
FIG. 14 is a flowchart illustrating a process of determining whether a person exists based on the number of pixels in a block.
FIG. 15 is a flowchart showing a process of newly determining whether or not a person is present in a block based on a temperature maximum value in the block where it is determined that a person is present.
FIG. 16 is an image showing only the temperatures of the pixels included in block number 1 of the thermal image of FIG. 7;
FIG. 17 is a diagram showing a binary image of the thermal image of FIG.
18 is a diagram showing a thermal labeling image of the thermal image of FIG.
FIG. 19 is a flowchart illustrating a process of setting the number of persons in a block to zero when the maximum temperature of a block determined to include a person is equal to or higher than a predetermined temperature.
FIG. 20 is an image showing only the temperatures of pixels included in block numbers 1 to 3 of the thermal image of FIG. 7;
FIG. 21 is a block diagram of a viewer number counting apparatus which implements a second embodiment of the method for counting the number of people using a thermal image according to the present invention.
FIG. 22 is a top view of a television viewer area measured according to the second embodiment.
FIG. 23 is a flowchart illustrating a processing procedure according to the second embodiment.
FIG. 24 is a thermal image measured in the second example.
FIG. 25 is a view showing a thermal labeling image of the thermal image of FIG. 24;
FIG. 26 is a flowchart illustrating a process of newly determining whether or not a person is present in a block based on the vertical width of the block in which it is determined that the person is present.
FIG. 27 is a block diagram of a viewer counting device for implementing a third embodiment of the thermal image counting method according to the present invention.
FIG. 28 is a top view of a television viewer area measured according to the third embodiment.
FIG. 29 is a side view of a television viewer area measured according to the third embodiment.
FIG. 30 is a flowchart illustrating a processing procedure according to the third embodiment.
FIG. 31 is a thermal image measured in the third example.
FIG. 32 is a view showing a thermal labeling image of the thermal image of FIG. 31.
FIG. 33 is a flowchart showing a process of calculating the coordinates of the center of gravity of a block determined to include a person.
FIG. 34 is a diagram showing pixels belonging to the wall and pixels belonging to the floor of the thermal image of the television viewer area shown in FIGS. 28 and 29.
FIG. 35 is a diagram in which a boundary 27 of FIG. 34 is superimposed on the thermal labeling image of FIG. 32;
FIG. 36 is a block diagram of a viewer number counting apparatus which implements a fourth embodiment of a method for counting the number of people using a thermal image according to the present invention.
FIG. 37 is a top view of a television viewer area measured according to the fourth embodiment.
FIG. 38 is a flowchart showing a processing procedure of the fourth embodiment.
FIG. 39 is a thermal image measured in the fourth example.
40 is a diagram showing a thermal labeling image of the thermal image of FIG. 39.
FIG. 41 is a flowchart illustrating a process of newly determining whether or not a person exists in a block based on the barycentric coordinates of the block in which the person is determined to be present in the specific area person determination unit.
42 is a diagram showing an area where a person calculated for the thermal image of FIG. 39 does not exist in advance.
FIG. 43 is a block diagram of a viewer number counting apparatus which implements a fifth embodiment of a method for counting the number of people using a thermal image according to the present invention.
FIG. 44 is a top view of a television viewer area measured according to the fifth embodiment.
FIG. 45 is a flowchart showing a processing procedure of the fifth embodiment.
FIG. 46 is a thermal image measured in the fifth example.
FIG. 47 is a diagram showing a thermal labeling image of the thermal image of FIG. 46.
FIG. 48 is a flowchart showing a process of determining whether or not a person exists based on the maximum temperature of the block and the distance from immediately below the measurement position of the thermal image to the block.
FIG. 49 is a block diagram of a viewer number counting apparatus which implements a sixth embodiment of a thermal image counting method according to the present invention.
FIG. 50 is a top view of a television viewer area measured according to the sixth embodiment.
FIG. 51 is a flowchart showing a processing procedure of the sixth embodiment.
FIG. 52 is a thermal image measured in the sixth example.
FIG. 53 is a view showing a thermal labeling image of the thermal image of FIG. 52.
FIG. 54 is a flowchart showing a process of determining whether or not a person exists in an adjacent room.
55 is a diagram showing an adjacent room viewing area calculated for the thermal image of FIG. 52.
FIG. 56 is a diagram showing the temperatures of the pixels in the adjacent room viewing area of FIG. 55.
FIG. 57 is a diagram showing a binary image of pixels in the adjacent room viewing area in FIG. 55.
58 is a diagram showing a thermal labeling image of a pixel in an adjacent room viewing area in FIG. 55.
[Explanation of symbols]
1 Thermal image measurement section
2 Heat source pixel extraction unit
3 Pixel number person discriminator
4 Temperature maximum value person discriminator
5 Highest temperature person identification section
6 viewer number calculation section
7 Television
8, 9, 10, 11, 15, 16, 17, 20, 21, 31, 32, 35, 36, 39, 40, 41, 42 people
12 stove
13 Viewer counting device
14 Vertical width person identification unit
18 Heat
19 Wall heat source discrimination unit
22, 24, 25 wall
23 Hot air heater
26 floors
27, 28, 29 border
30 Specific area person identification unit
33,37 Personal computer
34 Distance temperature person identification unit
38 Neighborhood Room Counting Department
43 Adjacent room viewing area

Claims

複数の画素から構成される室内の所定領域の熱画像を測定する熱画像測定工程と、
これら画素のうち相対的に温度が高い画素を熱源画素と判断し、この熱源画素が互いに隣接する区域をブロックとして抽出するブロック抽出工程と、
前記ブロックが人物か否かを判別して人数を算出することにより、前記室内の所定領域内の人数を計数する人物判別工程とを具え、
前記ブロック抽出工程は、
前記熱画像の画素の第１の温度平均値を算出する第１温度平均値算出工程と、
この温度平均値より高い温度の画素を除去した画像を作成する画像作成工程と、
この画像作成工程により作成した画像の第２の温度平均値を算出する第２温度平均値算出工程と、
この第２温度平均値に基づいて背景画像を作成する背景画像作成工程と、
前記熱画像から前記背景画像を減じて２値画像を作成する２値画像作成工程と、
この２値画像により前記ブロックを作成するブロック作成工程と、
同一の前記ブロック中の熱源画素にそれぞれ、他の前記ブロック中の熱源画素と相違する同一ラベルを付加する第１ラベル付加工程とを有することを特徴とする熱画像による人数計数方法。A thermal image measuring step of measuring a thermal image of a predetermined area in a room composed of a plurality of pixels,
A block extraction step of determining a pixel having a relatively high temperature among these pixels as a heat source pixel, and extracting an area where the heat source pixels are adjacent to each other as a block;
By calculating the number of people by determining whether the block is a person, a person determination step of counting the number of people in a predetermined area in the room ,
The block extraction step includes:
A first temperature average value calculating step of calculating a first temperature average value of the pixels of the thermal image;
An image creation step of creating an image from which pixels having a temperature higher than the temperature average value have been removed,
A second temperature average value calculating step of calculating a second temperature average value of the image created by the image creating step;
A background image creating step of creating a background image based on the second temperature average value;
A binary image creating step of subtracting the background image from the thermal image to create a binary image;
A block creation step of creating the block from the binary image;
A first label adding step of adding the same label different from the heat source pixels in the other blocks to the heat source pixels in the same block, respectively .

前記第１温度平均値算出工程、前記画像作成工程及び前記第２温度平均値算出工程を、前記熱画像の垂直方向の座標が同一である画素グループごとに行うことを特徴とする請求項１記載の熱画像による人数計数方法。It said first temperature average value calculation step, the image creating step and the second temperature averaging process, according to claim 1, wherein the vertical coordinates of the thermal image is characterized to be performed for each pixel group is the same Counting method by thermal image of the person.

前記背景画像を、前記熱画像の全画素の温度を前記第２温度平均値にそれぞれ置き換えた画素で構成した画像とすることを特徴とする請求項１記載の熱画像による人数計数方法。 2. The method according to claim 1, wherein the background image is an image constituted by pixels obtained by replacing the temperatures of all the pixels of the thermal image with the second temperature average .

前記人物判別工程は、
前記人物判別工程において人物が存在すると判別されたブロック中の画素数をそれぞれ算出する画素数算出工程と、
算出した画素数に基づいて前記ブロック中に人物が存在するか否かを判別して、前記室内の所定領域内の人物を計数する存在判別工程とを有することを特徴とする請求項１記載の熱画像による人数計数方法。 The person identification step includes:
A pixel number calculation step of calculating the number of pixels in a block in which a person is determined to be present in the person determination step,
2. An existence judging step of judging whether or not a person exists in the block based on the calculated number of pixels and counting the number of persons in a predetermined area in the room. Method of counting people by thermal image.

前記存在判別工程は、
前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、最小人物画素数及び最大人物画素数を前記ブロックの重心に基づいて設定する人物画素数設定工程と、
前記ブロック中の人数をそれぞれ、前記ブロック中の画素数が前記最小人物画素数より小さい場合には零とするとともに、前記最小人物画素数以上の場合には、前記ブロック中の画素数を前記最大人物画素数で除算し、その商の小数点以下を切り上げた値とすることにより、前記室内の所定領域内の人物を計数するブロック人数算出工程とを有することを特徴とする請求項４記載の熱画像による人数計数方法。The presence determination step includes:
For each of the blocks in which a person is determined to be present in the person determination step, a person pixel number setting step of setting a minimum person pixel number and a maximum person pixel number based on the center of gravity of the block,
When the number of pixels in the block is smaller than the minimum person pixel number, the number of pixels in the block is set to zero, and when the number of pixels in the block is equal to or larger than the minimum person pixel number, the number of pixels in the block is set to the maximum. 5. The block according to claim 4 , further comprising a block number calculation step of counting the number of persons in a predetermined area in the room by dividing the number of persons by the number of pixels and rounding up the quotient to a value after the decimal point. A method of counting people using images.

前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ温度極大値数を算出し、前記ブロック中の求めた温度極大値数を、前記人物判別工程で計数された人数の代わりに前記ブロック中の人数として、前記室内の所定領域の人数を計数する第１人数計数工程と具えることを特徴とする請求項１記載の熱画像による人数計数方法。The number of temperature maxima is calculated for each of the blocks in which a person is determined to be present in the person discriminating step, and the number of temperature maxima determined in the block is calculated in the block instead of the number of persons counted in the person discriminating step. as the number, people counting method according to claim 1, wherein the thermal image, characterized in that it comprises a first people counting step of counting the number of the indoor of a predetermined area.

前記第１人数計数工程は、
前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、前記ブロック中の画素の最高温度から第１の所定の値を減じた値と、前記ブロック中に含まれる画素の温度とをそれぞれ比較し、前記最高温度から前記第１の所定の値を減じた値より大きい画素の温度を前記温度極大値とする第１温度極大値判別工程を有することを特徴とする請求項６記載の熱画像による人数計数方法。 The first number counting step includes:
For each of the blocks for which it is determined that a person is present in the person determination step, a value obtained by subtracting a first predetermined value from the maximum temperature of the pixels in the block is compared with the temperature of the pixels included in the block. 7. The thermal image according to claim 6, further comprising a first temperature maximum value determining step of setting a temperature of a pixel larger than a value obtained by subtracting the first predetermined value from the maximum temperature as the temperature maximum value. Method for counting people.

前記第１温度極大値判別工程は、
前記温度極大値を有する画素にそれぞれ第１の所定の符号を付し、それ以外の画素にこの第１の所定の符号と相違する符号をそれぞれ付すことにより２符号画像を作成する第１の２符号画像作成工程と、
前記温度極大値を有する画素が４連結で互いに隣接する場合、これらの画素を一つのまとまりとして、他のまとまりとは異なる同一ラベルをこれら画素にそれぞれ付加する第２ラベル付加工程と、
前記同一ラベルの種類の数を前記温度極大値数とする第１温度極大値計数工程とを有することを特徴とする請求項７記載の熱画像による人数計数方法。The first temperature maximum value determining step includes:
A first two-code image is created by assigning a first predetermined code to each of the pixels having the temperature maximum value and a different code from the first predetermined code to each of the other pixels. Sign image creation process,
When the pixels having the temperature maximum value are adjacent to each other in four links, a second label adding step of setting these pixels as one unit and adding the same label different from the other units to these pixels,
8. The thermal image counting method according to claim 7 , further comprising a first temperature maximum value counting step of setting the number of types of the same label to the temperature maximum value number.

前記最高温度が所定の温度以上の場合には、前記ブロック中の人数を、前記第１人数計数工程で計数した人数の代わりに零として、前記室内の所定領域の人数を計数する第１ブロック人数零工程を具えることを特徴とする請求項７又は８記載の熱画像による人数計数方法。If the maximum temperature is equal to or higher than a predetermined temperature, the number of persons in the block is set to zero instead of the number of persons counted in the first number counting step, and the number of persons in a predetermined area in the room is counted. people counting method according to claim 7 or 8, wherein the thermal image, characterized in that it comprises a number zero process.

前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、前記ブロック中の画素の垂直方向の座標の最大値と最小値との差に１を加算した縦幅を算出し、この縦幅に基づいて前記ブロックそれぞれの人数を算出して、前記室内の所定領域中の人物をそれぞれ計数する縦幅人物判別工程を具えることを特徴とする請求項１記載の熱画像による人数計数方法。For each of the blocks in which a person is determined to be present in the person determination step, a vertical width is calculated by adding 1 to the difference between the maximum value and the minimum value of the vertical coordinates of the pixels in the block. based calculates the number of the block respectively, people counting method according to claim 1, wherein the thermal image, characterized in that it comprises a vertical width person determination step of counting each person in a predetermined area of said chamber.

前記縦幅人物判別工程は、
前記縦幅が第１の所定の値以下の場合には前記ブロック中の人数を零として、前記室内の所定領域の人数を計数する第２ブロック人数零工程と、
前記縦幅が所定の範囲内に存在するとともに、前記人物判別工程で前記ブロック中の人数が２人以上であると判別された場合には、前記人物判別工程で計数した人数から１を減算した人数を前記ブロック中の人数として、前記室内の所定領域の人数を計数する人数減算工程とを有することを特徴とする請求項１０記載の熱画像による人数計数方法。The vertical width person determination step,
When the vertical width is equal to or less than a first predetermined value, the number of persons in the block is set to zero, and a second block number zero step of counting the number of persons in a predetermined area in the room;
When the vertical width is within a predetermined range and the number of persons in the block is determined to be two or more in the person determination step, 1 is subtracted from the number counted in the person determination step. 11. The method according to claim 10 , further comprising a step of counting the number of persons in a predetermined area in the room by setting the number of persons as the number of persons in the block.

前記室内の所定領域の複数の画素を、前記室内の形状及び前記熱画像の測定位置に基づいて前記室内の壁に相当する画素と前記室内の床に相当する画素とに分類する画素分類工程と、
前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、前記ブロックの重心と水平方向の座標が同一である床壁接点の垂直方向の座標が、前記ブロックの重心の垂直方向の座標に所定の値を加算した値又は前記ブロックに含まれる画素の最大の垂直方向の座標より大きい場合には、前記ブロック中の人数を零として、前記室内の所定領域の人数を計数する第３ブロック人数零工程とを具えることを特徴とする請求項１１項に記載の熱画像による人数計数方法。A pixel classification step of classifying a plurality of pixels in a predetermined region in the room into pixels corresponding to the walls in the room and pixels corresponding to the floor in the room based on the shape of the room and the measurement position of the thermal image; ,
For each of the blocks determined to have a person in the person determination step, the vertical coordinates of the floor wall contact point having the same horizontal coordinates as the center of gravity of the block are set to the vertical coordinates of the center of gravity of the block. Is larger than the maximum vertical coordinate of a pixel included in the block, the number of persons in the block is set to zero, and the number of persons in the predetermined area in the room is counted. The method for counting the number of people by using a thermal image according to claim 11 , comprising a zero process.

前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、前記ブロックの重心が人物が予め存在しえない領域に存在する場合には、前記ブロック中の人数を零にして、前記室内の所定領域の人数を計数する第４ブロック人数零工程とを具えることを特徴とする請求項１記載の熱画像による人数計数方法。When the center of gravity of the block exists in an area where a person cannot exist in advance for each of the blocks determined to have a person in the person determination step, the number of persons in the block is set to zero, and a predetermined people counting method according to claim 1, wherein the thermal image, characterized in that it comprises a fourth block number zero step of counting the number of regions.

前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、前記ブロック中の画素の最高温度が第３の所定の値より高く、かつ、前記熱画像の測定位置の直下から前記ブロックまでの距離が第４の所定の値より大きい場合には、前記ブロック中の人数を零として、前記室内の所定領域の人数を計数する第５ブロック人数零工程を具えることを特徴とする請求項１記載の熱画像による人数計数方法。For each of the blocks in which a person is determined to be present in the person determination step, the maximum temperature of the pixel in the block is higher than a third predetermined value, and the distance from immediately below the measurement position of the thermal image to the block claim 1 but is greater than a fourth predetermined value, the zero number in the block, characterized in that it comprises a fifth block number zero step of counting the number of the indoor of a predetermined area A method for counting the number of people using the described thermal image.

前記人物判別工程において人物が存在すると判別されたブロックが、前記熱画像の測定位置から所定の距離離れた人物が存在しうる領域に存在する場合、前記ブロック中の人数を零にする第６ブロック人数零工程と、
この第６ブロック人数零工程で人数を零にしたブロック中の温度極大値を求め、このようにして求めた温度極大値数を、前記熱画像の測定位置から所定の距離離れた人物が存在しうる領域の人数として、前記室内の所定領域の人数を計数する第２人数計数工程と具えることを特徴とする請求項１記載の熱画像による人数計数方法。A sixth block for setting the number of persons in the block to zero when the block determined to be a person in the person determination step exists in an area where a person at a predetermined distance from the measurement position of the thermal image may exist. Zero work process,
The temperature maximum value in the block where the number of people is reduced to zero in the sixth block number zeroing step is determined, and the number of temperature maximum values determined in this manner is determined by the presence of a person at a predetermined distance from the measurement position of the thermal image. as the number of regions that may be, people counting method according to claim 1, wherein the thermal image, characterized in that it comprises a second number counting step of counting the number of the indoor of a predetermined area.

前記第２人数計数工程は、
前記熱画像の測定位置から所定の距離離れた人物が存在しうる領域について、前記ブロック中の画素の最大温度から第５の所定の値を減じた値と、前記存在判別工程において人物が存在すると判別されたブロック中に含まれる画素の温度とそれぞれを比較し、前記最高温度から前記第５の所定の値を減じた値より大きい画素の温度を前記温度極大値とする第２温度極大値判別工程を有することを特徴とする請求項１５記載の熱画像による人数計数方法。The second number counting step includes:
For a region where a person separated by a predetermined distance from the measurement position of the thermal image may exist, a value obtained by subtracting a fifth predetermined value from the maximum temperature of the pixels in the block, and a person is present in the presence determination step Comparing the temperatures of the pixels included in the determined block with the temperatures of the pixels, and determining a temperature of a pixel that is greater than a value obtained by subtracting the fifth predetermined value from the maximum temperature as the temperature maximum value; The method for counting the number of people by a thermal image according to claim 15 , comprising a step.

前記第２温度極大値判別工程は、
前記温度極大値を有する画素にそれぞれ第２の所定の符号を付し、それ以外の画素にこの第２の所定の符号と相違する符号をそれぞれ付すことにより２符号画像を作成する第２の２符号画像作成工程と、
前記温度極大値を有する画素が４連結で互いに隣接する場合、これらの画素を一つのまとまりとして、他のまとまりとは異なる同一ラベルをこれら画素にそれぞれ付加する第３ラベル付加工程と、
前記同一ラベルの種類の数を前記温度極大値数とする第２温度極大値計数工程とを有することを特徴とする請求項１６記載の熱画像による人数計数方法。The second temperature maximum value determining step includes:
A second code for creating a two-code image by assigning a second predetermined code to each of the pixels having the temperature maximum value and a code different from the second predetermined code to each of the other pixels. Sign image creation process,
When the pixels having the temperature maximum value are adjacent to each other in four links, a third label adding step of adding these pixels to one group and adding the same label different from other groups to these pixels,
The method according to claim 16, further comprising a second temperature maximum value counting step of setting the number of types of the same label to the temperature maximum value number.