JP7217058B2 - 1つまたは複数のサーモグラフィカメラおよび1つまたは複数のrgb-dセンサを使用して構築空間内の1人または複数の人間の居住者の存在をリアルタイムで検出し、熱的快適性を推定すること - Google Patents
1つまたは複数のサーモグラフィカメラおよび1つまたは複数のrgb-dセンサを使用して構築空間内の1人または複数の人間の居住者の存在をリアルタイムで検出し、熱的快適性を推定すること Download PDFInfo
- Publication number
- JP7217058B2 JP7217058B2 JP2021540410A JP2021540410A JP7217058B2 JP 7217058 B2 JP7217058 B2 JP 7217058B2 JP 2021540410 A JP2021540410 A JP 2021540410A JP 2021540410 A JP2021540410 A JP 2021540410A JP 7217058 B2 JP7217058 B2 JP 7217058B2
- Authority
- JP
- Japan
- Prior art keywords
- rgb
- human
- thermal
- capturing
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 105
- 230000001815 facial effect Effects 0.000 claims description 54
- 238000010438 heat treatment Methods 0.000 claims description 15
- 238000004378 air conditioning Methods 0.000 claims description 8
- 238000001931 thermography Methods 0.000 claims description 8
- 238000009423 ventilation Methods 0.000 claims description 8
- 230000007935 neutral effect Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims 2
- 241000282412 Homo Species 0.000 claims 1
- 238000013500 data storage Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 13
- 238000009529 body temperature measurement Methods 0.000 description 12
- 238000001816 cooling Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000007637 random forest analysis Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 4
- 229910052782 aluminium Inorganic materials 0.000 description 4
- 239000011888 foil Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 229920002554 vinyl polymer Polymers 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 201000003373 familial cold autoinflammatory syndrome 3 Diseases 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000003467 cheek Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- ORTYMGHCFWKXHO-UHFFFAOYSA-N diethadione Chemical compound CCC1(CC)COC(=O)NC1=O ORTYMGHCFWKXHO-UHFFFAOYSA-N 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 208000008842 sick building syndrome Diseases 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000008542 thermal sensitivity Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
- F24F11/63—Electronic processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
- B60H1/00—Heating, cooling or ventilating [HVAC] devices
- B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
- B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
- B60H1/00742—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by detection of the vehicle occupants' presence; by detection of conditions relating to the body of occupants, e.g. using radiant heat detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F2120/00—Control inputs relating to users or occupants
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F2120/00—Control inputs relating to users or occupants
- F24F2120/10—Occupancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Mathematical Physics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Fuzzy Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Human Computer Interaction (AREA)
- Thermal Sciences (AREA)
- Radiation Pyrometers (AREA)
- Air-Conditioning For Vehicles (AREA)
- Air Conditioning Control Device (AREA)
- Geophysics And Detection Of Objects (AREA)
Description
本明細書に記載の1つまたは複数の発明は、全米科学財団(NSF)によって授与された助成金第1407908号、第1349921号、および第1804321号の下で政府の支援を受けてなされた。政府は、本発明の1つまたは複数に一定の権利を有し得る。
本開示は、様々な構築空間内の個人の熱的快適性の評価に関し、より詳細には、構築空間内の暖房、換気、および空調(HVAC)システムを制御する目的で熱的快適性を評価することに関する。
本開示の一態様によれば、構築空間内の1人または複数の人間の居住者の熱的快適性推定をリアルタイムで行う方法は、1つまたは複数のサーモグラフィカメラならびに1つまたは複数の赤、緑、および青の深度(RGB-D)センサの使用を用いる。本方法は、いくつかのステップを有し得る。本方法は、構築空間にサーモグラフィカメラを設けることと、構築空間にRGB-Dセンサを設けることとを含み得る。本方法は、サーモグラフィカメラによって構築空間内の人間の居住者の熱画像を取り込むことと、RGB-Dセンサによって構築空間内の人間の居住者のRGB-D画像を取り込むこととをさらに含み得る。本方法はまた、取り込まれた熱画像および取り込まれたRGB-D画像を使用して、人間の居住者の顔の皮膚温度を抽出することを含み得る。顔の皮膚温度を抽出することは、取り込まれた熱画像および取り込まれたRGB-D画像を登録することを含み得る。また、本方法は、人間の居住者の抽出された顔の皮膚温度を使用して、構築空間内の人間の居住者の熱的快適性を推定することを含み得る。
例示的な実施形態は、添付の図面と併せて以下に説明され、同様の符号は同様の要素を示す。
時刻t+1において、重心追跡アルゴリズムは、時刻tおよびt+1における2つの連続する画像フレーム内の顔重心の各対の間のユークリッド距離を計算し、次いで、画像フレームt内の最も近い顔重心によって画像フレームt+1内の居住者IDを更新し、
s m= K[R│T]M
式中、Mは、3次元世界座標空間における3次元点の同次座標を表す4×1ベクトルであり、mは、画像座標における2次元点の同次座標を表す3×1ベクトルであり、Kは、焦点距離(fxfy)および主点(CxCy)から構成されるカメラの3×3の固有行列であり、[R│T]は、回転Rおよび並進Tから構成される3×4の外部行列であり、sはスケーリング係数である。
別の実施形態では、上記の関心領域から温度を抽出する代わりに、本方法における人間の居住者の顔の皮膚温度を抽出するステップは、人間の顔全体から皮膚温度を抽出することを含むことができる。人間の顔全体は、この例では、顔の正面ならびに顔の側面のプロファイルを含む。この実施形態は、より小さい関心領域の熱画像を取り込むことがより困難であり得る実施形態においてより適切であり得る。この代替的な実施形態では、人間の顔全体から皮膚温度を抽出することは、(i)検出された顔領域内のすべての画素の最高、最低、平均、および四分位(第1、第2、第3)の温度測定値(これらの温度測定値は、検出された顔領域にわたる顔の皮膚温度の全体的な分布を示す)、(ii)検出された顔領域内のすべての画素の皮膚温度変化(鼻、耳、および頬は、他の関心領域よりも大きな皮膚温度変化を有し、したがって、検出された顔領域にわたる大きな皮膚温度変化は、居住者が冷却ストレスを受けていることの指標として役立ち得ることが分かっている)、および(iii)式300および式400からの1分間ごとの勾配温度(勾配温度が熱/冷却ストレスの指標として機能し得ることが分かっている)を含むことができる。
Claims (20)
- 少なくとも1つのサーモグラフィカメラと少なくとも1つの赤、緑、および青の深度(RGB-D)センサを使用して、構築空間内の少なくとも1人の人間の居住者の熱的快適性推定をリアルタイムで行う方法であって、前記方法が、
前記構築空間に前記少なくとも1つのサーモグラフィカメラを設け、前記構築空間に前記少なくとも1つのRGB-Dセンサを設けるステップと、
前記少なくとも1つのサーモグラフィカメラを介して前記構築空間内の前記少なくとも1人の人間の居住者の熱画像を取り込み、前記少なくとも1つのRGB-Dセンサを介して前記構築空間内の前記少なくとも1人の人間の居住者のRGB-D画像を取り込むステップであって、前記RGB-D画像の各々は、対応する1つのRGB-Dセンサに対する前記少なくとも1人の人間の居住者の色データおよび距離データを含むステップと、
前記取り込まれた熱画像および前記取り込まれたRGB-D画像を使用して前記少なくとも1人の人間の居住者の顔の皮膚温度を抽出するステップであって、顔の皮膚温度を抽出するステップが、前記取り込まれたRGB-D画像の距離データおよび角度データを前記取り込まれた熱画像上にマッピングして、前記距離データおよび前記角度データに基づき前記熱画像を補正することを含む、抽出するステップと、
前記少なくとも1人の人間の居住者の前記抽出された顔の皮膚温度を使用して、前記構築空間における前記少なくとも1人の人間の居住者の熱的快適性を推定するステップと、
を含む、方法。 - 前記少なくとも1人の人間の居住者の前記推定された熱的快適性に基づいて、前記構築空間の暖房、換気、および空調(HVAC)を制御するステップをさらに含む、請求項1に記載の方法。
- 前記構築空間の前記HVACを制御するステップが、前記少なくとも1人の人間の居住者の前記推定された熱的快適性に基づいて前記構築空間の熱的設定点を決定することを含む、請求項2に記載の方法。
- 前記少なくとも1つのサーモグラフィカメラを前記構築空間に設けるステップが、前記構築空間に複数のサーモグラフィカメラを設けることを含み、前記少なくとも1つのRGB-Dセンサを前記構築空間に設けるステップが、前記構築空間に複数のRGB-Dセンサを設けることを含み、前記構築空間内の前記少なくとも1人の人間の居住者の熱画像を取り込むステップが、前記複数のサーモグラフィカメラを介して前記構築空間内の複数の人間の居住者の熱画像を取り込むことを含み、前記構築空間内の前記少なくとも1人の人間の居住者のRGB-D画像を取り込むステップが、前記複数のRGB-Dセンサを介して前記構築空間内の複数の居住者のRGB-D画像を取り込むことを含む、請求項1に記載の方法。
- 前記構築空間に前記少なくとも1つのサーモグラフィカメラを設けるステップが、前記構築空間に複数のサーモグラフィカメラを設けることを含み、前記構築空間に前記少なくとも1つのRGB-Dセンサを設けるステップが、前記構築空間に複数のRGB-Dセンサを設けることを含み、前記少なくとも1人の人間の居住者の熱画像を取り込むステップが、前記複数のサーモグラフィカメラを介して複数の人間の居住者の熱画像を取り込むことを含み、前記少なくとも1人の人間の居住者のRGB-D画像を取り込むステップが、前記複数のRGB-Dセンサを介して前記複数の人間の居住者のRGB-D画像を取り込むことを含み、前記方法が、前記複数のサーモグラフィカメラ間および前記複数のRGB-Dセンサ間で前記複数の人間の居住者を登録するステップをさらに含む、請求項1に記載の方法。
- 前記構築空間内の前記少なくとも1人の人間の居住者の熱画像を取り込むステップが、前記少なくとも1つのサーモグラフィカメラに対する前記少なくとも1人の人間の居住者の様々な距離から前記熱画像を取り込むことを含み、前記構築空間内の前記少なくとも1人の人間の居住者のRGB-D画像を取り込むステップが、前記少なくとも1つのRGB-Dセンサに対する前記少なくとも1人の人間の居住者の様々な距離から前記RGB-D画像を取り込むことを含む、請求項1に記載の方法。
- 前記構築空間内の前記少なくとも1人の人間の居住者の熱画像を取り込むステップが、前記少なくとも1つのサーモグラフィカメラに対する前記少なくとも1人の人間の居住者の様々な角度から前記熱画像を取り込むことを含み、前記構築空間内の前記少なくとも1人の人間の居住者のRGB-D画像を取り込むステップが、前記少なくとも1つのRGB-Dセンサに対する前記少なくとも1人の人間の居住者の様々な角度から前記RGB-D画像を取り込むことを含む、請求項1に記載の方法。
- 顔の皮膚温度を抽出するステップが、前記少なくとも1つのRGB-Dセンサを介して前記構築空間内の前記少なくとも1人の人間の居住者の存在を検出することを含む、請求項1に記載の方法。
- 前記取り込まれた熱画像および取り込まれたRGB-D画像を登録するステップが、前記取り込まれたRGB-D画像内の座標を前記取り込まれた熱画像上に配置することを含む、請求項1に記載の方法。
- 前記構築空間内の前記少なくとも1人の人間の居住者の熱的快適性を推定するステップが、より暖かい熱的快適性嗜好、より冷たい熱的快適性嗜好、または中立の熱的快適性嗜好を推定することを含む、請求項1に記載の方法。
- 顔の皮膚温度を抽出するステップが、前記少なくとも1つのサーモグラフィカメラから提供された温度データを用いて前記少なくとも1つのRGB-Dセンサから提供された距離データを使用することを含む、請求項1に記載の方法。
- 前記構築空間が輸送車両内にある、請求項2に記載の方法。
- 少なくとも1つのサーモグラフィカメラと少なくとも1つの赤、緑、および青の深度(RGB-D)センサを使用して、構築空間内の少なくとも1人の人間の居住者の熱的快適性推定をリアルタイムで行う方法であって、前記方法が、
前記少なくとも1つのサーモグラフィカメラに対する前記少なくとも1人の人間の居住者の様々な距離および様々な角度から前記少なくとも1つのサーモグラフィカメラを介して前記構築空間内の前記少なくとも1人の人間の居住者の熱画像を取り込み、前記少なくとも1つのRGB-Dセンサに対する前記少なくとも1人の人間の居住者の様々な距離および様々な角度から前記少なくとも1つのRGB-Dセンサを介して前記構築空間内の前記少なくとも1人の人間の居住者のRGB-D画像を取り込むステップであって、前記RGB-D画像の各々は、対応する1つのRGB-Dセンサに対する前記少なくとも1人の人間の居住者の色データおよび距離データを含むステップと、
前記取り込まれた熱画像および前記取り込まれたRGB-D画像を使用して前記少なくとも1人の人間の居住者の顔の皮膚温度を抽出するステップであって、前記少なくとも1つのRGB-Dセンサから提供された距離データを使用し、前記少なくとも1つのサーモグラフィカメラから提供された温度データを前記距離データおよび角度データに基づき補正することを含むステップと、
前記少なくとも1人の人間の居住者の前記抽出された顔の皮膚温度を使用して、前記構築空間における前記少なくとも1人の人間の居住者の熱的快適性を推定するステップと、
を含む、方法。 - 前記少なくとも1人の人間の居住者の前記推定された熱的快適性に基づいて、前記構築空間の暖房、換気、および空調(HVAC)を制御するステップをさらに含む、請求項13に記載の方法。
- 前記構築空間内の前記少なくとも1人の人間の居住者の熱画像を取り込むステップが、複数のサーモグラフィカメラを介して前記構築空間内の複数の人間の居住者の熱画像を取り込むことを含み、前記構築空間内の前記少なくとも1人の人間の居住者のRGB-D画像を取り込むステップが、複数のRGB-Dセンサを介して前記構築空間内の複数の居住者のRGB-D画像を取り込むことを含む、請求項13に記載の方法。
- 前記少なくとも1人の人間の居住者の熱画像を取り込むステップが、複数のサーモグラフィカメラを介して複数の人間の居住者の熱画像を取り込むことを含み、前記少なくとも1人の人間の居住者のRGB-D画像を取り込むステップが、複数のRGB-Dセンサを介して前記複数の人間の居住者のRGB-D画像を取り込むことを含み、前記方法が、前記複数のサーモグラフィカメラ間および前記複数のRGB-Dセンサ間で前記複数の人間の居住者を登録するステップをさらに含む、請求項13に記載の方法。
- 顔の皮膚温度を抽出するステップが、前記取り込まれた熱画像および取り込まれたRGB-D画像を登録することを含む、請求項13に記載の方法。
- 少なくとも1つのサーモグラフィカメラと少なくとも1つの赤、緑、および青の深度(RGB-D)センサを使用して、構築空間内の少なくとも1人の人間の居住者の熱的快適性推定をリアルタイムで行う方法であって、前記方法が、
前記少なくとも1つのサーモグラフィカメラを介して前記構築空間内の前記少なくとも1人の人間の居住者の熱画像を取り込み、前記少なくとも1つのRGB-Dセンサを介して前記構築空間内の前記少なくとも1人の人間の居住者のRGB-D画像を取り込むステップであって、前記RGB-D画像の各々は、対応する1つのRGB-Dセンサに対する前記少なくとも1人の人間の居住者の色データおよび距離データを含むステップと、
前記取り込まれた熱画像および前記取り込まれたRGB-D画像を使用して前記少なくとも1人の人間の居住者の顔の皮膚温度を抽出するステップであって、顔の皮膚温度を抽出するステップが、前記取り込まれたRGB-D画像の座標を前記取り込まれた熱画像上に配置することを含み、前記距離データに基づき前記熱画像を補正するために、前記取り込まれたRGB-D画像の距離データおよび角度データを前記取り込まれた熱画像上にマッピングすることを含む、抽出するステップと、
前記少なくとも1人の人間の居住者の前記抽出された顔の皮膚温度を使用して、前記構築空間における前記少なくとも1人の人間の居住者の熱的快適性を推定するステップと、
前記少なくとも1人の人間の居住者の前記推定された熱的快適性に基づいて、前記構築空間の暖房、換気、および空調(HVAC)を制御するステップと、
を含む、方法。 - 前記取り込まれた熱画像を使用して、前記構築空間内の人間の居住者の総数を決定するステップをさらに含む、請求項18に記載の方法。
- 請求項13に記載の方法を実行する命令を格納した非一時的データ記憶装置を含む非一時的コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962790526P | 2019-01-10 | 2019-01-10 | |
US62/790,526 | 2019-01-10 | ||
PCT/US2020/012882 WO2020146596A1 (en) | 2019-01-10 | 2020-01-09 | Detecting presence and estimating thermal comfort of one or more human occupants in a built space in real-time using one or more thermographic cameras and one or more rgb-d sensors |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022518005A JP2022518005A (ja) | 2022-03-11 |
JP7217058B2 true JP7217058B2 (ja) | 2023-02-02 |
Family
ID=71521821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021540410A Active JP7217058B2 (ja) | 2019-01-10 | 2020-01-09 | 1つまたは複数のサーモグラフィカメラおよび1つまたは複数のrgb-dセンサを使用して構築空間内の1人または複数の人間の居住者の存在をリアルタイムで検出し、熱的快適性を推定すること |
Country Status (4)
Country | Link |
---|---|
US (1) | US12000609B2 (ja) |
EP (1) | EP3908974A4 (ja) |
JP (1) | JP7217058B2 (ja) |
WO (1) | WO2020146596A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11715326B2 (en) * | 2020-06-17 | 2023-08-01 | Microsoft Technology Licensing, Llc | Skin tone correction for body temperature estimation |
US11467034B2 (en) * | 2020-06-30 | 2022-10-11 | Ilooda Co., Ltd. | Temperature measuring device for tracked subject target region |
US11669962B2 (en) * | 2020-10-26 | 2023-06-06 | Covidien Lp | Temperature monitoring with a thermal camera |
US11897314B2 (en) * | 2021-01-20 | 2024-02-13 | Bayerische Motoren Werke Aktiengesellschaft | Method, computer program and system for improving a user experience |
CN113077452B (zh) * | 2021-04-09 | 2022-07-15 | 电子科技大学成都学院 | 基于dnn网络和斑点检测算法的苹果树病虫害检测方法 |
KR20230015539A (ko) * | 2021-07-23 | 2023-01-31 | 한온시스템 주식회사 | 맞춤형 차량 공조 제어 시스템 및 그 방법 |
CN116066974A (zh) * | 2021-10-29 | 2023-05-05 | 青岛海尔空调器有限总公司 | 一种空调器控制方法、装置及空调器 |
CN117058131B (zh) * | 2023-10-11 | 2024-03-19 | 深圳市鹰瞳智能技术有限公司 | 基于高分辨率热成像进行脸部动脉可视化定位的方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006317075A (ja) | 2005-05-12 | 2006-11-24 | Daikin Ind Ltd | 空調制御システム |
JP2010159887A (ja) | 2009-01-06 | 2010-07-22 | Mitsubishi Electric Corp | 空気調和装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3235128B2 (ja) | 1991-07-26 | 2001-12-04 | 株式会社豊田中央研究所 | 空調制御装置 |
JPH07243687A (ja) | 1994-03-09 | 1995-09-19 | Sanyo Electric Co Ltd | 空気調和装置 |
JP5146819B2 (ja) * | 2008-04-03 | 2013-02-20 | 株式会社デンソー | 車両用シート空調装置 |
US20120023201A1 (en) * | 2010-07-26 | 2012-01-26 | Atlas Advisory Partners, Llc | Unified Content Delivery Platform |
WO2013108197A1 (en) * | 2012-01-17 | 2013-07-25 | Koninklijke Philips N.V. | Heating system for heating a living being |
JP5785349B2 (ja) * | 2013-05-17 | 2015-09-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | センサー搭載装置 |
JP6914832B2 (ja) | 2014-10-31 | 2021-08-04 | ジェンサーム インコーポレイテッドGentherm Incorporated | 車両ミクロ気候システムと制御方法 |
EP3284622B1 (en) * | 2015-04-16 | 2019-08-07 | Panasonic Intellectual Property Management Co., Ltd. | Air-conditioning control device |
US9644857B1 (en) * | 2015-12-01 | 2017-05-09 | Nasser Ashgriz | Virtual thermostat for a zonal temperature control |
US9886640B1 (en) | 2016-08-08 | 2018-02-06 | International Business Machines Corporation | Method and apparatus to identify a live face image using a thermal radiation sensor and a visual radiation sensor |
FI20175350A1 (fi) * | 2017-04-18 | 2018-10-19 | Caverion Suomi Oy | Monianturiyksikkö, järjestely ja menetelmä huoneen tai vyöhykkeen sisäilmasto-olosuhteiden hallitsemista varten |
US11015832B2 (en) * | 2018-01-12 | 2021-05-25 | Carrier Corporation | Thermographic sensing of human thermal conditions to improve thermal comfort |
-
2020
- 2020-01-09 JP JP2021540410A patent/JP7217058B2/ja active Active
- 2020-01-09 EP EP20738027.0A patent/EP3908974A4/en active Pending
- 2020-01-09 US US17/422,142 patent/US12000609B2/en active Active
- 2020-01-09 WO PCT/US2020/012882 patent/WO2020146596A1/en unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006317075A (ja) | 2005-05-12 | 2006-11-24 | Daikin Ind Ltd | 空調制御システム |
JP2010159887A (ja) | 2009-01-06 | 2010-07-22 | Mitsubishi Electric Corp | 空気調和装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2022518005A (ja) | 2022-03-11 |
EP3908974A4 (en) | 2022-08-31 |
WO2020146596A1 (en) | 2020-07-16 |
US20220090811A1 (en) | 2022-03-24 |
EP3908974A1 (en) | 2021-11-17 |
US12000609B2 (en) | 2024-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7217058B2 (ja) | 1つまたは複数のサーモグラフィカメラおよび1つまたは複数のrgb-dセンサを使用して構築空間内の1人または複数の人間の居住者の存在をリアルタイムで検出し、熱的快適性を推定すること | |
Metzmacher et al. | Real-time human skin temperature analysis using thermal image recognition for thermal comfort assessment | |
Li et al. | Robust non-intrusive interpretation of occupant thermal comfort in built environments with low-cost networked thermal cameras | |
WO2020215961A1 (zh) | 面向室内环境控制的人员信息检测方法与*** | |
US10982871B2 (en) | Equipment control device and method, utilizing basal metabolism data calculated from estimated characteristics of a person based on detected visible light image data and corresponding thermal image data | |
JP5238679B2 (ja) | 空調制御装置、空調制御方法及び輻射温度計測装置 | |
US20150028114A1 (en) | Apparatus and method for controlling a heating ventilation and / or air conditioning system utilizing an infrared sensing or imaging device for determining radiated temperature of one or more objects or occupants in the conditioned space | |
JP2016080550A (ja) | エリア情報推定装置、エリア情報推定方法、および空気調和装置 | |
CN101189638A (zh) | 膝关节形态的特征描述方法和*** | |
CN110726476A (zh) | 基于人体红外温度监测的热环境调控***及调控方法 | |
Liu et al. | Automatic estimation of clothing insulation rate and metabolic rate for dynamic thermal comfort assessment | |
JP2016048128A (ja) | 空気調和機 | |
CN109512402A (zh) | 近距离多维度的精准医用人体红外热成像的方法 | |
CN111797806A (zh) | 一种基于2d骨架的三维图卷积行为识别方法 | |
CN109923616B (zh) | 用于改进生命体征采集的自动平移-倾斜-缩放调节 | |
JP2018185108A (ja) | 温冷感推定装置 | |
US11256910B2 (en) | Method and system for locating an occupant | |
CN111968163B (zh) | 一种热电堆阵列测温方法及装置 | |
Wei et al. | A low-cost and scalable personalized thermal comfort estimation system in indoor environments | |
Sumriddetchkajorn et al. | Field test studies of our infrared-based human temperature screening system embedded with a parallel measurement approach | |
Hou et al. | A low-cost in-situ system for continuous multi-person fever screening | |
Ashrafi et al. | Machine learning-based automated thermal comfort prediction: integration of low-cost thermal and visual cameras for higher accuracy | |
Choi et al. | Impact of thermal control by real-time PMV using estimated occupants personal factors of metabolic rate and clothing insulation | |
Chromy | Multispectral 3D Surface Scanning System RoScan and its Application in Inflammation Monitoring and Quantification. | |
Zhou et al. | InfraNet: Accurate forehead temperature measurement framework for people in the wild with monocular thermal infrared camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7217058 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |