WO2023181527A1 - 体温推定装置、体温推定方法、及び、プログラム - Google Patents

体温推定装置、体温推定方法、及び、プログラム Download PDF

Info

Publication number
WO2023181527A1
WO2023181527A1 PCT/JP2022/045770 JP2022045770W WO2023181527A1 WO 2023181527 A1 WO2023181527 A1 WO 2023181527A1 JP 2022045770 W JP2022045770 W JP 2022045770W WO 2023181527 A1 WO2023181527 A1 WO 2023181527A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
body temperature
thermal image
face
estimation device
Prior art date
Application number
PCT/JP2022/045770
Other languages
English (en)
French (fr)
Inventor
愼一 式井
亜旗 米田
健一郎 野坂
元貴 吉岡
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023181527A1 publication Critical patent/WO2023181527A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to a body temperature estimation device, a body temperature estimation method, and a program.
  • Patent Document 1 discloses a technique for estimating a person's core body temperature using a thermal image.
  • the present disclosure provides a body temperature estimation device and the like that can more accurately estimate a user's body temperature.
  • a body temperature estimation device photographs the user's face from a photographing direction obliquely intersecting a reference direction in which the user faces in order to perform body temperature estimation.
  • the device includes a thermal image acquisition unit that acquires a thermal image including the temporal region, and an estimation unit that estimates the user's body temperature based on the thermal image.
  • a body temperature estimation method includes photographing the user's face from a photographing direction diagonally intersecting a reference direction in which the user faces in order to estimate the body temperature.
  • a thermal image including the face and temporal region is acquired, and the body temperature of the user is estimated based on the thermal image.
  • the body temperature estimation device and the like according to the present disclosure can more accurately estimate the user's body temperature.
  • FIG. 1 is a diagram showing an example of the appearance of a body temperature estimating device according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of the hardware configuration of the body temperature estimation device according to the embodiment.
  • FIG. 3 is a diagram illustrating an example of a plan view of the body temperature estimation device according to the embodiment viewed from the front.
  • FIG. 4 is a diagram for explaining the thermal imaging camera and the positional relationship between the camera and the user.
  • FIG. 5 is a diagram illustrating an example of the functional configuration of the body temperature estimation device according to the embodiment.
  • FIG. 6 is a diagram for explaining the helix and the tragus.
  • FIG. 7 is a diagram showing an example of a thermal image when a user's face is photographed from an oblique angle.
  • FIG. 1 is a diagram showing an example of the appearance of a body temperature estimating device according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of the hardware configuration of the body temperature estimation device according to the embodiment.
  • FIG. 8 is a flowchart illustrating an example of the operation of the body temperature estimation device according to the embodiment.
  • FIG. 9 is a diagram illustrating an example of a plan view of the body temperature estimation device according to modification example (1) viewed from the front.
  • FIG. 10 is a diagram illustrating an example of a plan view of the body temperature estimation device according to modification example (3) viewed from the front.
  • FIG. 11 is a diagram illustrating another example of a plan view of the body temperature estimating device according to modification example (3) when viewed from the front.
  • FIG. 12 is a diagram showing an example of a plan view of the body temperature estimating device according to modification example (4) when viewed from the front.
  • FIG. 13 is a diagram illustrating an example of a plan view of the body temperature estimation device according to modification example (5) viewed from above.
  • the inventor has discovered a body temperature estimation device that can accurately estimate a user's body temperature.
  • the body temperature estimation device captures the user's face by photographing the user's face from a photographing direction diagonally intersecting a reference direction in which the user faces in order to estimate the body temperature.
  • the device includes a thermal image acquisition unit that acquires a thermal image including the face and temporal region, and an estimation unit that estimates the user's body temperature based on the thermal image.
  • the user's face is photographed from a photographing direction diagonally intersecting the reference direction in which the user faces, so it is possible to obtain an asymmetrical thermal image that includes the user's face. I can do it. Therefore, it is possible to obtain a thermal image with a larger amount of information than when photographed from the front, and it is possible to estimate the user's body temperature with high accuracy.
  • a body temperature estimation device is the body temperature estimation device according to the first aspect, in which the temporal region included in the thermal image includes the user's ear.
  • the thermal image is the result of detecting the temperature of the user's body surface, it is easily affected by the temperature of the user's surroundings, such as the outside air. Since the thermal image includes the ears, which are easily affected by the temperature around the user, it is possible to estimate the user's body temperature according to the influence of the temperature around the user. Therefore, the user's body temperature can be estimated robustly with respect to the temperature around the user.
  • a body temperature estimation device is the body temperature estimation device according to the second aspect, in which the user's ear included in the thermal image includes a tragus and a helix.
  • the user's body temperature can be estimated robustly with respect to the temperature around the user.
  • a body temperature estimating device is the body temperature estimating device according to the third aspect, further comprising a display unit that displays an image, and the thermal image acquisition unit is configured to display an image on the display unit.
  • the reference direction is a direction in which the user faces the display unit.
  • the thermal image acquisition unit detects the image in a shooting direction diagonally intersecting the reference direction in which the user faces.
  • the user's face can be photographed from Therefore, a thermal image including the user's face and temporal region can be easily obtained.
  • a body temperature estimating device is the body temperature estimating device according to the fourth aspect, and further includes an image that acquires a face image of the user by photographing the user facing directly toward the display unit.
  • the image acquisition device may include an acquisition section, and the display section may display the face image, and the thermal image acquisition section may be disposed at a position separated from the image acquisition section in the horizontal direction.
  • the thermal image acquisition unit detects the reference direction in which the user turns his or her face.
  • the user's face can be photographed from a photographing direction diagonally intersecting the user's face. Therefore, a thermal image including the user's face and temporal region can be easily obtained.
  • a body temperature estimating device is a body temperature estimating device according to any one of the first to third aspects, wherein the thermal image acquisition unit is a part of a mirror or It is arranged at the edge of the reflective surface of the mirror, and the reference direction is the direction in which the user faces the mirror.
  • the thermal image acquisition unit when the user is facing the mirror and looking at the user's face reflected in the mirror, when the thermal image acquisition unit executes the photographing, the thermal image acquisition unit crosses diagonally with respect to the reference direction in which the user faces. The user's face can be photographed from the photographing direction. Therefore, a thermal image including the user's face and temporal region can be easily obtained.
  • a body temperature estimating device is a body temperature estimating device according to any one of the first to sixth aspects, wherein the photographing direction of the thermal image acquisition unit is Intersects the reference direction at an angle of 10 degrees or more.
  • a body temperature estimation device is the body temperature estimation device according to the seventh aspect, wherein the photographing direction of the thermal image acquisition unit intersects the reference direction at an angle of 90 degrees or less. .
  • a body temperature estimating device is a body temperature estimating device according to any one of the first to eighth aspects, wherein the estimating unit includes the thermal image of the user. If the ear is included in the thermal image, the user's body temperature is estimated; if the user's ear is not included in the thermal image, the user's body temperature is not estimated.
  • a body temperature estimating device is the body temperature estimating device according to the ninth aspect, furthermore, when the thermal image does not include the user's ears, the user
  • the device includes a notification unit that provides a notification prompting the user to direct the device toward the reference direction.
  • a body temperature estimating device is a body temperature estimating device according to any one of the first to tenth aspects, further comprising: a temperature of the user estimated by the estimating unit; It is equipped with an output section that outputs body temperature.
  • the estimated user's body temperature can be utilized.
  • a body temperature estimating device is the body temperature estimating device according to the eleventh aspect, in which the output unit outputs the estimated temperature when the user's ear is included in the thermal image. If the user's body temperature is output and the user's ear is not included in the thermal image, the user's body temperature is not output.
  • a body temperature estimation method includes photographing the user's face from a photographing direction diagonally intersecting a reference direction in which the user faces in order to estimate the body temperature.
  • a thermal image including the face and temporal region is acquired, and the body temperature of the user is estimated based on the thermal image.
  • the user's face is photographed from a photographing direction diagonally intersecting the reference direction in which the user faces, so it is possible to obtain an asymmetrical thermal image that includes the user's face. I can do it. Therefore, it is possible to obtain a thermal image with a larger amount of information than when photographed from the front, and it is possible to estimate the user's body temperature with high accuracy.
  • the program according to the fourteenth aspect of the present disclosure is a program for causing a computer to execute the body temperature estimation method according to the thirteenth aspect.
  • FIG. 1 is a diagram showing an example of the appearance of a body temperature estimation device according to an embodiment.
  • the body temperature estimation device 100 is a device that estimates the body temperature of the user 200 based on a thermal image of the user's 200 face obtained by the thermal image camera 104. Specifically, the body temperature estimation device 100 estimates the body temperature of the user 200 based on a thermal image of the user's 200 face including the ear 210 . In this embodiment, body temperature estimation device 100 is configured by, for example, a tablet terminal.
  • FIG. 2 is a diagram illustrating an example of the hardware configuration of the body temperature estimation device according to the embodiment.
  • the body temperature estimation device 100 includes a processor 101, a main memory 102, a storage 103, a thermal image camera 104, a camera 105, a communication IF (Interface) 106, an input IF (Interface) 107, and a display 108. Be prepared.
  • the processor 101 is a processor that executes a program stored in the storage 103 or the like.
  • the main memory 102 is a volatile storage area used as a work area when the processor 101 executes a program.
  • the storage 103 is a nonvolatile storage area that holds various data such as programs.
  • the thermal image camera 104 generates a thermal image by detecting a two-dimensional temperature distribution in the imaging range.
  • a thermal image includes a plurality of pixels arranged vertically and horizontally. Each of the plurality of pixels has a pixel value indicating the temperature detected at the position corresponding to the pixel in the imaging range of the thermal imaging camera 104.
  • the camera 105 shoots still images or moving images within the shooting range.
  • the camera 105 may be an RGB camera or a monochrome camera.
  • each of the plurality of pixels arranged in the vertical and horizontal directions included in the image generated by the camera 105 is an RGB image having red (R), green (G), and blue (B) subpixels. It may also be a monochrome image of only white.
  • the communication IF 106 is a communication interface for transmitting data with external devices such as smartphones, tablets, PCs (Personal Computers), and servers.
  • the communication IF 106 may be, for example, an interface for wireless communication such as a wireless LAN interface or a Bluetooth (registered trademark) interface.
  • the communication IF 106 may be an interface for wired communication such as a USB (Universal Serial Bus) or a wired LAN interface. Note that the communication IF 106 is not limited to the above, and may be a communication interface for transmitting data with an external device via a communication network.
  • the input IF 107 is an interface for accepting input from a person.
  • the input IF 107 may be a pointing device such as a touch panel.
  • the pointing device is not limited to a touch panel, and may be a mouse, touch pad, trackball, or the like. Further, the input IF 107 is not limited to a pointing device, but may be a keyboard.
  • the display 108 is a liquid crystal display, an organic EL display, or the like.
  • the body temperature estimation device 100 does not need to include at least one of the camera 105, the communication IF 106, the input IF 107, and the display 108.
  • FIG. 3 is a diagram illustrating an example of a plan view of the body temperature estimation device according to the embodiment viewed from the front.
  • the arrangement positions of the thermal imaging camera 104 and the camera 105 with respect to the body temperature estimation device 100 will be explained.
  • the body temperature estimation device 100 is a rectangular plate-shaped tablet terminal, and a display 108, a thermal imaging camera 104, and a camera 105 are arranged on the front side.
  • the display 108 is arranged at a position away from the periphery of the body temperature estimating device 100 when viewed from the front. That is, the body temperature estimating device 100 has an annular non-display area A1 in which nothing is displayed between the periphery of the body temperature estimating device 100 and the display 108 when viewed from the front.
  • the non-display area A1 has an annular area, and has four areas: an area above the display 108, an area to the right, an area below, and an area to the left.
  • the thermal image camera 104 and the camera 105 are arranged in the non-display area A1. Specifically, when the body temperature estimation device 100 is placed in a predetermined posture with respect to the user 200, the thermal image camera 104 is placed in the left side area of the annular non-display area A1. Further, when the body temperature estimation device 100 is placed in a predetermined posture with respect to the user 200, the camera 105 is placed at the center position in the horizontal direction of the upper area of the annular non-display area A1. That is, the camera 105 is placed at the horizontal center position C of the body temperature estimating device 100.
  • the predetermined posture is, for example, a posture in which the longitudinal direction of the body temperature estimation device 100 is along the horizontal direction of the user's 200 face, and a posture in which the camera 105 is arranged above the display 108.
  • the predetermined posture may be a posture in which the camera 105 is placed below the display 108.
  • the thermal image camera 104 is placed in the left side of the non-display area A1, and the camera 105 is placed at the center position C in the horizontal direction of the body temperature estimation device 100. That is, the thermal image camera 104 is placed at a position horizontally away from the camera 105 in the body temperature estimation device 100. It can also be said that the thermal image camera 104 is placed at a position away from the horizontal center of the display surface of the display 108.
  • FIG. 4 is a diagram for explaining the thermal imaging camera and the positional relationship between the camera and the user.
  • FIG. 4 is a plan view of the body temperature estimation device 100 and the user 200 viewed from above when the user 200 is directly facing the front of the body temperature estimation device 100.
  • the user's 200 face is located in a position directly facing the camera 105.
  • the reference direction D1 in which the user 200 faces is the direction in which the user 200 faces the display 108, and therefore passes through the position of the camera 105. That is, the camera 105 can photograph the user's 200 face from the front.
  • the thermal image camera 104 is placed at the left end of the body temperature estimation device 100, and is placed to the left of the camera 105 in the horizontal direction. Therefore, the thermal image camera 104 photographs the face of the user 200 from the photographing direction D2 diagonally intersecting the reference direction D1.
  • FIG. 5 is a diagram illustrating an example of the functional configuration of the body temperature estimation device according to the embodiment.
  • the body temperature estimation device 100 includes a thermal image acquisition section 110, an image acquisition section 120, an estimation section 130, a display section 140, a notification section 150, and an output section 160.
  • the thermal image acquisition unit 110 photographs the face of the user 200 in the positional relationship shown in FIG. 4, thereby capturing the image from a photographing direction D2 that diagonally intersects with the reference direction D1 in which the user 200 faces in order to estimate body temperature.
  • the user's face will be photographed.
  • the thermal image acquisition unit 110 acquires a thermal image including the face and temporal region of the user 200.
  • the temporal region of user 200 includes user's 200 ear 210 .
  • the ear 210 also includes a tragus 212 and a helix 211, as shown in FIG.
  • the thermal image acquisition unit 110 is realized by, for example, the thermal image camera 104.
  • the image acquisition unit 120 photographs the front of the user's 200 face directly facing the display 108 by photographing the user's 200 face in the positional relationship shown in FIG. Thereby, the image acquisition unit 120 acquires a face image that is an image of the front face of the user 200. That is, the image acquisition unit 120 acquires an image taken from a position different from the position of the user in the horizontal direction from the position where the thermal image was taken.
  • the image acquisition unit 120 is realized by the camera 105, for example.
  • the estimation unit 130 estimates the body temperature of the user 200 based on the thermal image acquired by the thermal image acquisition unit 110. Specifically, the estimation unit 130 may estimate the body temperature of the user 200 from the acquired thermal image using a machine learning model.
  • the machine learning model uses, for example, a thermal image that includes the face and temporal region of the user 200, and correct data that is the measurement result of the body temperature of the user 200 under the armpit or under the tongue using a thermometer when the thermal image was taken.
  • the training data set may be generated using a learning data set including a plurality of combinations of the following.
  • the estimation unit 130 is not limited to estimating the body temperature of the user 200 using a machine learning model, but also estimates the temperature of the front part of the user's 200 face (for example, the forehead) in the thermal image and the temperature of the user's 200's body temperature in the thermal image.
  • the body temperature of the user 200 may be estimated based on the temporal region (for example, the ear).
  • the estimation unit 130 may estimate the body temperature of the user 200 by correcting the temperature of the forehead according to the temperature of the ear.
  • the estimating unit 130 may correct so that the lower the ear temperature, the greater the body temperature that can be estimated from the forehead temperature.
  • the estimation unit 130 may determine whether the ear 210 of the user 200 is included in the thermal image.
  • the estimation unit 130 may estimate the body temperature of the user 200 when the ear 210 of the user 200 is included in the thermal image.
  • the estimation unit 130 does not need to estimate the body temperature of the user 200 when the ear 210 of the user 200 is not included in the thermal image.
  • the estimation unit 130 is realized by, for example, the processor 101, the main memory 102, the storage 103, and the like.
  • the display unit 140 displays images. Specifically, the display section 140 may display the face image photographed by the image acquisition section 120. In other words, by displaying a front image of the user's 200 face, the display unit 140 can effectively prompt the user 200 to face the display unit 140 with the user's 200 face. This allows the thermal image acquisition unit 110 to photograph the face of the user 200 from the photographing direction D2 diagonally intersecting the reference direction D1.
  • the display unit 140 is realized by the display 108, for example.
  • FIG. 7 is a diagram showing an example of a thermal image when a user's face is photographed from an oblique angle.
  • Thermal image 300 includes an area 301 that includes the front of the user's 200 face, and an area 302 that includes the ear 210 on the temporal region of the user's 200. It can be seen that the region 301 contains many pixels that are close to white. On the other hand, it can be seen that pixels included in area 302 are closer to black than area 301.
  • the thermal image 300 including the area 301 including the front of the user's 200 face and the area 302 including the ear 210 on the temporal region of the user's 200 is obtained by photographing the front of the face, and the left and right sides of the face are the same. It can be seen that the amount of information is greater than that of a thermal image that includes such a temperature distribution.
  • a thermal image that includes not only the front of the face but also the temporal region of the user's 200 is required.
  • the temperature of the temporal region of the user 200 is lower than the area including the front of the user 200. This indicates that the surface temperature of the temporal region is easily affected by the outside temperature, and by using the temperature of the temporal region, it is possible to estimate the body temperature with high accuracy considering the influence of the outside temperature. . That is, it becomes possible to accurately estimate body temperature even under conditions where the outside temperature is different.
  • highly accurate body temperature estimation is possible, taking into account the influence of outside temperature.
  • the photographing direction D2 of the thermal image acquisition unit 110 intersects the reference direction D1 at an angle of 10 degrees or more.
  • the thermal image acquisition unit 110 can acquire a thermal image that includes more of the temporal region of the user 200.
  • the face of the user 200 needs to be included. Therefore, for example, it is preferable that the photographing direction D2 of the thermal image acquisition unit 110 intersects the reference direction D1 at an angle of 90 degrees or less. Thereby, the thermal image acquisition unit 110 can acquire a thermal image that includes more of the user's 200 face.
  • the thermal image preferably includes the ear 210 of the user 200, and further preferably includes the helix 211 and the tragus 212 of the ear 210 of the user 200 so that they can be distinguished.
  • the positional relationship between the body temperature estimation device 100 and the face of the user 200 is adjusted so that the photographing direction D2 of the thermal image acquisition unit 110 intersects the reference direction D1 at an angle of 10 degrees or more and 90 degrees or less.
  • the thermal image acquisition unit 110 can acquire a thermal image that includes both the face and the temporal region of the user 200 in a well-balanced manner. Therefore, the estimation unit 130 can estimate the body temperature of the user 200 with higher accuracy.
  • the notifying unit 150 directs the user 200 to face the reference direction D1, that is, the display 108 of the body temperature estimation device 100.
  • a notification will be sent to remind you to turn towards the target.
  • the notification unit 150 may cause the display unit 140 to display a message urging the user 200 to orient the face toward the reference direction D1, or may display the message from a speaker (not shown) included in the body temperature estimation device 100.
  • the message may be output as a sound, or information that causes a terminal (not shown) owned by the user 200 to be notified of the message may be transmitted.
  • the notification unit 150 may transmit information to notify the above message to a display unit or a speaker placed in the space where the body temperature estimation device 100 is placed, and may notify the user 200 of the above message.
  • the notification unit 150 is realized by, for example, the processor 101, the main memory 102, the storage 103, the communication IF 106, the display 108, and the like.
  • the output unit 160 outputs the body temperature of the user 200 estimated by the estimation unit 130.
  • the estimation unit 130 determines that the ear 210 of the user 200 is included in the thermal image
  • the output unit 160 outputs the estimated body temperature of the user 200 and determines that the ear 210 of the user 200 is included in the thermal image. If it is determined that the body temperature of the user 200 is not output, the body temperature of the user 200 may not be output.
  • the output unit 160 may output the body temperature of the user 200 by displaying the estimated body temperature of the user 200 on the display unit 140.
  • the output unit 160 may output the body temperature of the user 200 by causing a speaker (not shown) included in the body temperature estimation device 100 to output the estimated body temperature of the user 200 as a sound.
  • the output unit 160 may output the body temperature of the user 200 by transmitting information for presenting the body temperature of the user 200 to a terminal (not shown) owned by the user 200.
  • the output unit 160 may output the body temperature of the user 200 by transmitting information indicating the body temperature of the user 200 to an external device (not shown) such as a server.
  • the output unit 160 is realized by, for example, the processor 101, the main memory 102, the storage 103, the communication IF 106, the display 108, and the like.
  • the body temperature of the user 200 estimated by the estimation unit 130 may be stored in the storage 103 of the body temperature estimation device 100.
  • the body temperature estimating device 100 may perform face recognition on the image acquired by the image acquisition unit 120 to identify the user, and accumulate the estimated body temperature for each identified user. That is, the estimated body temperature may be managed in association with each user's identification information. Furthermore, the estimated body temperature may be recorded in association with the time when the body temperature was estimated.
  • FIG. 8 is a flowchart illustrating an example of the operation of the body temperature estimation device according to the embodiment.
  • the body temperature estimation device 100 captures the face and temporal region of the user 200 by photographing the face of the user 200 from a photographing direction D2 diagonally intersecting a reference direction D1 in which the user 200 faces.
  • a thermal image including the following is acquired (S11).
  • the body temperature estimation device 100 acquires a face image of the user 200 by photographing the user 200 directly facing the display 108 (S12). Note that step S12 does not need to be performed after step S11, and may be performed in parallel with step S11.
  • the body temperature estimation device 100 displays a face image (S13).
  • the body temperature estimation device 100 determines whether the ear is included in the thermal image acquired in step S11 (S14).
  • the body temperature estimation device 100 determines that the ear is included in the thermal image (Yes in S14), the body temperature estimation device 100 estimates the body temperature of the user 200 using the thermal image (S15).
  • the body temperature estimation device 100 outputs the estimated body temperature of the user 200 (S16).
  • the body temperature estimation device 100 determines that the ear is not included in the thermal image (No in S14), it does not estimate the user's body temperature using the thermal image (S17).
  • the body temperature estimation device 100 notifies the user 200 of a message urging the user 200 to orient his or her face in a direction directly facing the display 108 of the body temperature estimation device 100 (S18).
  • step S18 ends, the process returns to step S11. Note that step S18 may be performed before step S17 or may be performed in parallel with step S17 if the determination in step S14 is No.
  • step S16 the process may return to step S11 without ending the process.
  • the body temperature estimation device 100 may determine whether the user 200's face is facing in a predetermined direction.
  • the predetermined direction is a direction diagonally intersecting the photographing direction D2, and is a direction included in an angular range of 10 degrees or more and 90 degrees or less with respect to the photographing direction D2. That is, the reference direction D1 is an example of a predetermined direction. If this determination is Yes, step S15 is executed, and if No, step S17 is executed.
  • step S14 instead of determining whether the thermal image includes an ear, it may be determined whether only one cheek of the user 200 is photographed, or whether only one eye is photographed. It may also be determined whether or not there is one.
  • other methods may be used as long as it can be confirmed that the face of the user 200 is photographed from an oblique direction.
  • Body temperature estimation device 100 includes a thermal image acquisition section 110 and an estimation section 130.
  • Thermal image acquisition unit 110 captures the user's face and temporal region by photographing the user's 200 face from a photographing direction D2 that diagonally intersects with the reference direction D1 in which the user 200 faces in order to estimate body temperature.
  • Acquire thermal images including
  • the estimation unit 130 estimates the user's body temperature based on the thermal image.
  • the temporal region included in the thermal image includes the ear 210 of the user 200. Since the thermal image is a detection result of the temperature of the user's 200 body surface, it is easily influenced by the temperature around the user 200 such as the outside air. Since the thermal image includes the ear 210 which is easily affected by the temperature around the user 200, it is possible to estimate the body temperature of the user 200 according to the influence of the temperature around the user 200. Therefore, the body temperature of the user 200 can be estimated robustly with respect to the temperature around the user 200.
  • the ear 210 of the user 200 included in the thermal image includes the tragus 212 and the helix 211. Therefore, the body temperature of the user 200 can be estimated robustly with respect to the temperature around the user 200.
  • the body temperature estimation device 100 further includes a display unit 140 that displays images.
  • the thermal image acquisition section 110 is arranged at a position away from the horizontal center of the display surface of the display section 140.
  • the reference direction D1 is a direction in which the user 200 directly faces the display unit 140.
  • the thermal image acquisition unit 110 executes photographing, the thermal image acquisition unit 110 is configured to The face of the user 200 can be photographed from diagonally intersecting photographing directions D2. Therefore, a thermal image including the face and temporal region of the user 200 can be easily obtained.
  • the body temperature estimation device 100 further includes an image acquisition unit 120 that acquires a face image of the user 200 by photographing the user 200 directly facing the display unit 140.
  • Display unit 140 displays a facial image.
  • Thermal image acquisition section 110 is arranged at a position horizontally apart from image acquisition section 120.
  • the thermal image acquisition unit 110 executes the photographing process when the user 200
  • the face of the user 200 can be photographed from a photographing direction D2 diagonally intersecting the reference direction D1 in which the user 200 faces. Therefore, a thermal image including the face and temporal region of the user 200 can be easily obtained.
  • the estimation unit 130 estimates the body temperature of the user 200 when the ear 210 of the user 200 is included in the thermal image.
  • the estimation unit 130 does not estimate the body temperature of the user 200 if the thermal image does not include the ear 210 of the user 200. According to this, since the body temperature of the user 200 is not estimated when the estimation accuracy is low, the processing load related to estimation processing can be reduced.
  • the body temperature estimation device 100 further provides a notification for prompting the user 200 to orient the face toward the reference direction D1 when the ear 210 of the user 200 is not included in the thermal image. 150. Therefore, the user 200 can change the direction of the user's 200 face so that the estimation accuracy becomes high. Therefore, it is possible to obtain a body temperature estimation result with high estimation accuracy.
  • the body temperature estimation device 100 further includes an output unit 160 that outputs the body temperature of the user 200 estimated by the estimation unit 130. Therefore, the estimated body temperature of the user 200 can be utilized.
  • the output unit 160 outputs the estimated body temperature of the user 200 when the ear 210 of the user 200 is included in the thermal image.
  • the output unit 160 does not output the body temperature of the user 200 when the ear 210 of the user 200 is not included in the thermal image. According to this, since the body temperature of the user 200 is not output when the estimation accuracy is low, it is possible to suppress the use of estimation results with low estimation accuracy.
  • FIG. 9 is a diagram illustrating an example of a plan view of the body temperature estimation device according to modification example (1) viewed from the front.
  • the body temperature estimation device 100A according to modification (1) differs in the position of the thermal image camera 104 compared to the body temperature estimation device 100 according to the embodiment.
  • the thermal image camera 104 is arranged in the upper region of the non-display area like the camera 105, and is away from the center position C where the camera 105 is arranged. placed in position. Even in this case, the thermal image camera 104 can photograph the user's 200 face from an oblique angle, and can acquire a thermal image including the user's 200 face and temporal region.
  • the display unit 140 may display an image different from the image of the user's 200 face.
  • the display unit 140 can prompt the user 200 to face the display unit 140 by displaying an image different from the image of the user's 200 face.
  • the display unit 140 may prompt the user 200 to face the display unit 140 squarely by displaying a message urging the user to face the display unit 140 squarely.
  • FIG. 10 is a diagram illustrating an example of a plan view of the body temperature estimation device according to modification example (3) viewed from the front.
  • Body temperature estimating device 100B according to modification (3) is different from body temperature estimating device 100 according to the embodiment in that it includes a mirror 108B instead of display unit 140 and that it does not include camera 105. different.
  • Thermal imaging camera 104 is placed at the edge of the reflective surface of mirror 108B.
  • the reference direction in this case is the direction in which the user 200 faces the mirror.
  • the thermal imaging camera 104 is arranged at the edge of the reflective surface of the mirror 108B, the user 200 can easily take a posture to directly face the mirror 108B and look at the user's 200 face reflected in the mirror 108B. Therefore, when the thermal imaging camera 104 executes photography in this posture, the user's 200 face can be photographed from a photography direction diagonally intersecting the reference direction in which the user 200 faces. Therefore, a thermal image including the face and temporal region of the user 200 can be easily obtained.
  • the body temperature estimation device 100B does not need to include the mirror 108B, and may be a device installed at the edge of the mirror 108B.
  • the body temperature estimation device 100B in this case only needs to have a processor 101, a main memory 102, a storage 103, a thermal image camera 104, and a communication IF 106.
  • FIG. 11 is a diagram illustrating another example of a plan view of the body temperature estimating device according to modification example (3) when viewed from the front.
  • the body temperature estimation device 100C according to modification (3) differs from the body temperature estimation device 100B in that the mirror 109 is a three-sided mirror in which three mirrors 109a to 109c are connected by a hinge 109d.
  • the thermal imaging camera 104 is placed on the hinge 109d. That is, the thermal image camera 104 is placed at the edge of the reflective surface of the central mirror 109a.
  • the thermal image camera 104 is arranged at the edge of the reflective surface of the mirrors 108B and 109a, but the thermal imaging camera 104 is not limited to this, and may be arranged on the back side of the mirror 108B and 109a.
  • the mirrors 108B and 109a may be arranged to photograph the user's 200 face through the glass.
  • the thermal imaging camera 104 placed on the back side of the mirrors 108B, 109a is preferably placed at a position horizontally further away from the center of the mirrors 108B, 109a. Further, when the thermal imaging camera 104 is placed on the back side of the mirrors 108B and 109a, it does not need to be placed behind glass, and a through hole is made in the glass where the thermal imaging camera 104 is placed. Good too.
  • FIG. 12 is a diagram showing an example of a plan view of the body temperature estimating device according to modification example (4) when viewed from the front.
  • the thermal image camera 104 of the body temperature estimating device 100D may be placed on the washstand 400.
  • the washstand 400 includes a mirror 401, a washbasin 402, and a faucet 403.
  • the thermal imaging camera 104 may be placed near the faucet 403. Additionally, the thermal imaging camera 104 may be placed above the mirror 401. In this way, by providing two thermal imaging cameras 104, a thermal image can be obtained that includes a wide area from the forehead to the neck of the user 200, that is, areas such as the bottom of the user's 200 chin, the throat, and the upper part of the forehead. . Therefore, highly accurate body temperature estimation can be achieved.
  • the timing of photographing by the thermal imaging camera 104 may be set to a period from when water starts to be discharged from the faucet 403 until a predetermined period of time has elapsed.
  • the thermal imaging camera 104 sets the photographing timing by the thermal imaging camera 104 to a period from when water begins to be discharged from the faucet 403 until a predetermined period of time has elapsed, it is possible to detect the heat when a face without water approaches the thermal imaging camera 104. Images can be easily obtained.
  • FIG. 13 is a diagram illustrating an example of a plan view of the body temperature estimation device according to modification example (5) viewed from above.
  • the body temperature estimation device 100E is installed in a theater such as a movie theater where a screen 501 is provided.
  • a screen 501 When audience members (users) of the theater sit in seats 511 to 513 and 521 to 523, they sit facing the center C of the screen 501.
  • FIG. 13 shows that a thermal imaging camera 104 is placed behind the seats 511-513 in front of the seats 521-523 in order to take thermal images of the faces of the spectators seated in the seats 521-523. ing.
  • the thermal imaging camera 104 placed behind the seat 513 in front of the seat 523 is placed at a position horizontally away from the center of the seat 523.
  • the thermal imaging camera 104 placed behind the seat 513 can photograph the audience seated on the seat 523 from the shooting direction D23 diagonally intersecting the reference direction D13, and the face and temporal region of the audience can be photographed. It is possible to take thermal images including
  • the thermal imaging camera 104 which is placed behind the seats 511 and 512 in front of the seats 521 and 522, is placed near the center of the seats 521 and 522. Thereby, the thermal imaging camera 104 placed behind the seats 511 and 512 can photograph the audience seated in the seats 511 and 512 from the photographing directions D21 and D22 diagonally intersecting the reference directions D11 and D12, A thermal image including the face and temporal region of the audience can be taken.
  • the thermal imaging camera 104 placed in the seat 511 in front of the seat 521 is placed in the seat 513 in front of the seat 523, which is placed closer to the center C of the screen 501 in the horizontal direction than the seat 521.
  • the thermal imaging camera 104 is located further away from the center of the rear seat than the thermal imaging camera 104 .
  • the thermal image camera 104 may be caused to take a thermal image, and the body temperature may be estimated based on the thermal image.
  • this configuration may be applied not only to movie theaters but also to theaters, stadiums, etc.
  • a camera is placed to photograph the stage of a theater or the playing field of a stadium, and when there is something moving within a predetermined range, such as when watching sports, the thermal imaging camera 104 is made to take a thermal image, and the Body temperature may be estimated based on the image.
  • the orientation of a person's face may be estimated based on what the user is viewing, and the user's body temperature may be estimated if it is determined that a predetermined condition is met.
  • highly accurate body temperature estimation can be performed at appropriate timing.
  • the reference direction is a direction directly facing the display 108, a direction directly facing the mirrors 108B and 109a, a direction facing the center of the image in the movie theater, etc., but is not limited thereto.
  • the driving direction of the car may be used. That is, when the body temperature estimating device is placed in a car, the thermal image camera 104 may be placed in a position to take an image of the rear side diagonally with respect to the driving direction of the car.
  • each processing unit included in the body temperature estimation device etc. according to the above embodiment is typically realized as an LSI, which is an integrated circuit. These may be integrated into one chip individually, or may be integrated into one chip including some or all of them.
  • circuit integration is not limited to LSI, and may be realized using a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connections and settings of circuit cells inside the LSI may be used.
  • the present disclosure may be realized as a body temperature estimation device, a body temperature estimation method, etc.
  • the present disclosure is applicable to a body temperature estimation device and a body temperature estimation method that can more accurately estimate a user's body temperature.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Radiation Pyrometers (AREA)

Abstract

体温推定装置（１００）は、体温推定を行うためにユーザ（２００）が顔を向ける基準方向（Ｄ１）に対して斜めに交差する撮影方向（Ｄ２）からユーザ（２００）の顔を撮影することで、ユーザ（２００）の顔及び側頭部を含む熱画像を取得する熱画像取得部（１１０）と、熱画像に基づいて、ユーザ（２００）の体温を推定する推定部（１３０）と、を備える。

Description

体温推定装置、体温推定方法、及び、プログラム
　本開示は、体温推定装置、体温推定方法、及び、プログラムに関する。
　特許文献１には、熱画像を用いて人の深部体温を推定する技術が開示されている。
特開２０１８－１８３５６４号公報
　より精度よくユーザの体温を推定することが求められている。
　そこで、本開示は、より精度よくユーザの体温を推定することができる体温推定装置などを提供する。
　本開示の一態様に係る体温推定装置は、体温推定を行うためにユーザが顔を向ける基準方向に対して斜めに交差する撮影方向から前記ユーザの顔を撮影することで、前記ユーザの顔及び側頭部を含む熱画像を取得する熱画像取得部と、前記熱画像に基づいて、前記ユーザの体温を推定する推定部と、を備える。
　また、本開示の一態様に係る体温推定方法は、体温推定を行うためにユーザが顔を向ける基準方向に対して斜めに交差する撮影方向から前記ユーザの顔を撮影することで、前記ユーザの顔及び側頭部を含む熱画像を取得し、前記熱画像に基づいて、前記ユーザの体温を推定する。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び非一時的な記録媒体の任意な組み合わせで実現されてもよい。
　本開示に係る体温推定装置などは、より精度よくユーザの体温を推定することができる。
図１は、実施の形態に係る体温推定装置の外観の一例を示す図である。 図２は、実施の形態に係る体温推定装置のハードウェア構成の一例を示す図である。 図３は、実施の形態に係る体温推定装置を正面方向から見た平面図の一例を示す図である。 図４は、熱画像カメラ及びカメラとユーザとの位置関係について説明するための図である。 図５は、実施の形態に係る体温推定装置の機能構成の一例を示す図である。 図６は、耳輪および耳珠を説明するための図である。 図７は、ユーザの顔を斜めから撮影したときの熱画像の一例を示す図である。 図８は、実施の形態に係る体温推定装置の動作の一例を示すフローチャートである。 図９は、変形例の（１）に係る体温推定装置を正面方向から見た平面図の一例を示す図である。 図１０は、変形例の（３）に係る体温推定装置を正面方向から見た平面図の一例を示す図である。 図１１は、変形例の（３）に係る体温推定装置を正面方向から見た平面図の他の一例を示す図である。 図１２は、変形例の（４）に係る体温推定装置を正面方向から見た平面図の一例を示す図である。 図１３は、変形例の（５）に係る体温推定装置を上方向から見た平面図の一例を示す図である。
　（本開示の基礎となった知見）
　本発明者は、従来の人の体温を推定する技術に関し、以下の問題が生じることを見出した。
　熱画像を用いてユーザの体温を推定する場合、ユーザの正面に正対させた熱画像カメラにより得られた熱画像を用いて、ユーザの体温を推定する技術が知られている。このような技術では、例えば、ユーザの額の温度に基づいてユーザの体温を推定している。
　しかしながら、ユーザの顔の温度分布は、左右でほぼ同じで、ほぼ左右対称となるため、半分は冗長な情報である。つまり、発明者は、左右で温度分布が異なるように、ユーザの顔の熱画像が得られれば、ユーザの体温を精度よく推定することにつながる可能性があることを見出した。
　そこで、発明者は、ユーザの体温を精度よく推定することができる体温推定装置を見出すに至った。
　本開示の第１の態様に係る体温推定装置は、体温推定を行うためにユーザが顔を向ける基準方向に対して斜めに交差する撮影方向から前記ユーザの顔を撮影することで、前記ユーザの顔及び側頭部を含む熱画像を取得する熱画像取得部と、前記熱画像に基づいて、前記ユーザの体温を推定する推定部と、を備える。
　これによれば、体温推定を行うためにユーザが顔を向ける基準方向に対して斜めに交差する撮影方向からユーザの顔を撮影するため、ユーザの顔が含まれる左右非対称な熱画像を得ることができる。このため、正面から撮影したよりも情報量が多い熱画像を得ることができ、ユーザの体温を精度よく推定することができる。
　本開示の第２の態様に係る体温推定装置は、第１の態様に係る体温推定装置であって、前記熱画像に含まれる前記側頭部は、前記ユーザの耳を含む。
　熱画像は、ユーザの体表面の温度の検出結果であるため、外気などユーザの周囲の温度の影響を受けやすい。熱画像には、ユーザの周囲の温度の影響を受けやすい耳が含まれるため、ユーザの周囲の温度の影響に応じたユーザの体温を推定することができる。よって、ユーザの周囲の温度に対してロバストに、ユーザの体温を推定することができる。
　本開示の第３の態様に係る体温推定装置は、第２の態様に係る体温推定装置であって、前記熱画像に含まれる前記ユーザの耳は、耳珠および耳輪を含む。
　このため、ユーザの周囲の温度に対してロバストにユーザの体温を推定することができる。
　本開示の第４の態様に係る体温推定装置は、第３の態様に係る体温推定装置であって、さらに、映像を表示する表示部を備え、前記熱画像取得部は、前記表示部の表示面の水平方向の中心から離れた位置に配置されており、前記基準方向は、前記ユーザが前記表示部に正対する方向である。
　このため、ユーザが表示部に正対して表示部の映像を閲覧している状態において、熱画像取得部は、撮影を実行すると、ユーザが顔を向ける基準方向に対して斜めに交差する撮影方向からユーザの顔を撮影することができる。よって、ユーザの顔及び側頭部を含む熱画像を容易に取得することができる。
　本開示の第５の態様に係る体温推定装置は、第４の態様に係る体温推定装置であって、さらに、前記表示部に正対するユーザを撮影することで、ユーザの顔画像を取得する画像取得部を備え、前記表示部は、前記顔画像を表示し、前記熱画像取得部は、前記画像取得部から前記水平方向に離れた位置に配置されてもよい。
　このため、ユーザが、ユーザの表示部に正対して表示部に表示されたユーザの顔画像を閲覧している状態において、熱画像取得部は、撮影を実行すると、ユーザが顔を向ける基準方向に対して斜めに交差する撮影方向からユーザの顔を撮影することができる。よって、ユーザの顔及び側頭部を含む熱画像を容易に取得することができる。
　本開示の第６の態様に係る体温推定装置は、第１の態様から第３の態様のいずれか１つの態様に係る体温推定装置であって、前記熱画像取得部は、鏡の一部または鏡の反射面の端縁に配置されており、前記基準方向は、前記ユーザが鏡に正対する方向である。
　このため、ユーザが鏡に正対して鏡に映っているユーザの顔を見ている状態において、熱画像取得部は、撮影を実行すると、ユーザが顔を向ける基準方向に対して斜めに交差する撮影方向からユーザの顔を撮影することができる。よって、ユーザの顔及び側頭部を含む熱画像を容易に取得することができる。
　本開示の第７の態様に係る体温推定装置は、第１の態様から第６の態様のいずれか１つの態様に係る体温推定装置であって、前記熱画像取得部の前記撮影方向は、前記基準方向と１０度以上の角度で交差する。
　これにより、ユーザの側頭部がより多く含まれる熱画像を撮影することができる。
　本開示の第８の態様に係る体温推定装置は、第７の態様に係る体温推定装置であって、前記熱画像取得部の前記撮影方向は、前記基準方向と９０度以下の角度で交差する。
　これにより、ユーザの顔がより多く含まれる熱画像を撮影することができる。
　本開示の第９の態様に係る体温推定装置は、第１の態様から第８の態様のいずれか１つの態様に係る体温推定装置であって、前記推定部は、前記熱画像に前記ユーザの耳が含まれている場合、前記ユーザの体温を推定し、前記熱画像に前記ユーザの耳が含まれていない場合、前記ユーザの体温を推定しない。
　これによれば、推定精度が低い場合、ユーザの体温を推定しないため、推定処理に係る処理負荷を低減することができる。
　本開示の第１０の態様に係る体温推定装置は、第９の態様に係る体温推定装置であって、さらに、前記熱画像に前記ユーザの耳が含まれていない場合、前記ユーザに顔の向きを前記基準方向に向けることを促す通知を行う通知部を備える。
　このため、推定精度が高くなるように、ユーザの顔の向きをユーザに変更させることができる。よって、推定精度が高い体温の推定結果を得ることができる。
　本開示の第１１の態様に係る体温推定装置は、第１の態様から第１０の態様のいずれか１つの態様に係る体温推定装置であって、さらに、前記推定部により推定された前記ユーザの体温を出力する出力部を備える。
　このため、推定されたユーザの体温を活用することができる。
　本開示の第１２の態様に係る体温推定装置は、第１１の態様に係る体温推定装置であって、前記出力部は、前記熱画像に前記ユーザの耳が含まれている場合、推定された前記ユーザの体温を出力し、前記熱画像に前記ユーザの耳が含まれていない場合、前記ユーザの体温を出力しない。
　これによれば、推定精度が低い場合、ユーザの体温を出力しないため、推定精度が低い推定結果を活用することを抑制することができる。
　本開示の第１３の態様に係る体温推定方法は、体温推定を行うためにユーザが顔を向ける基準方向に対して斜めに交差する撮影方向から前記ユーザの顔を撮影することで、前記ユーザの顔及び側頭部を含む熱画像を取得し、前記熱画像に基づいて、前記ユーザの体温を推定する。
　これによれば、体温推定を行うためにユーザが顔を向ける基準方向に対して斜めに交差する撮影方向からユーザの顔を撮影するため、ユーザの顔が含まれる左右非対称な熱画像を得ることができる。このため、正面から撮影したよりも情報量が多い熱画像を得ることができ、ユーザの体温を精度よく推定することができる。
　本開示の第１４の態様に係るプログラムは、第１３の態様に係る体温推定方法をコンピュータに実行させるためのプログラムである。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び非一時的な記録媒体の任意な組み合わせで実現されてもよい。
　以下、図面を参照しながら、実施の形態について説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。つまり、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素は、本開示の課題を達成するために必ずしも必要ではないが、より好ましい形態を構成する構成要素として説明される。
　（実施の形態）
　［１．構成］
　まず、本開示に係る体温推定装置の構成について説明する。
　図１は、実施の形態に係る体温推定装置の外観の一例を示す図である。
　体温推定装置１００は、ユーザ２００の顔を熱画像カメラ１０４により得られた熱画像に基づいて、ユーザ２００の体温を推定する装置である。体温推定装置１００は、具体的には、ユーザ２００の耳２１０を含む顔の熱画像に基づいてユーザ２００の体温を推定する。本実施の形態では、体温推定装置１００は、例えば、タブレット端末により構成される。
　図２は、実施の形態に係る体温推定装置のハードウェア構成の一例を示す図である。
　体温推定装置１００は、プロセッサ１０１と、メインメモリ１０２と、ストレージ１０３と、熱画像カメラ１０４と、カメラ１０５と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０６と、入力ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０７と、ディスプレイ１０８と、を備える。
　プロセッサ１０１は、ストレージ１０３等に記憶されたプログラムを実行するプロセッサである。
　メインメモリ１０２は、プロセッサ１０１がプログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。
　ストレージ１０３は、プログラムなどの各種データを保持する不揮発性の記憶領域である。
　熱画像カメラ１０４は、撮影範囲における二次元的な温度分布を検出することで、熱画像を生成する。熱画像は、垂直方向及び水平方向に並ぶ複数の画素を含む。複数の画素のそれぞれは、熱画像カメラ１０４の撮影範囲の当該画素に対応する位置において検出された温度を示す画素値を有する。
　カメラ１０５は、撮影範囲における静止画または動画を撮影する。カメラ１０５は、ＲＧＢカメラであってもよいし、モノクロカメラであってもよい。つまり、カメラ１０５により生成される画像に含まれる垂直方向及び水平方向に並ぶ複数の画素のそれぞれは、赤（Ｒ）、緑（Ｇ）、及び、青（Ｂ）のサブピクセルを有するＲＧＢ画像であってもよいし、白のみのモノクロ画像であってもよい。
　通信ＩＦ１０６は、スマートフォン、タブレット、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、サーバなどの外部機器との間でデータの伝送を行うための通信インタフェースである。通信ＩＦ１０６は、例えば、無線ＬＡＮインタフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）インタフェースなどの無線通信のためのインタフェースであってもよい。通信ＩＦ１０６は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、有線ＬＡＮインタフェースなどの有線通信のためのインタフェースであってもよい。なお、通信ＩＦ１０６は、上記に限らずに、通信ネットワークを介して外部機器との間でデータの伝送を行うための通信インタフェースであってもよい。
　入力ＩＦ１０７は、人からの入力を受け付けるためのインタフェースである。入力ＩＦ１０７は、タッチパネルなどのポインティングデバイスであってもよい。ポインティングデバイスは、タッチパネルに限らずに、マウス、タッチパッド、トラックボールなどであってもよい。また、入力ＩＦ１０７は、ポインティングデバイスに限らず、キーボードであってもよい。
　ディスプレイ１０８は、液晶ディスプレイ、有機ＥＬディスプレイなどである。
　なお、体温推定装置１００は、カメラ１０５、通信ＩＦ１０６、入力ＩＦ１０７及びディスプレイ１０８の少なくとも１つを備えていなくてもよい。
　図３は、実施の形態に係る体温推定装置を正面方向から見た平面図の一例を示す図である。ここでは、熱画像カメラ１０４及びカメラ１０５の体温推定装置１００に対する配置位置について説明する。
　同図に示されるように、体温推定装置１００は、矩形板状のタブレット端末であり、正面側にディスプレイ１０８と、熱画像カメラ１０４と、カメラ１０５とが配置されている。ディスプレイ１０８は、正面方向から見た場合、体温推定装置１００の周縁から離れた位置に配置されている。つまり、体温推定装置１００は、正面方向から見た場合の体温推定装置１００の周縁とディスプレイ１０８との間には、何も表示されない環状の非表示領域Ａ１がある。非表示領域Ａ１は、環状の領域を有し、ディスプレイ１０８よりも上側の領域、右側の領域、下側の領域、及び、左側の領域の４つの領域を有する。そして、熱画像カメラ１０４及びカメラ１０５は、非表示領域Ａ１に配置されている。具体的には、熱画像カメラ１０４は、体温推定装置１００をユーザ２００に対して所定の姿勢に配置した場合、環状の非表示領域Ａ１のうち左側の領域に配置されている。また、カメラ１０５は、体温推定装置１００をユーザ２００に対して所定の姿勢に配置した場合、環状の非表示領域Ａ１のうち上側の領域の水平方向の中心の位置に配置されている。つまり、カメラ１０５は、体温推定装置１００の水平方向の中心の位置Ｃに配置されている。
　ここで、所定の姿勢とは、例えば、体温推定装置１００の長手方向がユーザ２００の顔の水平方向に沿った姿勢であり、カメラ１０５がディスプレイ１０８の上側に配置される姿勢である。なお、所定の姿勢は、カメラ１０５がディスプレイ１０８の下側に配置される姿勢であってもよい。
　上述したように、熱画像カメラ１０４は非表示領域Ａ１の左側の領域に配置され、カメラ１０５は体温推定装置１００の水平方向の中心の位置Ｃに配置されている。つまり、熱画像カメラ１０４は、カメラ１０５から体温推定装置１００の水平方向に離れた位置に配置されている。また、熱画像カメラ１０４は、ディスプレイ１０８の表示面の水平方向の中心から離れた位置に配置されているとも言える。
　次に、体温推定装置１００の正面にユーザ２００が正対した場合の、熱画像カメラ１０４及びカメラ１０５とユーザ２００との位置関係について説明する。
　図４は、熱画像カメラ及びカメラとユーザとの位置関係について説明するための図である。図４は、体温推定装置１００の正面にユーザ２００が正対している場合において、体温推定装置１００及びユーザ２００を上方から見た場合の平面図である。
　同図に示されるように、体温推定装置１００のディスプレイ１０８の正面にユーザ２００が正対した場合、ユーザ２００の顔は、カメラ１０５に対して正対する位置に位置する。この時、ユーザ２００が顔を向ける基準方向Ｄ１は、ユーザ２００がディスプレイ１０８に正対する方向であるため、カメラ１０５の位置を通過する。つまり、カメラ１０５は、ユーザ２００の顔を正面から撮影することができる。
　一方で、熱画像カメラ１０４は、体温推定装置１００の左端の位置に配置されており、カメラ１０５よりも水平方向の左側の位置に配置される。このため、熱画像カメラ１０４は、基準方向Ｄ１に対して斜めに交差する撮影方向Ｄ２からユーザ２００の顔を撮影することとなる。
　図５は、実施の形態に係る体温推定装置の機能構成の一例を示す図である。
　体温推定装置１００は、熱画像取得部１１０と、画像取得部１２０と、推定部１３０と、表示部１４０と、通知部１５０と、出力部１６０とを備える。
　熱画像取得部１１０は、図４の位置関係でユーザ２００の顔の撮影を行うことで、体温推定を行うためにユーザ２００が顔を向ける基準方向Ｄ１に対して斜めに交差する撮影方向Ｄ２からユーザの顔を撮影することとなる。これにより、熱画像取得部１１０は、ユーザ２００の顔及び側頭部を含む熱画像を取得する。ユーザ２００の側頭部は、ユーザ２００の耳２１０を含む。また、耳２１０は、図６に示すように、耳珠２１２及び耳輪２１１を含む。熱画像取得部１１０は、例えば、熱画像カメラ１０４により実現される。
　画像取得部１２０は、図４の位置関係でユーザ２００の顔の撮影を行うことで、ディスプレイ１０８に正対するユーザ２００の顔の正面を撮影する。これにより、画像取得部１２０は、ユーザ２００の正面の顔の画像である顔画像を取得する。つまり、画像取得部１２０は、熱画像が撮影された位置とはユーザの水平方向に異なる位置から撮影された画像を取得する。画像取得部１２０は、例えば、カメラ１０５により実現される。
　推定部１３０は、熱画像取得部１１０によって取得された熱画像に基づいて、ユーザ２００の体温を推定する。推定部１３０は、具体的には、機械学習モデルを用いて、取得された熱画像からユーザ２００の体温を推定してもよい。機械学習モデルは、例えば、ユーザ２００の顔及び側頭部を含む熱画像と、当該熱画像を撮影した時にユーザ２００の脇の下や舌下などを体温計で計測した体温の計測結果である正解データとの組み合わせを複数含む学習用データセットを用いて生成されてもよい。
　なお、推定部１３０は、機械学習モデルを用いてユーザ２００の体温を推定することに限らずに、熱画像における、ユーザ２００の顔の正面の部位（例えば、額）の温度と、ユーザ２００の側頭部（例えば、耳）とに基づいてユーザ２００の体温を推定してもよい。推定部１３０は、額の温度を耳の温度に応じて補正することでユーザ２００の体温を推定してもよい。推定部１３０は、耳の温度が低いほど額の温度から推定できる体温が大きくなるように補正してもよい。
　また、推定部１３０は、熱画像にユーザ２００の耳２１０が含まれているか否かを判定してもよい。そして、推定部１３０は、熱画像にユーザ２００の耳２１０が含まれている場合、ユーザ２００の体温を推定してもよい。また、推定部１３０は、熱画像にユーザ２００の耳２１０が含まれていない場合、ユーザ２００の体温を推定しなくてもよい。
　推定部１３０は、例えば、プロセッサ１０１、メインメモリ１０２及びストレージ１０３などにより実現される。
　表示部１４０は、映像を表示する。具体的には、表示部１４０は、画像取得部１２０により撮影された顔画像を表示してもよい。つまり、表示部１４０は、ユーザ２００の顔の正面の画像を表示することで、ユーザ２００の顔を表示部１４０に対して正対するように促すことが効果的にできる。これにより、熱画像取得部１１０に、ユーザ２００の顔を基準方向Ｄ１に対して斜めに交差する撮影方向Ｄ２から撮影させることができる。表示部１４０は、例えば、ディスプレイ１０８により実現される。
　図７は、ユーザの顔を斜めから撮影したときの熱画像の一例を示す図である。
　熱画像３００は、白に近いほど温度が高いことを示し、黒に近いほど温度が低いことを示す。なお、熱画像３００の斜線の領域は、背景の領域であり、実際には背景が映り込んでいてもよい。つまり、図７では、背景の領域を省略している。熱画像３００は、ユーザ２００の顔の正面を含む領域３０１と、ユーザ２００の側頭部の耳２１０を含む領域３０２とを含む。領域３０１には、白に近い画素が多く含まれていることが分かる。一方で領域３０２に含まれる画素は、領域３０１よりも黒に近いことが分かる。このように、ユーザ２００の顔の正面を含む領域３０１と、ユーザ２００の側頭部の耳２１０を含む領域３０２とを含む熱画像３００は、顔の正面が撮影されて、顔の左右で同じような温度分布を含む熱画像よりも情報量が多いことが分かる。
　推定部１３０がユーザ２００の体温を精度よく推定するためには、顔の正面だけではなく、ユーザ２００の側頭部が含まれる熱画像が必要である。ユーザ２００の側頭部は上述の通りユーザ２００の正面を含む領域よりも温度が低い。このことは側頭部の表面温度が外気温の影響を受けやすいことを表しており、側頭部の温度を用いることで、外気温の影響を踏まえた高精度な体温の推定が可能である。即ち、外気温が異なる条件下でも体温を正確に推定することが可能になる。特に側頭部の中で耳２１０を含むことでさらに外気温の影響を踏まえた高精度な体温推定が可能である。例えば、熱画像取得部１１０の撮影方向Ｄ２は、基準方向Ｄ１と１０度以上の角度で交差することが好ましい。これにより、熱画像取得部１１０は、ユーザ２００の側頭部がより多く含まれる熱画像を取得することができる。一方で、ユーザ２００の顔が含まれている必要がある。よって、例えば、熱画像取得部１１０の撮影方向Ｄ２は、基準方向Ｄ１と９０度以下の角度で交差することが好ましい。これにより、熱画像取得部１１０は、ユーザ２００の顔がより多く含まれる熱画像を取得することができる。特に、熱画像には、ユーザ２００の耳２１０が含まれることが好ましく、さらにユーザ２００の耳２１０の耳輪２１１と耳珠２１２とが区別できるように含まれることが好ましい。つまり、熱画像取得部１１０の撮影方向Ｄ２が、基準方向Ｄ１と１０度以上９０度以下の角度で交差する姿勢になるように体温推定装置１００とユーザ２００の顔との位置関係を調整することで、熱画像取得部１１０は、ユーザ２００の顔及び側頭部の両方がバランスよく含まれる熱画像を取得することができる。よって、推定部１３０は、より精度よくユーザ２００の体温を推定することができる。
　通知部１５０は、熱画像にユーザ２００の耳２１０が含まれていないと推定部１３０により判定された場合、ユーザ２００に顔の向きを基準方向Ｄ１、つまり、体温推定装置１００のディスプレイ１０８に正対する方向に向けることを促す通知を行う。通知部１５０は、表示部１４０に、ユーザ２００に顔の向きを基準方向Ｄ１に向けることを促すメッセージを表示させてもよいし、体温推定装置１００が備えるスピーカ（図示せず）から上記メッセージを音で出力させてもよいし、ユーザ２００が所持する端末（図示せず）に上記メッセージを通知させる情報を送信してもよい。また、通知部１５０は、体温推定装置１００が配置されている空間に配置されている表示部またはスピーカに上記メッセージを通知させる情報を送信し、上記メッセージをユーザ２００に通知させてもよい。通知部１５０は、例えば、プロセッサ１０１、メインメモリ１０２、ストレージ１０３、通信ＩＦ１０６、及び、ディスプレイ１０８などにより実現される。
　出力部１６０は、推定部１３０により推定されたユーザ２００の体温を出力する。出力部１６０は、熱画像にユーザ２００の耳２１０が含まれていると推定部１３０により判定された場合、推定されたユーザ２００の体温を出力し、熱画像にユーザ２００の耳２１０が含まれていないと判定された場合、ユーザ２００の体温を出力しなくてもよい。
　出力部１６０は、表示部１４０に、推定されたユーザ２００の体温を表示させることで、ユーザ２００の体温を出力してもよい。出力部１６０は、体温推定装置１００が備えるスピーカ（図示せず）に、推定されたユーザ２００の体温を音で出力させることで、ユーザ２００の体温を出力してもよい。出力部１６０は、ユーザ２００が所持する端末（図示せず）に、ユーザ２００の体温を提示させる情報を送信することで、ユーザ２００の体温を出力してもよい。出力部１６０は、サーバなどの外部装置（図示せず）に、ユーザ２００の体温を示す情報を送信することで、ユーザ２００の体温を出力してもよい。出力部１６０は、例えば、プロセッサ１０１、メインメモリ１０２、ストレージ１０３、通信ＩＦ１０６、及び、ディスプレイ１０８などにより実現される。
　なお、推定部１３０により推定されたユーザ２００の体温は、体温推定装置１００のストレージ１０３に蓄積されてもよい。この場合、体温推定装置１００は、画像取得部１２０により取得された画像に対して顔認識してユーザを識別し、識別したユーザ毎に推定した体温を蓄積してもよい。つまり、推定された体温は、ユーザの識別情報毎に対応付けて管理されてもよい。また、推定された体温は、体温の推定が行われた時刻と対応付けられて記録されてもよい。
　［２．動作］
　次に、体温推定装置１００の動作について説明する。
　図８は、実施の形態に係る体温推定装置の動作の一例を示すフローチャートである。
　体温推定装置１００は、体温推定を行うためにユーザ２００が顔を向ける基準方向Ｄ１に対して斜めに交差する撮影方向Ｄ２からユーザ２００の顔を撮影することで、ユーザ２００の顔及び側頭部を含む熱画像を取得する（Ｓ１１）。
　次に、体温推定装置１００は、ディスプレイ１０８に正対するユーザ２００を撮影することで、ユーザ２００の顔画像を取得する（Ｓ１２）。なお、ステップＳ１２は、ステップＳ１１の後に行われなくてもよく、ステップＳ１１と並行に行われてもよい。
　次に、体温推定装置１００は、顔画像を表示する（Ｓ１３）。
　次に、体温推定装置１００は、ステップＳ１１で取得された熱画像に耳が含まれるか否かを判定する（Ｓ１４）。
　体温推定装置１００は、熱画像に耳が含まれると判定すると（Ｓ１４でＹｅｓ）、当該熱画像を用いてユーザ２００の体温を推定する（Ｓ１５）。
　そして、体温推定装置１００は、推定したユーザ２００の体温を出力する（Ｓ１６）。
　一方で、体温推定装置１００は、熱画像に耳が含まれていないと判定すると（Ｓ１４でＮｏ）、当該熱画像を用いてユーザの体温を推定しない（Ｓ１７）。
　そして、体温推定装置１００は、ユーザ２００に顔の向きを、体温推定装置１００のディスプレイ１０８に正対する方向に向けることを促すメッセージを通知する（Ｓ１８）。
　ステップＳ１８が終了すると、ステップＳ１１に戻る。なお、ステップＳ１８は、ステップＳ１４でＮｏと判定されていれば、ステップＳ１７よりも前に行われてもよいし、ステップＳ１７と並行して行われてもよい。
　また、ステップＳ１６が終了すると処理を終了せずに、ステップＳ１１に戻ってもよい。
　なお、ステップＳ１４では、体温推定装置１００は、ユーザ２００の顔の向きが所定の方向か否かを判定してもよい。所定の方向とは、撮影方向Ｄ２に対して斜め方向に交差する方向であり、撮影方向Ｄ２に対して１０度以上９０度以下の角度範囲に含まれる方向である。つまり、基準方向Ｄ１は、所定の方向の一例である。この判定においてＹｅｓである場合には、ステップＳ１５が実行され、Ｎｏである場合には、ステップＳ１７が実行される。
　また、ステップＳ１４において、熱画像に耳が含まれるか否かを判定する代わりに、ユーザ２００の片側の頬のみが撮影されているか否かを判定してもよいし、片目のみが撮影されているか否かを判定してもよい。ここでは、ユーザ２００の顔が斜め方向から撮影されていることが確認できれば他の方法が用いられてもよい。
　［３．効果など］
　本実施の形態に係る体温推定装置１００は、熱画像取得部１１０と、推定部１３０とを備える。熱画像取得部１１０は、体温推定を行うためにユーザ２００が顔を向ける基準方向Ｄ１に対して斜めに交差する撮影方向Ｄ２からユーザ２００の顔を撮影することで、ユーザの顔及び側頭部を含む熱画像を取得する。推定部１３０は、熱画像に基づいて、ユーザの体温を推定する。
　これによれば、体温推定を行うためにユーザ２００が顔を向ける基準方向Ｄ１に対して斜めに交差する撮影方向Ｄ２からユーザ２００の顔を撮影するため、ユーザ２００の顔が含まれる左右非対称な熱画像を得ることができる。このため、正面から撮影したよりも情報量が多い熱画像を得ることができ、ユーザ２００の体温を精度よく推定することができる。
　また、本実施の形態に係る体温推定装置１００において、熱画像に含まれる側頭部は、ユーザ２００の耳２１０を含む。熱画像は、ユーザ２００の体表面の温度の検出結果であるため、外気などユーザ２００の周囲の温度の影響を受けやすい。熱画像には、ユーザ２００の周囲の温度の影響を受けやすい耳２１０が含まれるため、ユーザ２００の周囲の温度の影響に応じたユーザ２００の体温を推定することができる。よって、ユーザ２００の周囲の温度に対してロバストに、ユーザ２００の体温を推定することができる。
　また、本実施の形態に係る体温推定装置１００において、熱画像に含まれるユーザ２００の耳２１０は、耳珠２１２および耳輪２１１を含む。このため、ユーザ２００の周囲の温度に対してロバストにユーザ２００の体温を推定することができる。
　また、本実施の形態に係る体温推定装置１００は、さらに、映像を表示する表示部１４０を備える。熱画像取得部１１０は、表示部１４０の表示面の水平方向の中心から離れた位置に配置されている。基準方向Ｄ１は、ユーザ２００が表示部１４０に正対する方向である。
　このため、ユーザ２００が表示部１４０に正対して表示部１４０の映像を閲覧している状態において、熱画像取得部１１０は、撮影を実行すると、ユーザ２００が顔を向ける基準方向Ｄ１に対して斜めに交差する撮影方向Ｄ２からユーザ２００の顔を撮影することができる。よって、ユーザ２００の顔及び側頭部を含む熱画像を容易に取得することができる。
　また、本実施の形態に係る体温推定装置１００は、さらに、表示部１４０に正対するユーザ２００を撮影することで、ユーザ２００の顔画像を取得する画像取得部１２０を備える。表示部１４０は、顔画像を表示する。熱画像取得部１１０は、画像取得部１２０から水平方向に離れた位置に配置される。
　このため、ユーザ２００が、ユーザ２００の表示部１４０に正対して表示部１４０に表示されたユーザ２００の顔画像を閲覧している状態において、熱画像取得部１１０は、撮影を実行すると、ユーザ２００が顔を向ける基準方向Ｄ１に対して斜めに交差する撮影方向Ｄ２からユーザ２００の顔を撮影することができる。よって、ユーザ２００の顔及び側頭部を含む熱画像を容易に取得することができる。
　また、本実施の形態に係る体温推定装置１００において、推定部１３０は、熱画像にユーザ２００の耳２１０が含まれている場合、ユーザ２００の体温を推定する。推定部１３０は、熱画像にユーザ２００の耳２１０が含まれていない場合、ユーザ２００の体温を推定しない。これによれば、推定精度が低い場合、ユーザ２００の体温を推定しないため、推定処理に係る処理負荷を低減することができる。
　また、本実施の形態に係る体温推定装置１００は、さらに、熱画像にユーザ２００の耳２１０が含まれていない場合、ユーザ２００に顔の向きを基準方向Ｄ１に向けることを促す通知を行う通知部１５０を備える。このため、推定精度が高くなるように、ユーザ２００の顔の向きをユーザ２００に変更させることができる。よって、推定精度が高い体温の推定結果を得ることができる。
　また、本実施の形態に係る体温推定装置１００は、さらに、推定部１３０により推定されたユーザ２００の体温を出力する出力部１６０を備える。このため、推定されたユーザ２００の体温を活用することができる。
　また、本実施の形態に係る体温推定装置１００において、出力部１６０は、熱画像にユーザ２００の耳２１０が含まれている場合、推定されたユーザ２００の体温を出力する。出力部１６０は、熱画像にユーザ２００の耳２１０が含まれていない場合、ユーザ２００の体温を出力しない。これによれば、推定精度が低い場合、ユーザ２００の体温を出力しないため、推定精度が低い推定結果を活用することを抑制することができる。
　［４．変形例］
　（１）
　変形例の（１）に係る体温推定装置１００Ａについて説明する。図９は、変形例の（１）に係る体温推定装置を正面方向から見た平面図の一例を示す図である。
　変形例の（１）に係る体温推定装置１００Ａは、実施の形態に係る体温推定装置１００と比較して、熱画像カメラ１０４の位置が異なる。変形例の（１）に係る体温推定装置１００Ａでは、熱画像カメラ１０４は、カメラ１０５と同様に非表示領域のうち上側の領域に配置され、カメラ１０５が配置される中心の位置Ｃから離れた位置に配置される。この場合であっても、熱画像カメラ１０４は、ユーザ２００の顔を斜めから撮影することができ、ユーザ２００の顔及び側頭部を含む熱画像を取得することができる。
　（２）
　上記実施の形態に係る体温推定装置１００は、熱画像カメラ１０４及びカメラ１０５の両方を含む構成としたが、これに限らずに、カメラ１０５を備えていなくてもよい。この場合、表示部１４０は、ユーザ２００の顔の映像とは異なる映像を表示してもよい。表示部１４０は、ユーザ２００の顔の映像とは異なる映像を表示することでも、ユーザ２００の顔を表示部１４０に対して正対するように促すことができる。また、表示部１４０は、表示部１４０に対して正対することをユーザに促すメッセージを表示することで、ユーザ２００の顔を表示部１４０に対して正対するように促してもよい。
　（３）
　変形例の（３）に係る体温推定装置１００Ｂについて説明する。図１０は、変形例の（３）に係る体温推定装置を正面方向から見た平面図の一例を示す図である。
　変形例の（３）に係る体温推定装置１００Ｂは、実施の形態に係る体温推定装置１００と比較して、表示部１４０の代わりに鏡１０８Ｂを備える点、及び、カメラ１０５を備えていない点が異なる。熱画像カメラ１０４は、鏡１０８Ｂの反射面の端縁に配置されている。この場合の基準方向は、ユーザ２００が鏡に正対する方向である。
　このように、熱画像カメラ１０４が鏡１０８Ｂの反射面の端縁に配置されているため、ユーザ２００が鏡１０８Ｂに正対して鏡１０８Ｂに映っているユーザ２００の顔を見る姿勢を取りやすい。よって、この姿勢において、熱画像カメラ１０４が撮影を実行すると、ユーザ２００が顔を向ける基準方向に対して斜めに交差する撮影方向からユーザ２００の顔を撮影することができる。よって、ユーザ２００の顔及び側頭部を含む熱画像を容易に取得することができる。
　なお、体温推定装置１００Ｂは、鏡１０８Ｂを備えていなくてもよく、鏡１０８Ｂの端縁に設置される装置であればよい。この場合の体温推定装置１００Ｂは、プロセッサ１０１、メインメモリ１０２、ストレージ１０３、熱画像カメラ１０４、及び、通信ＩＦ１０６を有していればよい。
　また、図１１に示すような体温推定装置１００Ｃであってもよい。図１１は、変形例の（３）に係る体温推定装置を正面方向から見た平面図の他の一例を示す図である。
　変形例の（３）に係る体温推定装置１００Ｃは、体温推定装置１００Ｂと比較して、鏡１０９が３枚の鏡１０９ａ～１０９ｃがヒンジ１０９ｄで接続された三面鏡である点が異なる。この場合、熱画像カメラ１０４は、ヒンジ１０９ｄに配置される。つまり、熱画像カメラ１０４は、中央の鏡１０９ａの反射面の端縁に配置される。
　なお、体温推定装置１００Ｂ及び体温推定装置１００Ｃにおいて、熱画像カメラ１０４は、鏡１０８Ｂ、１０９ａの反射面の端縁に配置されるとしたが、これに限らずに、鏡１０８Ｂ、１０９ａの裏側に鏡１０８Ｂ、１０９ａのガラス越しにユーザ２００の顔を撮影するように配置されてもよい。この場合、鏡１０８Ｂ、１０９ａの裏側に配置される熱画像カメラ１０４は、鏡１０８Ｂ、１０９ａの中心よりも水平方向に離れた位置に配置されるとよい。また、熱画像カメラ１０４は、鏡１０８Ｂ、１０９ａの裏側に配置される場合、ガラス越しに配置されなくてもよく、熱画像カメラ１０４が配置される部分のガラスには貫通孔が空けられていてもよい。
　（４）
　変形例の（４）に係る体温推定装置１００Ｄについて説明する。図１２は、変形例の（４）に係る体温推定装置を正面方向から見た平面図の一例を示す図である。
　体温推定装置１００Ｄの熱画像カメラ１０４は、洗面台４００に、配置されてもよい。洗面台４００は、鏡４０１、洗面器４０２、及び、水栓４０３を備える。熱画像カメラ１０４は、水栓４０３の近傍に配置されてもよい。また、熱画像カメラ１０４は、鏡４０１の上部に配置されてもよい。このように、２つの熱画像カメラ１０４を設けることで、ユーザ２００の額から首までの広い領域、つまり、ユーザ２００の顎の下、のど、額の上部などの領域を含む熱画像が得られる。このため、高精度な体温推定を実現することができる。
　また、熱画像カメラ１０４による撮影タイミングを水栓４０３から水が放出され始めてから所定時間が経過するまでの間に設定してもよい。水栓４０３から水が放出され始めた時に、ユーザ２００が顔を洗うために水栓４０３に顔を近づけている可能性が高い。一方で、ユーザ２００が水を顔につけてしまうと、顔の体温を取得することが困難になる。よって、熱画像カメラ１０４による撮影タイミングを水栓４０３から水が放出され始めてから所定時間が経過するまでの間に設定することで、水がついていない顔が熱画像カメラ１０４に近づいた時の熱画像を得られやすくすることができる。
　（５）
　変形例の（５）に係る体温推定装置１００Ｅについて説明する。図１３は、変形例の（５）に係る体温推定装置を上方向から見た平面図の一例を示す図である。
　体温推定装置１００Ｅは、スクリーン５０１がある映画館などの劇場に設置される。劇場の観客（ユーザ）は、座席５１１～５１３、５２１～５２３に着席すると、スクリーン５０１の中心Ｃを向いて座る。図１３では、座席５２１～５２３に着席した観客の顔の熱画像を撮影するために、座席５２１～５２３の前の座席５１１～５１３の後方に熱画像カメラ１０４が配置されていることが示されている。
　スクリーン５０１の中心Ｃの位置に配置される座席５２３に着席した観客は、スクリーン５０１に対して垂直な方向である基準方向Ｄ１３を向いて座る。このため、座席５２３の前の座席５１３の後方に配置される熱画像カメラ１０４は、座席５２３の中心から水平方向に離れた位置に配置される。これにより、座席５１３の後方に配置される熱画像カメラ１０４は、基準方向Ｄ１３に斜めに交差する撮影方向Ｄ２３から座席５２３に着席した観客を撮影することができ、当該観客の顔及び側頭部を含む熱画像を撮影することができる。
　また、スクリーン５０１の中心Ｃの位置から水平方向に離れた位置に配置される座席５２１、５２２に着席した観客は、スクリーン５０１に対して斜めに交差する方向である基準方向Ｄ１１、Ｄ１２を向いて座る。このため、座席５２１、５２２の前の座席５１１、５１２の後方に配置される熱画像カメラ１０４は、座席５２１、５２２の中心付近の位置に配置される。これにより、座席５１１、５１２の後方に配置される熱画像カメラ１０４は、基準方向Ｄ１１、Ｄ１２に斜めに交差する撮影方向Ｄ２１、Ｄ２２から座席５１１、５１２に着席した観客を撮影することができ、当該観客の顔及び側頭部を含む熱画像を撮影することができる。
　このように、座席５２１の前方の座席５１１に配置される熱画像カメラ１０４は、座席５２１よりも水平方向においてスクリーン５０１の中心Ｃに近い位置に配置される座席５２３の前方の座席５１３に配置される熱画像カメラ１０４よりも、後方の座席の中心より離れた位置に配置される。
　なお、スクリーン５０１に表示させている映像の所定の領域に注視内容がある場合、（例えばスクリーン５０１の中心Ｃに動いているものがある時や、中心Ｃに所定以上の照度物体がある時）に熱画像カメラ１０４に熱画像を撮影させ、当該熱画像に基づいて体温の推定を行ってもよい。
　また、この構成は、映画館に限らずに、劇場やスタジアムなどに適用してもよい。この場合、例えば、劇場のステージやスタジアムの競技場を撮影するカメラを配置し、スポーツ観戦等で所定の範囲に動いているものがある時に、熱画像カメラ１０４に熱画像を撮影させ、当該熱画像に基づいて体温の推定を行ってもよい。
　このように、ユーザが見ている内容に基づいて人の顔の向きを推定し、所定の条件を満たすと判断した場合に、ユーザの体温を推定してもよい。これにより、適切なタイミングで高精度な体温推定を行うことができる。
　なお、座席にヘッドレストがある場合、ヘッドレストに残った熱により誤検知する場合があるため、ヘッドレストやヘッドレストのカバーの材質を輻射率が小さい材質を採用してもよい。
　（６）
　上記実施の形態または変形例では、基準方向は、ディスプレイ１０８に正対する方向、鏡１０８Ｂ、１０９ａに正対する方向、映画館の映像の中心を向く方向などとしたが、これに限らない。例えば、自動車を運転中のユーザの体温を推定する場合には、自動車の走行方向であってもよい。つまり、自動車に体温推定装置が配置される場合には、熱画像カメラ１０４は、自動車の走行方向に対して斜め方向の後方を撮影するような位置に配置されてもよい。
　以上、本開示の実施の形態に係る体温推定装置等について説明したが、本開示は、この実施の形態に限定されるものではない。
　また、上記実施の形態に係る体温推定装置等に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、本開示は、体温推定装置、体温推定方法等として実現されてもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　以上、一つまたは複数の態様に係る画像処理システム、画像処理装置、サーバ、表示装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
　本開示は、より精度よくユーザの体温を推定することができる体温推定装置及び体温推定方法に適用可能である。
１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ　　体温推定装置
１０１　　プロセッサ
１０２　　メインメモリ
１０３　　ストレージ
１０４　　熱画像カメラ
１０５　　カメラ
１０６　　通信ＩＦ
１０７　　入力ＩＦ
１０８　　ディスプレイ
１０８Ｂ、１０９、１０９ａ～１０９ｃ　　鏡
１０９ｄ　　ヒンジ
１１０　　熱画像取得部
１２０　　画像取得部
１３０　　推定部
１４０　　表示部
１５０　　通知部
１６０　　出力部
２００　　ユーザ
２１０　　耳
２１１　　耳輪
２１２　　耳珠
３００　　熱画像
３０１、３０２　　領域
４００　　洗面台
４０１　　鏡
４０２　　洗面器
４０３　　水栓
５０１　　スクリーン
５１１～５１３、５２１～５２３　　座席
　Ａ１　　非表示領域
　Ｄ１、Ｄ１１～Ｄ１３　　基準方向
　Ｄ２、Ｄ２１～Ｄ２３　　撮影方向

Claims (14)

  1. 　体温推定を行うためにユーザが顔を向ける基準方向に対して斜めに交差する撮影方向から前記ユーザの顔を撮影することで、前記ユーザの顔及び側頭部を含む熱画像を取得する熱画像取得部と、
    　前記熱画像に基づいて、前記ユーザの体温を推定する推定部と、を備える
    　体温推定装置。
  2. 　前記熱画像に含まれる前記側頭部は、前記ユーザの耳を含む
    　請求項１に記載の体温推定装置。
  3. 　前記熱画像に含まれる前記ユーザの耳は、耳珠および耳輪を含む
    　請求項２に記載の体温推定装置。
  4. 　さらに、
    　映像を表示する表示部を備え、
    　前記熱画像取得部は、前記表示部の表示面の水平方向の中心から離れた位置に配置されており、
    　前記基準方向は、前記ユーザが前記表示部に正対する方向である
    　請求項３に記載の体温推定装置。
  5. 　さらに、
    　前記表示部に正対するユーザを撮影することで、ユーザの顔画像を取得する画像取得部を備え、
    　前記表示部は、前記顔画像を表示し、
    　前記熱画像取得部は、前記画像取得部から前記水平方向に離れた位置に配置される
    　請求項４に記載の体温推定装置。
  6. 　前記熱画像取得部は、鏡の一部または鏡の反射面の端縁に配置されており、
    　前記基準方向は、前記ユーザが鏡に正対する方向である
    　請求項１から３のいずれか１項に記載の体温推定装置。
  7. 　前記熱画像取得部の前記撮影方向は、前記基準方向と１０度以上の角度で交差する
    　請求項１から６のいずれか１項に記載の体温推定装置。
  8. 　前記熱画像取得部の前記撮影方向は、前記基準方向と９０度以下の角度で交差する
    　請求項７に記載の体温推定装置。
  9. 　前記推定部は、前記熱画像に前記ユーザの耳が含まれている場合、前記ユーザの体温を推定し、前記熱画像に前記ユーザの耳が含まれていない場合、前記ユーザの体温を推定しない
    　請求項１から８のいずれか１項に記載の体温推定装置。
  10. 　さらに、
    　前記熱画像に前記ユーザの耳が含まれていない場合、前記ユーザに顔の向きを前記基準方向に向けることを促す通知を行う通知部を備える
    　請求項９に記載の体温推定装置。
  11. 　さらに、
    　前記推定部により推定された前記ユーザの体温を出力する出力部を備える
    　請求項１から１０のいずれか１項に記載の体温推定装置。
  12. 　前記出力部は、前記熱画像に前記ユーザの耳が含まれている場合、推定された前記ユーザの体温を出力し、前記熱画像に前記ユーザの耳が含まれていない場合、前記ユーザの体温を出力しない
    　請求項１１に記載の体温推定装置。
  13. 　体温推定を行うためにユーザが顔を向ける基準方向に対して斜めに交差する撮影方向から前記ユーザの顔を撮影することで、前記ユーザの顔及び側頭部を含む熱画像を取得し、
    　前記熱画像に基づいて、前記ユーザの体温を推定する
    　体温推定方法。
  14. 　請求項１３に記載の体温推定方法をコンピュータに実行させるためのプログラム。
PCT/JP2022/045770 2022-03-23 2022-12-13 体温推定装置、体温推定方法、及び、プログラム WO2023181527A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-046693 2022-03-23
JP2022046693 2022-03-23

Publications (1)

Publication Number Publication Date
WO2023181527A1 true WO2023181527A1 (ja) 2023-09-28

Family

ID=88100889

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/045770 WO2023181527A1 (ja) 2022-03-23 2022-12-13 体温推定装置、体温推定方法、及び、プログラム

Country Status (1)

Country Link
WO (1) WO2023181527A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011047813A (ja) * 2009-08-27 2011-03-10 Chino Corp 体表面温度チェッカー
US20160029896A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Apparatus and method for enhancing accuracy of a contactless body temperature measurement
JP2018183564A (ja) * 2017-04-26 2018-11-22 パナソニックＩｐマネジメント株式会社 深部体温測定装置、深部体温測定システム及び深部体温測定方法
CN212140058U (zh) * 2020-03-10 2020-12-15 杭州市第一人民医院 化妆镜
US20210007606A1 (en) * 2019-07-10 2021-01-14 Compal Electronics, Inc. Method of and imaging system for clinical sign detection
WO2021192325A1 (ja) * 2020-03-27 2021-09-30 株式会社アールエフ 非接触体温計

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011047813A (ja) * 2009-08-27 2011-03-10 Chino Corp 体表面温度チェッカー
US20160029896A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Apparatus and method for enhancing accuracy of a contactless body temperature measurement
JP2018183564A (ja) * 2017-04-26 2018-11-22 パナソニックＩｐマネジメント株式会社 深部体温測定装置、深部体温測定システム及び深部体温測定方法
US20210007606A1 (en) * 2019-07-10 2021-01-14 Compal Electronics, Inc. Method of and imaging system for clinical sign detection
CN212140058U (zh) * 2020-03-10 2020-12-15 杭州市第一人民医院 化妆镜
WO2021192325A1 (ja) * 2020-03-27 2021-09-30 株式会社アールエフ 非接触体温計

Similar Documents

Publication Publication Date Title
US10805531B2 (en) Image processing system, image generation apparatus, and image generation method
TWI675583B (zh) 擴增實境系統及其色彩補償方法
RU2656817C2 (ru) Устройства, системы и способы захвата и отображения внешнего вида
US10469821B2 (en) Stereo image generating method and electronic apparatus utilizing the method
US8976255B2 (en) Imaging apparatus
TWI640199B (zh) 影像擷取裝置及其攝影構圖的方法
US20120133754A1 (en) Gaze tracking system and method for controlling internet protocol tv at a distance
JP2017505565A (ja) 多面映像の生成方法及びシステム
JP6250297B2 (ja) 音声入力装置、および画像表示装置
US20120093394A1 (en) Method for combining dual-lens images into mono-lens image
JP2014095853A (ja) 画像処理装置、投影装置、画像処理方法及びプログラム
TWI637288B (zh) 用於眼球視線校正的影像處理方法及其系統
JP6915537B2 (ja) 情報処理装置および方法、並びに、投影撮像装置および情報処理方法
TWI599809B (zh) 鏡頭模組陣列、影像感測裝置與數位縮放影像融合方法
WO2020017327A1 (ja) ヘッドマウントディスプレイ、およびヘッドマウントディスプレイの制御方法、情報処理装置、表示装置、並びに、プログラム
TWI669703B (zh) 適於多人觀看的資訊顯示方法及資訊顯示裝置
US10257414B2 (en) Method and system for smart group portrait
WO2023181527A1 (ja) 体温推定装置、体温推定方法、及び、プログラム
JP7452434B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20150116202A1 (en) Image processing device and method, and program
CN109726613A (zh) 一种用于检测的方法和装置
US20210176452A1 (en) Head-mounted display having an image sensor array
JP2013134599A (ja) 位置座標検出装置、位置座標検出方法および電子機器
JP2007322704A (ja) 画像表示システム及びその制御方法
TWI714370B (zh) 電子裝置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22933656

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024509755

Country of ref document: JP

Kind code of ref document: A