KR102593550B1 - 체온측정을 위한 온도정보보정방법 - Google Patents

Abstract

본 발명의 체온측정을 위한 온도정보보정방법은, 열상 이미지와 그 열상 이미지의 적어도 세 픽셀의 fpa값을 이용하여 상기 열상 이미지의 fpa값 맵을 구하는 것; 온도값이 알려진 특정 지점의 일반 이미지과, 상기 특정 지점과 대응하는 상기 열상 이미지의 fpa값을 연관시키는 것; 및 상기 특정지점의 상기 온도값과, 상기 fpa값 맵을 이용하여 열상 이미지의 온도분포정보 또는 체온정보를 얻는 것이 포함된다.

Description

체온측정을 위한 온도정보보정방법{Temperature calibration method for measuring body temperature}

본 발명은 온도정보를 보정방법에 관한 것이다. 구체적으로, 체온을 측정을 하는 방법으로서, 인체에 접촉하지 않는 비접촉으로 온도를 측정하고 더 정확한 온도정보로 보정하는 방법에 관한 것이다. 상기 비접촉의 방법으로는 인체의 복사에너지를 측정하여 온도를 예측할 수 있다.

체온을 측정하는 방법으로 복사에너지를 측정하는 방식이 있다. 상기 복사에너지를 측정하는 기기로는 열화상 카메라가 사용할 수 있다.

상기 열화상 카메라는 측정되는 fpa값으로 온도를 추정할 수 있다. 그러나, 외부 온습도, 물체와의 거리, 및 카메라 내부 온도 등이 변수로 작용한다. 상기 변수를 고려하지 않는다면 정확한 체온측정이 불가능하다.

상기 열화상 카메라를 이용하여 온도를 측정하는 방법으로서, 인용문헌 1이 알려진 바가 있다. 상기 인용문헌 1은, fpa값(0-16383)을 활용하고 정확한 온도측정을 위하여, 주변온도를 이용하여 열화상 카메라의 측정값을 쉬트프하는 과정을 수행한다. 상기 인용문헌에 따르더라도, 물체와의 거리, 카메라의 내부온도, 및 외부의 온도에 대해서는 적절히 대응할 수 없는 문제점이 있다.

한편, 열화상 카메라는 상기 fpa값을 제공한다. 상기 fpa값은 모든 픽셀에 대하여 제공되지 않는다. 물론, 고가의 기기는 상기 fpa값을 모두 제공하지만, 많은 열화상 카메라는 상기 fpa값의 수치정보가 화소에 대응하는 수준으로 제공되지 않는다. 이 경우에, 전체 이미지에서 온도정보를 얻고, 특히 체온을 측정하는 것은 어렵다.

KR101731287B1: 적외선 디텍터의 출력 보정 방법 및 장치

본 발명은 상기되는 배경에서 제안되는 것으로, 열화상 카메라의 정보가 한정적일 때, 정확한 체온정보를 얻을 수 있는 체온측정을 위한 온도정보보정방법을 제안한다.

본 발명은 외부 온습도, 물체와의 거리, 및 카메라 내부 온도를 모두 반영하여 정확한 체온정보를 제공하는 체온측정을 위한 온도정보보정방법을 제안한다.

본 발명의 체온측정을 위한 온도정보보정방법은, 열상 이미지와 그 열상 이미지의 적어도 세 픽셀의 fpa값을 이용하여 상기 열상 이미지의 fpa값 맵을 구하는 것; 온도값이 알려진 특정 지점의 일반 이미지과, 상기 특정 지점과 대응하는 상기 열상 이미지의 fpa값을 연관시키는 것; 및 상기 특정지점의 상기 온도값과, 상기 fpa값 맵을 이용하여 열상 이미지의 온도분포정보 또는 체온정보를 얻는 것이 포함된다.

다른 측면에 따르면, 상기 fpa값 중의 적어도 하나는 상기 열상 이미지의 중심의 값일 수 있다.

다른 측면에 따르면, 상기 fpa값 중의 적어도 하나는 상기 열상 이미지에서 가장 높은 값이고, 상기 fpa값 중의 적어도 하나는 상기 열상 이미지에서 가장 낮은 값일 수 있다.

다른 측면에 따르면, 상기 특정지점은 열상 이미지 중에서 온도가 높은 곳일 수 있다.

다른 측면에 따르면,

상기 fpa값 맵은, 수학식 1과 수학식 2에 의해서 획득되고,

수학식 1:

수학식 2:

여기서, fpa는 fpa값을 의미하고, i, j는 열상 이미지의 픽셀의 x, y축 인덱스를 의미하고, gray는 열상 이미지인 흑백 이미지의 휘도를 의미하고, T는 휘도를 의미하고, M은 max를 의미하고, m은 min의 의미하고, c는 center를 의미한다.

다른 측면에 따르면, 상기 열상 이미지가 획득된 거리에 따른 오류를 보정하기 위하여, 상기 열상 이미지 내의 최고 fpa값을 보정하는 것이 더 수행될 수 있다.

다른 측면에 따르면, 상기 최고 fpa값은, 상기 온도분포정보 중에서 가장 온도가 높은 픽셀의 fpa값일 수 있다.

다른 측면에 따르면, 상기 보정은, 어느 보정치를 더하는 것에 의해서 수행될 수 있다.

다른 측면에 따르면 상기 어느 보정치는, 이미지 중의 일부를 추출하는 추출 알고리즘으로 추출된 박스의 크기가, 상기 열상 이미지가 획득된 거리에 따라서 작아지는 것을 이용하여 획득될 수 있다.

본 발명에 따르면, 외부 온습도, 물체와의 거리, 및 카메라 내부 온도에 무관하게 정확한 체온정보를 얻을 수 있다.

도 1은 제 1 실시예에 따른 온도보정방법을 설명하는 흐름도이다.
도 2는 개략적으로 도 1의 과정을 보이는 도면이다.
도 3은 제 2 실시예에 따른 온도보정방법을 설명하는 흐름도이다.
도 4는 카메라와 신체 간의 거리 정보와, 상기 박스 이미지의 크기 및 fpaM값의 대략적인 상관관계를 보이는 도면이다.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나, 본 발명의 사상은 이하의 실시예에 제한되지 아니하고, 본 발명 사상을 이해하는 당업자는 동일한 사상의 범위에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 그 실시예들도 본 발명의 사상에 포함된다고 할 것이다.

본 발명의 체온측정을 위한 온도정보보정방법는 소정의 하드웨어 장치에 의해서 구현될 수 있다. 상기 하드웨어에는, 촬영장치, 상기 촬영장치의 정보를 처리하는 디지털정보처리장치가 포함될 수 있다. 상기 촬영장치는, 열상 이미지를 촬영하는 열화상 카메라와, 칼러 또는 흑백의 일반 이미지를 촬영하는 일반카메라를 포함할 수 있다. 상기 디지털정보처리장치는, 상기 열상 이미지와 상기 일반 이미지를 처리하는 프로세서, 필요한 정보가 저장되는 메모리, 및 정보의 입출력을 담당하는 IO장치가 포함될 수 있다. 본 발명의 온도보정방법은, 다른 장소에서 촬영한 이미지를 단순히 프로세싱처리하여 제공할 수도 있다. 현장에서 이미지를 촬영하여 신속하게 온도정보를 제공할 수도 있다.

본 발명의 실시예에 있어서, 상기 열화상 카메라는 열상 이미지를 제공할 수 있다. 상기 열화상 카메라는 제한되는 갯수의 fpa값을 제공할 수 있다. 상기 열화상 카메라는 최고의 fpa값, 최저의 fpa값, 및 화상중심의 fpa값을 제공할 수 있다. 상기 열상 이미지는 흑백 이미지 일 수 있다. 상기 일반 카메라는 칼러인 일반 이미지를 제공할 수 있다.

이하의 각 도면에서, fpa는 fpa값을 의미하고, i, j는 픽셀의 x, y축 인덱스를 의미하고, gray는 열상 이미지인 흑백 이미지의 휘도를 의미하고, T는 휘도를 의미하고, M은 max를 의미하고, m은 min의 의미하고, c는 center를 의미하고, body는 신체를 의미하고, temp는 온도를 의미하고, box는 소정의 추출 알고리즘에서 추출된 박스 이미지를 의미하고, N은 일반이미지를 의미하고, d는 거리를 의미하고, δ는 보정치를 의미하고, btd는 d만큼의 거리차를 의미하고, dtf는 fpa값의 차이를 의미하고, func는 함수를 의미할 수 있다.

상기 fpa값은 0-16383의 범위를 가질 수 있고, 상기 휘도값은 0-256의 범위를 가질 수 있다. 상기 fpa값은, 값이 크면 온도가 높고, 값이 낮으면 온도가 낮을 수 있다. 상기 휘도값은, 값이 크면 온도가 높고, 값이 낮으면 온도가 낮을 수 있다.

도 1은 제 1 실시예에 따른 온도보정방법을 설명하는 흐름도이다.

도 1을 참조하면, 상기 열상 이미지가 입력될 수 있다(S10). 세 개의 상기 fpa값이 입력될 수 있다(S11).

상기 열상 이미지와 상기 fpa값은 단일의 단계로 함께 입력될 수도 있다. 상기 열상 이미지의 휘도와 상기 세 개의 fpa값을 이용하여, 상기 열상 이미지의 fpa값을 얻을 수 있다. 구체적으로, 열상 이미지의 현재 픽셀의 휘도가, 열상 이미지 중앙의 휘도값보다 높으면, 제 1 변환식을 적용하는 단계(S121)로 이행한다. 열상 이미지의 현재 픽셀의 휘도가, 열상 이미지 중앙의 휘도값보다 낮으면, 제 2 변환식을 적용하는 단계(S122)로 이행한다. 상기 제 1 변환식은 수학식 1이고, 상기 제 2 변환식은 수학식 2로 나타낼 수 있다.

상기 수학식 1과 상기 수학식 2를 이용하면, 상기 열상 이미지의 전체 픽셀의 fpa값을 구할 수 있다(S13). 이를 fpa값 맵이라고 할 수 있다. 상기 수학식은, 화면 전체의 휘도의 스케일과 fpa값의 스케일을, 화상 중심의 fpa값을 중심으로 양방향으로 스케일할 수 있다. 여기서 양방향 중의 어느 일 방향은 상기 수학식 1의 방향이고, 상기 양방향 중의 어느 다른 방향은 상기 수학식 2의 방향이다.

상기 변환식에 따르면, 화상 중심에 측정하고자 하는 신체가 놓일 가능성에 따라서, 신체의 fpa값을 더 반영할 수 있다.

상기 두 개의 변환식에 따르면, 휘도를 기준정보로 이용하여 상기 양방향으로 모든 픽셀의 상기 fpa값를 획득한다. 이에 따르면, 열상 이미지의 화이트 밸런스(white balance)의 문제를 제거할 수 있다. 상기 화이트 밸런스는, 뜨거운 물질에 가까우면 그 주변부의 복사에너지가 크게 두드러지는 현상을 말한다. 예를 들어, 화면 중앙의 신체(36도씨)가 화면 한쪽 모서리에 상당히 더운 온도(80도씨)의 커피를 들고 있는 모습을 예로 들자. 이 경우에 커피에 의한 화이프 밸런스의 영향을 약화시킬 수 있다.

상기 두 개의 변환식에 따르면, 세 개의 fpa값 및 휘도정보를 모두 다 활용하여, 가장 정확한 fpa값의 맵을 구할 수 있다.

상기 일반 이미지가 입력되고(S20), 그와 함께 상기 일반 이미지 중에서 뜨거운 곳의 위치정보와, 그 위치의 온도정보가 입력될 수 있다(S21). 여기서, 온도정보는 그라운드 트루스(ground truth)를 제공하는 기기에 의해서 직접 측정하는 것에 의해서 입력될 수 있다. 상기 위치정보는 미간이 될 수도 있으나, 신체 중의 이마 등이 될 수도 있다. 가급적 뜨거운 곳이면 좋으나, 특정한 위치로 제한되지는 아니한다. 상기 일반 이미지 입력(S20), 및 위치정보 및 온도정보의 쌍 입력단계(S21)는 도 3의 S42 단계에 의해서 더 상세하게 설명한다.

이후에는, 신체 중에서 상기 위치정보에서의 온도정보와, 상기 위치정보에서와 대응되는 상기 열상 이미지의 픽셀의 fpa값을 서로 연관시킬 수 있다(S30). 이때, 최고 fpa값이 아니라도 가능하다. 그러나, 스케일링의 정확도를 향상시키고, 계산의 복잡도를 낮추기 위하여, 상기 fpa값의 연관단계(S30)는 신체 중의 온도가 가장 높은 곳의 위치정보 및 온도정보를 이용하는 것이 바람직하다. 예를 들어, fpa값이 가장 높은 위치에서 상기 일반 이미지의 온도정보를 측정할 수 있다.

상기 fpa값의 연관단계(S30)는 기기가 동작을 시작할 때 한 번만 수행되는 것으로 충분하다. 상기 fpa값의 연관단계(S30) 및 그 이전의 단계는 본 발명과 관련되는 장치가 계속해서 동작 중에는 다시 수행할 필요가 없다. 물론, 사용자가 새로이 샘플로서 그라운드 트루스 체온을 다시 측정할 필요가 없다. 예를 들어, 다음번에 체온을 측정하고자 하는 경우에는, 상기 열상 이미지에서 얻어진 fpa값과 대응하는 온도값을 이용하여 체온을 알아낼 수 있다. 물론, fpa값 맵을 이용하여 온도분포정보를 출력할 수도 있다.

상기 신체는 측정 대상자의 얼굴일 수 있다.

이후에는, 소정의 비례관계, 즉 fpa값의 비례관계를 이용하여 모든 신체의 온도분포를 알아낼 수 있다(S31). 상기 온도분포 중에서 가장 온도가 높은 지점을 신체의 온도로서 출력할 수 있다.

도 2는 개략적으로 도 1의 과정을 보이는 도면이다.

도 2를 참조하면, 가장 뒤의 이미지는 Tij로서 열상 이미지 정보를 나타낸댜. 가운데 이미지는 세 지점의 fpa값을 이용하여 열상 이미지의 fpa값 맵을 나타낸다. 가장 앞의 이미지는 열상 이미지는 온도 이미지인 Tempij로 나타낸 것을 알 수 있다.

도 1 및 도 2에 제시되는 방법에 의해서 외부 온습도, 및 카메라 내부 온도 등의 변수에 대해서는 독립하여 작용할 수 있다. 동작 개시 시에 한 번의 캘리브레이션이 수행되었기 때문이다. 다만, 신체와 카메라의 거리에 따른 부정확도는 보정되지 않았다. 이를 개선하는 제 2 실시예를 도 3 및 도 4를 이용하여 설명한다.

도 4는 카메라와 신체 간의 거리 정보와, 상기 박스 이미지의 크기 및 fpaM값의 대략적인 상관관계를 보이는 도면이다.

도 4를 참조하면, 상기 박스 이미지의 크기는 거리가 커질수록 작아지고, 그와 함께, 상기 fpaM값도 작아지는 것이 일반적이다. 이느 복사 에너지를 측정하는 기기에서 발생할 수 있다.

도 3은 제 2 실시예에 따른 온도보정방법을 설명하는 흐름도이다.

도 3을 참조하면, 다수의 상기 일반 이미지를 이용하여 거리에 따른 보정치(δ)를 얻어낼 수 있다. 예를 들어, 다양한 이미지를 입력받고(S40), 입력된 이미지에서 카메라와 신체 간의 거리(d)를 입력받고(S41), 상기 박스 이미지를 추출한다(S42). 상기 박스 이미지는, 상기 입력 이미지 전체에서 신체의 특정부분을 추출하는 소정의 추출 알고리즘을 적용할 수 있다. 예를 들어, Retinaface로 알려진 얼굴을 추출하는 알고리즘을 사용할 수 있다. 상기 박스 이미지는 소정 크기의 직사각형(boxsize)으로 추출될 수 있다(S43). 상기 추출된 정보는 메모리에 저장될 수 있다(S44).

상기 동작과는 별개로, 상기 열상 이미지를 입력받고(S50), 그 열상 이미지에서 최고 fpa값을 추출하여 상기 메모리에 저장될 수 있다. 상기 최고 fpa값은 상기 도 1의 신체의 온도분포획득단계(S31)에서 얻을 수 있다. 물론 고온 물체와 같은 노이즈가 없이, 동일한 사람의 신체라면 상기 신체의 온도분포획득단계(S31)가 아니라, 열화상 카메라에서 입력받은 단순한 최고 fpa값을 이용할 수도 있을 것이다.

상기 메모리에는, 다양한 거리에서 측정된 상기 열상 이미지 및 상기 일반 이미지에 대한 정보가 수록될 수 있다. 예를 들어, 0.5미터, 1미터, 2미터, 및 3미터의 거리(d)에서 각각 수백 개의 데이터를 구할 수 있다. 상기 데이터 중에서 박스 크기는 다수의 실험의 평균값을 이용할 수 있다. 이때 상기 열상 이미지와 상기 일반 이미지는 동일한 조건에서 획득한 정보일 수 있다.

상기 메모리에 수록된 정보를 이용하여 fpa값의 보정치(δ)를 산출할 수 있다(S45).

먼저, 거리와 박스크기를 상관을 수학식 3이 사용될 수 있다. 실제로 상기 거리는 구하기 어려우므로, 상기 박스크기를 이용하여 상기 fpa값을 보정하기 위한 것이다.

여기서, d 햇은 추정거리이고, 뮤는 박스의 평균 크기값이고, 숫자는 거리의 단계를 말하고, α는 각 거리의 단계에서 다음 단계의 거리로 맞추는 비례상수일 수 잇다.

상기 수학식 3에 따르면 상기 박스 이미지의 크기가 주어지면 거리의 추정값을 얻을 수 있다. 이후에는 추정거리에 따른 fpa값의 보정치(δ)를 구할 수 있다. 구체적으로는, 추정거리에서 이전단계의 거리를 뺀값과 이후단계의 fpa값에서 이전단계의 fpa값을 뺀값을 곱한 값으로 구할 수 있다. 예를 들어, 상기 추정거리 d 햇이 1-2미터의 사이에 있는 경우에 수학식 4와 같이 적용할 수 있다. 이때, fpa값은 최고값을 사용할 수 있다. 여기서, fpa값은 다른 값을 사용할 수도 있으나, 신체의 최고온도가 환자를 가려내는 체온을 식별할 수 있으므로 바람직하다. 아울러, 최고값을 이용하는 것이 스케일링 시에 정확도를 향상시킬 수 있으므로 바람직하다.

상기 추정거리 d 햇이 일정거리를 넘어서면, fpa값은 거의 변하지 않으므로 보정할 필요가 없다. 예를 들어, 추정거리 d 햇이 3미터이상인 경우에는 fpa값의 보정치(δ)는 동일하게 사용할 수 있다.

상기 단계를 거쳐서 상기 박스 이미지의 크기에 따른 fpa값의 보정치(δ)를 이용하여 최고 fpaM값을 구할 수 있다(S52).

이후에는 거리보정 신체온도분포정보를 얻을 수 있다(S53).

여기서, 상기 신체는 얼굴을 의미할 수 있다.

상기 실시예에 따르면, 간단한 알고리즘으로 구현이 가능하여 계산량이 많음로, 초소형 컴퓨터만으로 신체의 온도를 측정할 수 있다.

본 실시예에 따르면 신체와 카메라 간이 거리에 따른 오류를 보정하여 더 정확한 신체온도를 측정할 수 있다.

본 발명에 따르면, 값비싼 장비의 필요없이, 신체의 온도를 다양한 오류 발생원(온도, 습도, 및 거리)의 영향이 없이 측정할 수 있다.

삭제

Claims (9)

1. 열상 이미지와, 상기 열상 이미지의 적어도 세 픽셀의 fpa값을 이용하여, 상기 열상 이미지의 fpa값 맵을 구하는 것;
   온도값이 알려진 특정 지점을 포함하는 일반 이미지의 상기 특정 지점의 온도값과, 상기 특정 지점과 대응하는 지점에서 상기 열상 이미지의 fpa값을 연관시키는 것; 및
   상기 온도값과, 상기 fpa값 맵을 이용하여 열상 이미지의 온도분포정보 또는 체온정보를 얻는 것이 포함되는,
   체온측정을 위한 온도정보보정방법.
2. 제 1 항에 있어서,
   상기 fpa값 중의 적어도 하나는 상기 열상 이미지의 중심의 값인, 체온측정을 위한 온도정보보정방법.
3. 제 1 항에 있어서,
   상기 fpa값 중의 적어도 하나는 상기 열상 이미지에서 가장 높은 값이고, 상기 fpa값 중의 적어도 하나는 상기 열상 이미지에서 가장 낮은 값인, 체온측정을 위한 온도정보보정방법.
4. 제 1 항에 있어서,
   상기 특정지점은 열상 이미지의 미간 또는 이마인, 체온측정을 위한 온도정보보정방법.
5. 제 1 항에 있어서,
   상기 열상 이미지의 fpa값 맵을 구하기 위하여,
   상기 열상 이미지의 제 1 픽셀의 휘도가, 상기 열상 이미지 중앙의 물제의 휘도값 보다 높으면, 제 1 수학식을 이용하여 상기 제 1 픽셀의 fpa값을 구하고,
   상기 열상 이미지의 제 2 픽셀의 휘도가, 상기 열상 이미지 중앙의 물체의 휘도값 보다 작으면, 상기 제 1 수학식과 다른 제 2 수학식을 이용하여 상기 제 2 픽셀의 fpa값을 구하고,
   상기 수학식 1은,
   
   이고,
   상기. 수학식 2는
   
   이고,
   여기서, fpa는 fpa값을 의미하고, i, j는 열상 이미지의 픽셀의 x, y축 인덱스를 의미하고, gray는 열상 이미지인 흑백 이미지의 휘도를 의미하고, T는 휘도를 의미하고, M은 max를 의미하고, m은 min의 의미하고, c는 center를 의미하는,
   체온측정을 위한 온도정보보정방법.
6. 제 1 항에 있어서,
   상기 열상 이미지가 획득된 거리에 따른 오류를 보정하기 위하여, 상기 열상 이미지 내의 최고 fpa값을 보정하는 것이 더 수행되는
   체온측정을 위한 온도정보보정방법.
7. 제 6 항에 있어서,
   상기 최고 fpa값은, 상기 온도분포정보 중에서 가장 온도가 높은 픽셀의 fpa값인, 체온측정을 위한 온도정보보정방법.
8. 제 6 항에 있어서,
   상기 보정은, 어느 보정치를 더하는 것에 의해서 수행되고,
   상기 어느 보정치는,
   이미지 중의 일부를 추출하는 추출 알고리즘으로 추출된 박스의 크기가, 상기 열상 이미지가 획득된 거리가 커짐에 따라서 작아지는 것을
   이용하여 획득되는 체온측정을 위한 온도정보보정방법.
   
   
   
9. 삭제

Images