KR20160116530A - 화상 증폭 방법 - Google Patents

Abstract

화상 증폭 방법에 대해 기술한다. 화상 증폭 방법:은 피험자 피부로부터 영상을 획득하는 단계; 상기 영상의 화소를 양자화하는 단계; 그리고 상기 양자화된 화소의 값을 증폭하는 단계; 를 포함한다.

Description

화상 증폭 방법{Method for magnification of image data}

본 발명은 화상 데이터 증폭 방법에 관한 것으로, 상세하게는 동영상의 시계열 화소 데이터 크기의 변화를 증폭하는 방법에 관한 것이다.

최근 카메라로 촬영된 영상을 통해 인체의 변화를 측정하여, 사람의 건강 상태나 감성 상태를 측정하기 위한 연구가 많이 진행되고 있다. 기존의 생리신호 측정 기반 방법들이 센서 부착으로 인한 불편함이나 움직임으로 인한 노이즈 첨가의 문제를 가지고 있기 때문에, 영상 기반의 방법들이 더욱 각광을 받고 있다.

인간의 의도적인 움직임이나 얼굴 표정과 같은 그 변화가 큰 현상은 영상을 통해 분석이 용이하지만, 심장박동이나 인체의 미동등과 같이 인체의 미세한 변화로 나타나는 것을 영상으로 관측하는 것은 불가능한 것으로 여겨졌다. 하지만, 최근 들어 인체의 미세한 떨림이나 표정변화는 물론 심장박동까지도 카메라로 취득된 영상으로부터 추출하려는 연구가 진행되고 있다. 이 연구들은 웹캠 수준의 가시광선 카메라로 취득된 영상을 이용하고 있으나, 현재는 여러 환경적인 노이즈 요소로 인해 정확한 성능을 기대하기는 어렵다.

최근, MIT 미디어랩에서는 영상의 시계열 모션 정보 및 색상 성분을 증폭(magnification)함으로써, 위에 언급한 미세 변화 측정 연구에 힘을 불어넣고 있으나, 복잡한 주파수 변환으로 인한 시간복잡도와 흑백영상성분의 증폭에는 사용될 수 없는 문제가 있다.

KR 10-2014-0057868 A

E. C. Lee, M. Whang, D. Ko, S. Park and S. Hwang, "A New Social Emotion Estimating Method by Measuring Micro-movement of Human Bust," Industrial Applications of Affective Engineering, Part 1, pp. 19-26 (2014) S. Wang, H. Chen, W. Yan, Y. Chen and X. Fu, "Face Recognition and Micro-expression Recognition Based on Discriminant Tensor Subspace Analysis Plus Extreme Learning Machine," Neural Processing Letters, Vol 39, Issue 1, pp. 25-43 (2013) P. Paredes, D. Sun and J. Canny, "Sensor-less sensing for affective computing and stress management technology," In Proc. of 7th International Conference on Pervasive Computing Technologies for Healthcare, pp. 459-463 (2013) Eulerian Video Magnification for Revealing Subtle Changes in the World ACM Transactions on Graphics, Volume 31, Number 4 (Proc. SIGGRAPH), 2012

본 발명은 인체 속성 측정 성능을 향상시키는 방법에 관한 것으로서, 영상을 통한 인체의 변화를 효과적으로 측정하는 방법을 제공한다.

이러한 본 발명은 최근 비파괴 검사를 위해 널리 사용되는 열화상 카메라 영상에서 미세한 인체 열 분포 변화를 시계열 상에서 증폭시킴으로써, 그 변화를 뚜렷하게 관측할 수 있는 방법을 제안한다.

따라서, 본 발명은 인체의 열변화를 증폭하여 검출할 수 있는 열 변화 검출 방법을 제시한다.

본 발명에 따른 화소 증폭 방법:은

피험자 피부로부터 영상을 획득하는 단계;

상기 영상의 화소를 양자화하는 단계; 그리고

상기 양자화된 화소의 값을 증폭하는 단계; 를 포함한다.

본 발명이 일 실시 예에 따르면, 상기 영상은 열영상일 수 있다.

본 발명의 일 실시 예에 따르면, 상기 영상에서 ROI(Region Of Interest)를 설정하고, 상기 화소의 증폭은 상기 ROI에 대해서 수행할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 화소의 값을 비트 승격에 의해 증폭할수 있다.

본 발명의 다른 실시 예에 따르면, 상기 화소를 다수의 비트 평면으로 양자화할 수 있다.

본 발명의 다른 실시 예에 따르면, 상기 화소의 비트 승격은 최하위 비트로부터 소정 비트 쉬프트(Shift) 시킨다.

본 발명에 따른 열 영상 신호 추출방법:은

열화상 카메라를 이용해 피험자의 피부로부터 열영상을 프레임 단위로 연속획득하는 단계;

상기 열영상의 화소들을 소정 값으로 양자화하는 단계;

상기 화소의 값을 증폭하는 단계; 그리고

상기 증폭된 화소의 값을 열영상 신호로 출력하는 단계;를 포함한다.

화소의 양자화 결과 하위비트의 값을 상위비트로 승격하는 방법을 통해 미미한 고주파 성분에서의 변화를 진폭이 큰 변화로 증폭한다. 이러한 본 발명의 방법의 효율성 검증을 위해, 열화상 카메라로 취득된 얼굴이 포함된 영상에 적용한 결과 심장박동 및 호흡에 동기화된 안면의 열 변화를 더욱 뚜렷하게 관찰할 수 있는 것으로 확인되었다.

도1은 1 바이트의 구조를 보이는 도면이다.
도2는 하나의 이미지에 대한 비트 평면의 분리를 설명하는 도면이다.
도3은 하나의 이미지를 다수의 비트 평면으로 분리하여 보인다.
도4은 한 시점에서의 영상을 구성하는 화소 구조 및 8비트의 한 화소의 비트 쉬프트에 의한 화소 증폭을 설명하는 도면이다.
도5은 본 발명의 실험에 사용한 열화상 카메라 영상을 예시적으로 나타낸다.
도6의 (a)는 도5에 정의된 ROI의 원본 열화상 카메라 영상, (b), (c), (d)는 각각 (a)의 원형 영상에서 2, 3, 4비트만큼 승격한 결과영상을 나타낸다.
도7는 본 발명의 결과에 따른 사람 얼굴의 미세 변화량 차이를 그래프로 도시화하여 나타낸 것으로, (a)는 도6의 (a) 원형 영상에 대응하는 그래프, (b), (c), (d)는 각각 도6의 (b), (c), (d)에 대응하는 그래프이다.

이하, 첨부된 도면을 참고하면서, 본 발명의 실시 예에 따른 화상 증폭 방법을 설명한다.

본 발명은 인체 표면의 열이 시간의 흐름에 따라 미세하게 변화되는 현상을 뚜렷하게 관찰할 수 있도록 하는 열화상 화소 증폭 방법에 관련한다.

본 발명의 화소 증폭 방법:은

1) 피험자로부터 영상을 획득하는 단계;

2) 상기 영상의 화소를 양자화하는 단계; 그리고

3) 상기 양자화된 화소의 값을 증폭하는 단계; 를 포함한다.

구체적으로, 본 발명의 방법:은

1) 열화상 카메라를 이용해 피험자의 피부로부터 열영상을 프레임 단위로 연속획득하는 단계;

2) 상기 열영상의 화소들을 소정 값으로 양자화하는 단계;

3) 상기 화소의 값을 증폭하는 단계; 그리고

4) 상기 증폭된 화소의 값을 열영상 신호로 출력하는 단계;를 포함한다.

이러한 방법은 열영상 뿐 아니라 다른 가시광선 또는 적외선 영상 등에 대해서도 적용될 수 있다.

본 발명은 영상, 특히 열영상을 비트 평면으로 양자화하고, 하위 비트로부터 상위 비트 방향으로 소정 비트 승격(쉬프트)를 수행한다. 이러한 비트 승격은 적어도 MSB를 포함하는 상위 비트의 버림과 하위 비트의 증폭이 이루어 지게 된다. 이러한 본 발명의 비트 승격에 의한 화소 값의 증폭은 열영상에 대해 적용함으로써 신체 온도 변화를 크게 확대하여 그 변화를 뚜렷하게 관측할 수 있다. 이러한 발명은 열영상로부터 양질의 생체 신호를 추출함으로써 피험자의 심박수 뿐만 아니라 호흡 주기까지 함께 측정할 수 있게 된다.

인체의 피부로부터 얻어지는 열영상에서, 특정 위치의 열 분포가 미세하게 변하는 현상은 열화상 카메라의 화소값(pixel intensity) 관점에서는 매우 작은 변화이다. 그 변화가 극단적으로 작은 경우, 하나의 화소를 표현하기 위해 8비트(256 level)를 사용하는 일반적인 양자화 경우, 온도의 변화가 화소값의 1에도 미치지 못하여, 화소값의 변화가 없을 수도 있다. 사람의 피부를 촬영하여 얻은 영상에서, 열 분포의 변화가 매우 작으며, 예를 들어 화소값 3 이하의 차이로 나타나는 경우를 가정했을 때, 화소값 3정도의 차이는 육안으로는 인지하지 못하는 수준의 변화이다.

영상에서 화소값의 미묘한 변화는 영상을 비트평면으로 분해하여 관찰했을 때, 하위 비트 평면 값의 변화가 주를 이룬다. 도1에 도시된 바와 같이, 화소당 8비트로 영상을 양자화 한 경우, 최상위비트부터 최하위비트까지의 변화는 화소값 관점에서 각각 128, 62, 32, 16, 8, 4, 2, 1 차이를 의미한다. 다시 말해, 미세한 변화는 주로 최하위 2개 비트 값들의 변화가 주를 이루며, MSB를 포함하는 상위 비트는 변화없이 원래 비트값을 지속적으로 유지할 것이다. 도2는 하나의 이미지에 대한 비트 평면을 설명하는 도면이다. 즉, 각 픽셀을 1바이트 즉 8비트로 표현되는 값을 가지며, 이를 하위 비트에서 상위 비트까지 각각 계층적으로 분류하여, 동일 비트를 하나의 평면으로 배열하면 도2와 같은 비트 평면이 구성된다. 도3은 하나의 이미지를 여러 비트 평면으로 분리하여 표시한 하나의 예를 도시한다.

미세변화 현상을 촬영한 열화상 영상에서 각각의 비트평면들의 희소성(sparsity)을 따져보면, 상위비트 쪽으로 갈수록 시간의 흐름에 따라 비트값의 변화가 적기 때문에 희소성이 커지고, 정보량이 적다는 의미이므로 미세변화 관찰 측면에서는 필요 없는 정보라고 판단되는 것이다.

따라서 본 발명에서는 상위 n개의 비트를 버리고 하위비트 8-n개를 상위비트 방향으로 승격(shift) 하는 방법을 적용함으로써 화소값의 증폭을 수행한다. 이것은 전체 화면에 의해 이루어지며 따라서 적어도 MSB를 포함하는 상위 비트가 버려 지고 LSB를 포함하는 하위 비트를 증폭되게 된다. 이러한 본 발명의 방법은 도4와도5와 같이 표현될 수 있다.

도4에서 윗 부분은 한 시점에서의 소정 폭(width)과 높이(height)를 가지는 영상을 구성하는 다수의 화소 구조의 배열을 나타내며, 도4의 아랫 부분은 상기 화소들 중 하나의 화소를 일반적인 8비트(256 Level) 비트 평면으로 양자화하고 이를 2 단계 증폭 결과를 도시한다.

도4에 도시된 된 바와 같이 45의 값을 가지는 하나의 화소를 비트평면에 배열하면 00101101의 8비트로 표현된다. 이를 1 비트 쉬프트 하며, 최상위의 MSB가 버려지고 최하위의 LSB가 1 비트 승격하고 LSB에는 0이 채워진다. 이로써 1 비트 쉬프트된 화소 값은 90으로 증폭된다. 다시 한번, 1 비트 승격하게 되며, 180으로 증폭되게 된다. 즉, 본 발명에서는 상위 n개의 비트를 버리고 하위비트 8-n개를 상위비트 방향으로 승격(shift)한다. 이러한 본 발명은 하위 비트의 미세한 변화를 증폭함으로써 이를 뚜렷하게 관찰 또는 추출할 수 있다.

도5는 본 발명의 방법을 실험에 사용된 열화상 영상의 한 프레임을 나타내며, 사각부분은 증폭 대상이 되는 ROI(Region of Interest)를 나타낸다.

도5의 ROI를 증폭한 결과는 도6에 도시되어 있다.

도6에는 (a)는 증폭이 이루어지지 않은 로(Raw)이미지 이다. 그리고 (b)는 2 비트 승격, (c)는 3비트 승격, 그리고 (d)는 4 비트 승격 결과를 나타낸다.

도6을 통해서 비트 승격에 의해, 특히 본 실험에서는 4비트 승격시 매우 뚜렷한 변화가 관측됨을 알 수 있다.

도7의 (a), (b), (c), (d)는 도6의 (a), (b), (c), (d) 각각에 대응하는 결과 그래프를 나타낸다. 도7을 결과를 살펴보면 비트 승격을 통해 화소 증폭을 수행할수록 상세한 고주파 성분이 드러남을 알 수 있다. 여기에서, 변곡점의 개수를 살펴보면 그 횟수가 심장 박동수와 유사한 것을 확인할 수 있으며, 상대적으로 저주파 성분의 큰 주기 신호 모형은 호흡에 의한 변화로 예상된다. 결과적으로 열화상 화소 증폭을 통해 안면으로부터 호흡 및 심장박동 정보를 추출할 수 있을 것으로 판단되며, 이는 건강관리 및 감성측정을 위해 중요한 정보로 활용될 수 있다.

본 발명에서는 열화상 카메라 영상에서 인체의 미세 변화에 대한 관측 성능 향상을 위해 화소값 증폭 방법을 제안하였다. 화소 값의 미세변화가 하위 비트단의 변화이고 상위비트의 희소성(sparsity)이 높은 것에 기반하여, 상위비트 방향으로 하위 비트를 승격하는 간단한 연산을 통해 구현할 수 있다. 비트연산은 그 속도가 매우 빨라서, 처리속도가 무시할 수 있을 정도이며, 실험결과 심장박동에 따른 열 변화를 관찰하기에 용이하도록 열화상 영상이 개선됨을 확인할 수 있었다. 추후 연구에서는 인체의 다양한 변화와 열화상 영상의 비트 평면과의 상관성을 분석하여, 추출하고자 하는 성분에 맞는 화소 증폭 방법에 관한 연구가 가능하다.

Claims (7)

1. 피험자 피부로부터 영상을 획득하는 단계;
   상기 영상의 화소를 양자화하는 단계; 그리고
   상기 양자화된 화소의 값을 증폭하는 단계; 를 포함하는 화상 증폭 방법.
2. 제1항에 있어서,
   상기 영상은 열영상인 것을 특징으로 하는 화상 증폭 방법.
3. 제1항에 있어서,
   상기 영상에서 ROI(Region Of Interest)를 설정하고, 상기 화소의 증폭은 상기 ROI에 대해서 수행하는 것을 특징으로 하는 화상 증폭 방법.
4. 제1항에 있어서,
   상기 영상은 상기 화소의 값을 비트 승격에 의해 증폭하는 것을 특징으로 하는 화상 증폭 방법.
5. 제1항 내지 제4항 중의 어느 한 항에 있어서,
   상기 양자화 단계에서, 상기 영역의 화소를 비트평면으로 양자화하는 것을 특징으로 하는 화상 증폭 방법.
6. 열화상 카메라를 이용해 피험자의 피부로부터 열영상을 프레임 단위로 연속획득하는 단계;
   상기 열영상의 화소들을 소정 값으로 양자화하는 단계;
   상기 화소의 값을 증폭하는 단계; 그리고
   상기 증폭된 화소의 값을 열영상 신호로 출력하는 단계;를 포함하는 열 영상 신호 추출방법.
7. 제6항에 있어서,
   상기 화소를 비트 승격에 의해 증폭하는 것을 특징으로 하는 열영상 신호 추출방법.

Images