KR102422281B1

KR102422281B1 - 피부 영상을 이용한 강인한 연속 혈당 측정 방법 및 장치

Info

Publication number: KR102422281B1
Application number: KR1020200111898A
Authority: KR
Inventors: 홍광석; 박진수
Original assignee: 성균관대학교산학협력단
Priority date: 2020-09-02
Filing date: 2020-09-02
Publication date: 2022-07-18
Also published as: KR20220030107A; US20220067975A1; US11967114B2

Abstract

본 발명은 피부 영상을 이용한 강인한 연속 혈당 측정 방법 및 장치에 관한 것으로, 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법은, 피부 영상에서 복수 부위의 피부 관심 영역으로부터 색상 데이터를 계산하는 단계, 획득된 사용자 정보의 분석을 통해 사용자 식사상태를 식전 또는 식후로 분류하는 단계, 상기 계산된 색상 데이터를 상기 분류된 사용자 상태에 대응되는 혈당 회귀직선 식에 적용하여 혈당을 추정하는 단계, 및 상기 추정된 혈당을 가중 평균내어 강인한 혈당을 측정하는 단계를 포함한다.

Description

피부 영상을 이용한 강인한 연속 혈당 측정 방법 및 장치{METHOD AND APPARATUS FOR MEASURING ROBUST CONTINUOUS BLOOD SUGAR USING SKIN IMAGE}

본 발명은 피부 영상을 이용한 강인한 연속 혈당 측정 방법 및 장치에 관한 것이다.

당뇨병은 현대인에게 많이 발생되는 만성 질환으로 국내의 경우 전체 인구의 10%에 해당하는 500만명 이상에 이른다. 당뇨병은 비만, 스트레스, 잘못된 식습관, 선천적 유전 등 다양한 원인에 의해 췌장에서 만들어지는 인슐린이 절대적으로 부족하거나 상대적으로 부족하여 혈액에서 당에 대한 균형을 바로 잡아주지 못함으로써 혈액 안에 당 성분이 절대적으로 많아지게 되어 발병한다.

혈액 중에는 보통 일정 농도의 포도당이 함유되어 있으며 조직 세포는 여기에서 에너지를 얻고 있다. 그러나, 포도당이 필요 이상으로 증가하게 되면 간장이나 근육 또는 지방세포 등에 적절히 저장되지 못하고 혈액 속에 축적되며, 이로 인해 당뇨병 환자는 정상인보다 훨씬 높은 혈당이 유지되며, 과다한 혈당은 조직을 그대로 통과하여 소변으로 배출됨에 따라, 신체의 각 조직에 절대적으로 필요한 당분은 부족해져서 신체 각 조직에 이상을 불러일으키게 된다.

당뇨병은 초기에는 거의 자각 증상이 없는 것이 특징인데, 병이 진행되면 당뇨병 특유의 다음, 다식, 다뇨, 체중감소, 전신 권태, 피부 가려움증, 손과 발의 상처가 낫지 않고 오래가는 경우 등의 특유의 증상이 나타나며, 병이 한층 더 진행되면 시력장애, 고혈압, 신장병, 중풍, 치주질환, 근육 경련 및 신경통, 괴저 등으로 진전되는 합병증이 나타난다. 이러한 당뇨병을 진단하고 합병증으로 진전되지 않도록 관리하기 위해서는 체계적인 혈당 측정과 치료가 병행되어야 한다.

전세계적으로 당뇨 환자의 급격한 증가로 혈당 측정 시장이 지속 성장하고 있으며, 평생 관리가 필요한 당뇨 환자를 효율적으로 관리하기 위해서 고통이 수반되지 않고 상시 측정이 가능한 비침습 혈당기에 대한 시장 수요가 높아지고 있으며, 많은 의료기기 제조업체에서는 가정에서 혈당을 측정할 수 있도록 다양한 종류의 휴대용 혈당 측정기를 제공하고 있다.

비침습 혈당기는 많은 연구개발을 추진하고 있지만, 기술적 난도가 매우 높아 아직 상용기술의 정확도 및 신뢰도 확보를 위한 하드/소프트웨어적 장기간 연구개발 투자가 필요하다. 또한, 전세계적으로 식습관과 생활습관이 서구화되어감에 따라, 당뇨·비만과 같은 선진국형 질환이 증가하고 있어, 이로 인한 사회경제비용이 증가하고 있으며 당뇨로 인한 사회적 부담을 낮추기 위해서는 기존의 채혈식 혈당측정기기가 아닌 획기적인 기법의 혈당측정기기 개발의 필요성이 대두되고 있다.

침습형 혈당 측정을 살펴보면, 최근 급성장 중인 혈당기는 Medtronic의 가디언커넥트와 Dexcom의 G5 두 가지 제품이 시장을 선점하고 있고, 국내 아이센스에서 제품개발 완료 단계 수준이지만 마이크로 니들(needle)을 사용함으로써 채혈을 통한 보정 및 통증이 존재하는 최소침습 방식이다.

비침습형 혈당 측정을 살펴보면, 비침습 혈당측정기술의 난이도로 인하여 혈액이 아닌 다양한 체액(눈물, 땀, 타액, 소변 등) 기반의 혈당 측정 장치가 개발되고 있지만, 혈당을 측정하기 위해 다양한 체액에 존재하는 당의 수치는 실제 혈당 수치 변화를 반영하는데 시간 지연이 발생하여 시장에서의 효용성이 떨어지는 단점이 있다.

본 발명의 실시예들은 종래 문제점들의 개선 및 혈당 측정 장비를 대체하기 위해, 추가적인 하드웨어 모듈 장착 없이 사용자가 보유하고 있는 일반 카메라, 적외선 카메라, 줌 카메라 또는 웨어러블 기기 등에서 비침습/비접촉/무자각/무통증 방식의 상시/연속으로 피부 영상을 이용한 강인한 연속 혈당 측정 및 사용자 혈당 변화 분석을 통한 혈당 상태진단과 이를 통해 혈당 조절 방법 제시 및 관리 할 수 있는, 피부 영상을 이용한 강인한 연속 혈당 측정 방법 및 장치를 제공하고자 한다.

다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위의 환경에서도 다양하게 확장될 수 있을 것이다.

본 발명의 일 실시예에 따르면, 혈당 측정 장치에 의해 수행되는 혈당 측정 방법에 있어서, 피부 영상에서 복수 부위의 피부 관심 영역으로부터 색상 데이터를 계산하는 단계; 획득된 사용자 정보의 분석을 통해 사용자 식사상태를 식전 또는 식후로 분류하는 단계; 상기 계산된 색상 데이터를 상기 분류된 사용자 상태에 대응되는 혈당 회귀직선 식에 적용하여 혈당을 추정하는 단계; 및 상기 추정된 혈당을 가중 평균내어 강인한 혈당을 측정하는 단계를 포함하는, 피부 영상을 이용한 강인한 연속 혈당 측정 방법이 제공될 수 있다.

상기 방법은, 사용자 혈당 변화 분석을 통해 혈당 상태를 진단하는 단계를 더 포함할 수 있다.

상기 방법은, 상기 진단된 혈당 상태에 따라 혈당 조절 방법을 제공하는 단계를 더 포함할 수 있다.

상기 방법은, 상기 계산된 색상 데이터를 통해 산출된 맥파 신호를 이용하여 혈압 및 스트레스 지수를 산출하는 단계를 더 포함할 수 있다.

상기 획득된 사용자 정보에는, 식사시간이 포함되고, 성별, 나이, 키, 체중 및 수면 시간 중에서 적어도 하나가 더 포함될 수 있다.

상기 혈당을 추정하는 단계는, 상기 계산된 색상 데이터를 제1 식전 혈당 회귀직선 식에 적용하여 제1 식전 혈당을 추정할 수 있다.

상기 혈당을 추정하는 단계는, 상기 획득된 사용자 정보를 이용해 상기 추정된 식전 혈당을 편향 조정하여 편향 조정된 제2 식전 혈당을 추정할 수 있다.

상기 혈당을 추정하는 단계는, 상기 추정된 제2 식전 혈당을 제2 식전 혈당 회귀직선 식에 적용하여 제3 식전 혈당을 추정할 수 있다.

상기 혈당을 추정하는 단계는, 상기 계산된 색상 데이터를 제1 식후 혈당 회귀직선 식에 적용하여 제1 식후 혈당을 추정할 수 있다.

상기 혈당을 추정하는 단계는, 상기 획득된 사용자 정보를 이용해 상기 추정된 식후 혈당을 편향 조정하여 편향 조정된 제2 식후 혈당을 추정할 수 있다.

상기 혈당을 추정하는 단계는, 상기 추정된 제2 식후 혈당을 제2 식후 혈당 회귀직선 식에 적용하여 제3 식후 혈당을 추정할 수 있다.

상기 방법은, 사용자 행동 패턴, 피부 영상을 기반으로 측정된 혈당 및 측정 환경 로그 데이터를 기반으로 피부 영상 기반의 식전/식후 혈당, 사용자 신체정보 및 측정 환경 정보에 다중회귀분석을 적용하여 다중회귀 식을 산출하는 단계; 및 상기 산출된 다중회귀 식을 이용하여 사용자 신체정보 및 측정 환경에 따라 편향 조정된 혈당 회귀 식 DB를 구축하는 단계를 더 포함할 수 있다.

상기 방법은, 영상 인식을 통해 사용자 신체정보를 확인하는 단계; 사용자 행동 패턴을 분석하여 식사시간을 추정하고, 상기 추정된 식사시간에 따라 사용자 식사상태를 식전 또는 식후로 분류하는 단계; 및 사용자 신체정보 및 측정 환경에 따라 편향 조정된 혈당 회귀 식과 상기 피부 영상을 이용하여 측정 환경에 따라 편향 조정된 강인한 혈당을 측정하는 단계를 더 포함할 수 있다.

한편, 본 발명의 다른 실시예에 따르면, 복수 부위의 피부 관심 영역이 포함된 피부 영상을 획득하는 영상 획득 모듈; 하나 이상의 프로그램을 저장하는 메모리; 및 상기 저장된 하나 이상의 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 획득된 피부 영상에서 복수 부위의 피부 관심 영역으로부터 색상 데이터를 계산하고, 획득된 사용자 정보의 분석을 통해 사용자 식사상태를 식전 또는 식후로 분류하고, 상기 계산된 색상 데이터를 상기 분류된 사용자 상태에 대응되는 혈당 회귀직선 식에 적용하여 혈당을 추정하고, 상기 추정된 혈당을 가중 평균내어 강인한 혈당을 측정하는, 피부 영상을 이용한 강인한 연속 혈당 측정 장치가 제공될 수 있다.

상기 프로세서는, 사용자 혈당 변화 분석을 통해 혈당 상태를 진단할 수 있다.

상기 프로세서는, 상기 진단된 혈당 상태에 따라 혈당 조절 방법을 제공할 수 있다.

상기 프로세서는, 상기 계산된 색상 데이터를 통해 산출된 맥파 신호를 이용하여 혈압 및 스트레스 지수를 산출할 수 있다.

상기 프로세서는, 상기 계산된 색상 데이터를 제1 식전 혈당 회귀직선 식에 적용하여 제1 식전 혈당을 추정할 수 있다.

상기 프로세서는, 상기 획득된 사용자 정보를 이용해 상기 추정된 식전 혈당을 편향 조정하여 편향 조정된 제2 식전 혈당을 추정할 수 있다.

상기 프로세서는, 상기 추정된 제2 식전 혈당을 제2 식전 혈당 회귀직선 식에 적용하여 제3 식전 혈당을 추정할 수 있다.

상기 프로세서는, 상기 계산된 색상 데이터를 제1 식후 혈당 회귀직선 식에 적용하여 제1 식후 혈당을 추정할 수 있다.

상기 프로세서는, 상기 획득된 사용자 정보를 이용해 상기 추정된 식후 혈당을 편향 조정하여 편향 조정된 제2 식후 혈당을 추정할 수 있다.

상기 프로세서는, 상기 추정된 제2 식후 혈당을 제2 식후 혈당 회귀직선 식에 적용하여 제3 식후 혈당을 추정할 수 있다.

상기 프로세서는, 사용자 행동 패턴, 피부 영상을 기반으로 측정된 혈당 및 측정 환경 로그 데이터를 기반으로 피부 영상 기반의 식전/식후 혈당, 사용자 신체정보 및 측정 환경 정보에 다중회귀분석을 적용하여 다중회귀 식을 산출하고, 상기 산출된 다중회귀 식을 이용하여 사용자 신체정보 및 측정 환경에 따라 편향 조정된 혈당 회귀 식 DB를 구축할 수 있다.

상기 프로세서는, 영상 인식을 통해 사용자 신체정보를 확인하고, 사용자 행동 패턴을 분석하여 식사시간을 추정하고, 상기 추정된 식사시간에 따라 사용자 식사상태를 식전 또는 식후로 분류하고, 사용자 신체정보 및 측정 환경에 따라 편향 조정된 혈당 회귀 식과 상기 피부 영상을 이용하여 측정 환경에 따라 편향 조정된 강인한 혈당을 측정할 수 있다.

한편, 본 발명의 다른 실시예에 따르면, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은: 피부 영상에서 복수 부위의 피부 관심 영역으로부터 색상 데이터를 계산하는 단계; 획득된 사용자 정보의 분석을 통해 사용자 식사상태를 식전 또는 식후로 분류하는 단계; 상기 계산된 색상 데이터를 상기 분류된 사용자 상태에 대응되는 혈당 회귀직선 식에 적용하여 혈당을 추정하는 단계; 및 상기 추정된 혈당을 가중 평균내어 강인한 혈당을 측정하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

본 발명의 실시예들은 종래에 제시된 비침습 혈당 측정 방법보다 사용자가 보유하고 있는 카메라가 탑재된 스마트 기기에서 소프트웨어 설치만으로 혈당을 측정할 수 있어 혈당 측정을 위한 별도 장비에 대한 추가 비용이 고려되지 않으며, 혈당 측정을 위해 채혈을 해야 하는 과정이 필요 없는 비접촉/비침습/무자각/ 무통증 측정 방법이라는 장점이 있다.

또한, 본 발명의 실시예들은 피부 영상의 색상 데이터를 이용하여 혈당 측정뿐만 아니라 혈당 모니터링을 통해 사용자의 혈당 상태진단 및 혈당 조절 방법 제시를 통해 관리할 수 있다.

도 1은 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법에 대한 전체적인 흐름도이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법에서의 피부 관심 영역 검출 및 색상 데이터 평균값을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법에서 피부 영상을 이용하여 식전 혈당을 추정하는 과정을 나타낸 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법에서 제1 식전 혈당 측정 회귀직선 식을 산출하여 제1 식전 혈당 회귀직선 식 DB에 저장하는 과정을 나타낸 흐름도이다.
도 6은 제1 식전 혈당 회귀직선 식을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법에서 제2 식전 혈당 측정 회귀직선 식을 산출하여 “제2 식전 혈당 회귀직선 식 DB”에 저장하는 과정을 나타낸 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법에서 피부 영상을 이용하여 식후 혈당을 추정하는 과정을 나타낸 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법에서 제1 식후 혈당 측정 회귀직선 식을 산출하여 “제1 식후 혈당 회귀직선 식 DB”에 저장하는 과정을 나타낸 도면이다.
도 10은 제1 식후 혈당 회귀직선 식을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법에서 제2 식후 혈당 측정 회귀직선 식을 산출하여 “제2 식후 혈당 회귀직선 식 DB”에 저장하는 과정을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법에서 언제 어디서나 상시/연속적으로 피부 영상을 이용하여 사용자 신체정보 및 측정 환경에 따라 편향 조정된 강인한 식전/식후 혈당을 측정하는 과정을 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 피부 영상의 생체신호를 이용한 강인한 혈당 측정 장치의 구성을 설명하기 위한 구성도이다.

본 발명은 다양한 변환을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 발명에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

본 발명의 일 실시예는 상시/연속적으로 피부 영상(얼굴, 손 등)을 이용한 비접촉/비침습/무자각/무통증 혈당 추정 방법 및 모니터링을 통한 혈당 상태진단 및 혈당 조절 방법 제시를 통한 관리 방법에 관한 것이다. 본 발명의 일 실시예는 종래의 비침습 혈당 측정을 위한 다양한 체액(눈물, 땀, 타액, 소변 등) 기반의 혈당 측정 장비를 이용하여 측정하는 것이 아닌 추가적인 혈당 측정을 위한 하드웨어 모듈 없이 일반 카메라, 적외선 카메라, 줌 카메라 뿐만 아니라 웨어러블 기기(손목시계형, 신체(귀, 얼굴 등) 부착형 등)을 이용하여 상시/연속적으로 혈당을 측정할 수 있다.

세부적으로는, 본 발명의 일 실시예는 사용자가 성별, 나이, 식사시간(아침, 점심, 저녁), 키, 체중 및 수면 시간 등을 입력한 후, 사용자가 보유하고 있는 일반 카메라, 적외선 카메라, 줌 카메라 또는 웨어러블 기기 등을 이용하여 비접촉/비침습/무자각/무통증으로 피부 영상을 촬영하고 복수부위의 피부 관심 영역(ROI, Region of Interest)을 검출한다. 본 발명의 일 실시예는 검출된 복수부위 피부 관심 영역(ROI₁, ROI₂ 등)의 RGB 색상체계를 YC_gC_o, YC_bC_r 색상체계로 변환하여 C_r, C_o 색상 데이터 평균값을 계산한다. 본 발명의 일 실시예는 피부 관심 영역에서 계산된 색상 데이터의 변화를 분석하여 맥파 신호를 산출하고, 산출된 맥파 신호를 이용하여 혈압 및 스트레스 지수 등을 산출할 수 있다.

본 발명의 일 실시예는 사용자의 식사시간이 식전일 경우 가중 평균이 적용된 C_rC_o 색상 데이터 평균값을 '제1 식전 혈당 회귀직선 식'에 적용하여 식전(아침, 점심, 저녁) 혈당을 추정하며 사용자의 신체정보(성별, 나이, BMI, 수면 시간, 혈압 및 스트레스 지수)를 이용하여 편향 조정된 식전 혈당을 추정하고, 추정된 식전 혈당을 '제2 식전 혈당 회귀직선 식'에 적용하여 개선된 식전 혈당을 추정한다.

본 발명의 일 실시예는 사용자의 식사시간이 식후일 경우 가중 평균이 적용된 C_rC_o 색상 데이터 평균값을 '제1 식후 혈당 회귀직선 식'에 적용하여 식후(아침, 점심, 저녁) 혈당을 추정하고, 계산된 식후 혈당을 '제2 식후 혈당 회귀직선 식'에 적용하여 개선된 식후 혈당을 추정한다.

본 발명의 일 실시예는 사용자가 혈당 측정 시 입력한 식사시간을 '식사시간 DB'에 저장하며, 주기적으로 저장된 사용자 '식사시간 DB'의 로그를 분석하여 개인 맞춤형 식전/식후 자동 분류를 진행할 수 있다. 또한, 본 발명의 일 실시예는 상시/연속적으로 복수부위에서 계산된 혈당(식전 또는 식후)을 가중 평균 내어 강인한 혈당을 측정할 수 있다.

본 발명의 일 실시예는 피부 영상에서 산출된 가중 평균이 적용된 C_rC_o 색상 데이터 평균값을 이용하여 혈당을 측정하는 방법을 제공하는 것이며, 더 나아가, 같은 방법을 도입하여 피부 관심 영역의 다양한 색상체계를 이용하여 혈당을 측정할 수 있다.

도 1은 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법에 대한 전체적인 흐름도이다.

단계 S101에서, 본 발명의 일 실시예에 따른 혈당 측정 장치는 사용자로부터 사용자 성별, 나이, 식사시간, 키, 체중, 수면 시간을 입력받는다.

단계 S102에서, 혈당 측정 장치는 스마트 기기의 카메라를 이용하여 피부 영상(얼굴, 손 등)을 촬영하고 복수부위의 피부 관심 영역(ROI₁, ROI₂ 등)을 검출한다. 혈당 측정 장치는 사용자가 보유하고 있는 일반 카메라, 적외선 카메라, 줌 카메라 또는 웨어러블 기기 등을 이용하여 비접촉/비침습/무자각/무통증으로 피부 영상을 촬영할 수 있다.

단계 S103에서, 혈당 측정 장치는 검출된 복수 부위의 피부 관심 영역에서 다양한 색상체계 중 한 가지 예로 지정된 RGB 색상체계를 YC_gC_o, YC_bC_r색상체계로 변환하여 C_r, C_o 색상 데이터를 계산하고, 가중 평균이 적용된 C_rC_o 색상 데이터 평균값을 계산한다.

단계 S104에서, 혈당 측정 장치는 가중 평균이 적용된 C_rC_o 색상 데이터 평균값을 통해 산출된 맥파 신호를 이용하여 혈압 및 스트레스 지수를 산출한다. 여기서, 입력된 사용자 성별, 나이, 키, 체중, 수면 시간과, 산출된 혈압 및 스트레스 지수는 사용자 성별, 나이, BMI, 수면시간, 혈압 및 스트레스 지수 DB에 저장된다.

단계 S105에서, 혈당 측정 장치는 사용자가 혈당 측정 시 입력한 식사시간을 '식사시간 DB'에 저장하며, 주기적으로 저장된 사용자 '식사시간 DB'의 로그를 분석하여 개인 맞춤형 식전/식후 자동 분류를 진행할 수 있다.

단계 S106에서, 혈당 측정 장치는 사용자의 식사시간이 식전일 경우 '제1 식전 혈당 회귀직선 식'에 적용하여 식전(아침, 점심, 저녁) 혈당을 추정한다.

단계 S107에서, 혈당 측정 장치는 사용자의 신체정보(성별, 나이, BMI, 수면 시간, 혈압 및 스트레스 지수)를 이용하여 편향 조정된 식전 혈당을 추정한다.

단계 S108에서, 혈당 측정 장치는 계산된 식전 혈당을 '제2 식전 혈당 회귀직선 식'에 적용하여 개선된 식전 혈당을 추정한다.

한편, 단계 S109에서, 혈당 측정 장치는 사용자의 식사시간이 식후일 경우, 가중 평균이 적용된 C_rC_o 색상 데이터 평균값을 '제1 식후 혈당 회귀직선 식'에 적용하여 식후(아침, 점심, 저녁) 혈당을 추정한다.

단계 S109에서, 혈당 측정 장치는 계산된 식후 혈당을 '제2 식후 혈당 회귀직선 식'에 적용하여 개선된 식후 혈당을 추정한다.

본 발명의 일 실시예에서 지정한 피부 영상의 피부 관심 영역은 안면 동맥이 위치하는 좌우 볼 영역으로 지정할 수 있으며, 이 외의 다른 영역에서도 혈당 DB와 동일 영역의 지정된 색상체계 평균값 DB를 이용하여 개선된 혈당 회귀직선 식을 추정할 수 있다.

또한, 단계 S111에서, 혈당 측정 장치는 상시/연속적으로 복수부위에서 계산된 혈당(식전 또는 식후)을 가중 평균 내어 강인한 혈당을 측정할 수 있다.

또한, 단계 S112에서, 혈당 측정 장치는 모니터링을 통해 분석한 사용자의 혈당 변화를 통해 혈당 상태진단 및 혈당 조절 방법 제시로 관리할 수 있다.

도 2 및 도 3은 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법에서의 피부 관심 영역 검출 및 색상 데이터 평균값을 나타낸 도면이다.

도 2에 도시된 바와 같이, 혈당 측정 장치는 카메라가 탑재된 스마트 기기를 이용하여 촬영된 피부 영상에서 복수의 피부 관심 영역(ROI₁, ROI₂등)을 검출하고 피부 영역의 RGB 색상체계를 YC_gC_o, YC_bC_r 색상체계로 변환하여 C_r, C_o를 계산한다.

그리고 혈당 측정 장치는 도 3에 도시된 가중 평균이 적용된 C_rC_o 색상 데이터 평균값을 사용자의 식사시간이 식전일 경우 '제1 식전 혈당 회귀직선 식'에 적용하여 식전(아침, 점심, 저녁) 혈당을 추정하며 사용자의 신체정보(성별, 나이, BMI, 수면 시간, 혈압 및 스트레스 지수)를 이용하여 편향 조정된 식전 혈당을 추정하고, 계산된 식전 혈당을 '제2 식전 혈당 회귀직선 식'에 적용하여 개선된 식전 혈당을 추정한다.

혈당 측정 장치는 사용자의 식사시간이 식후일 경우 가중 평균이 적용된 C_rC_o 색상 데이터 평균값을 '제1 식후 혈당 회귀직선 식'에 적용하여 식후(아침, 점심, 저녁) 혈당을 추정하고, 계산된 식후 혈당을 '제2 식후 혈당 회귀직선 식'에 적용하여 개선된 식후 혈당을 추정한다.

그리고 혈당 측정 장치는 상시/연속적으로 복수부위에서 계산된 혈당(식전 또는 식후)을 가중 평균 내어 강인한 혈당을 측정할 수 있다. 또한, 혈당 측정 장치는 모니터링을 통해 분석한 사용자의 혈당 변화를 통해 혈당 상태진단 및 혈당 조절 방법 제시로 관리할 수 있다.

도 4는 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법에서 피부 영상을 이용하여 식전 혈당을 추정하는 과정을 나타낸 흐름도이다.

단계 S201에서, 본 발명의 일 실시예에 따른 혈당 측정 장치는 사용자로부터 사용자 성별, 나이, 식사시간, 키, 체중, 수면 시간을 입력받는다.

단계 S202에서, 혈당 측정 장치는 스마트 기기의 카메라를 이용하여 피부 영상을 촬영하고 복수부위의 피부 관심 영역(ROI₁, ROI₂등)을 검출한다.

그리고 단계 S203에서, 혈당 측정 장치는 검출된 피부 관심 영역에서 다양한 색상체계 중 한 가지 예로 지정된 RGB 색상체계를 YC_gC_o, YC_bC_r색상체계로 변환하여 C_r, C_o 을 계산하고, 가중 평균이 적용된 C_rC_o 색상 데이터 평균값을 계산한다.

단계 S204에서, 혈당 측정 장치는 색상 데이터 평균값을 통해 산출된 맥파 신호를 이용하여 혈압 및 스트레스 지수를 산출한다. 여기서, 입력된 사용자 성별, 나이, 키, 체중, 수면 시간과, 산출된 혈압 및 스트레스 지수는 사용자 성별, 나이, BMI, 수면시간, 혈압 및 스트레스 지수 DB에 저장된다.

단계 S205에서, 혈당 측정 장치는 가중 평균이 적용된 C_rC_o 색상 데이터 평균값을 '제1 식전 혈당 회귀직선 식'에 적용하여 식전 혈당을 추정한다.

단계 S206에서, 혈당 측정 장치는 사용자의 신체정보(성별, 나이, BMI, 수면 시간, 혈압 및 스트레스 지수)를 이용하여 편향 조정된 식전 혈당을 추정

단계 S207에서, 혈당 측정 장치는 계산된 식전 혈당을 '제2 식전 혈당 회귀직선 식'에 적용하여 개선된 식전 혈당을 추정한다.

단계 S208에서, 혈당 측정 장치는 상시/연속적으로 복수부위에서 계산된 식전 혈당을 가중 평균 내어 강인한 식전 혈당을 측정할 수 있다.

도 5는 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법에서 제1 식전 혈당 측정 회귀직선 식을 산출하여 제1 식전 혈당 회귀직선 식 DB에 저장하는 과정을 나타낸 흐름도이고, 도 6은 제1 식전 혈당 회귀직선 식을 나타낸 도면이다.

단계 S301에서, 혈당 측정 장치는 스마트 기기의 카메라를 이용하여 피부 영상을 촬영하고 피부 관심 영역을 검출한다.

단계 S302에서, 혈당 측정 장치는 검출된 피부 관심 영역에서 다양한 색상체계 중 한 가지 예로 지정된 RGB 색상체계를 YC_gC_o, YC_bC_r색상체계로 변환하여 C_r, C_o 를 계산하고, 가중 평균이 적용된 C_rC_o 색상 데이터 평균값을 “색상 데이터 DB”에 저장한다.

단계 S303에서, 혈당 측정 장치는 혈당계를 이용하여 측정된 식전 혈당 데이터를 “식전 혈당 DB”에 저장한다.

단계 S304에서, 혈당 측정 장치는 피부 영상의 색상 데이터 DB와 혈당계에서 측정된 식전 혈당 DB에 회귀분석을 적용하여 제1 식전 혈당 회귀직선 식을 산출하고 이를 “제1 식전 혈당 회귀직선 식 DB”에 저장한다. 추정된 혈당과 실제 혈당에 대한 제1 식전 혈당 회귀직선 식이 도 6에 도시되어 있다.

도 7은 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법에서 제2 식전 혈당 측정 회귀직선 식을 산출하여 “제2 식전 혈당 회귀직선 식 DB”에 저장하는 과정을 나타낸 흐름도이다.

단계 S401에서, 본 발명의 일 실시예에 따른 혈당 측정 장치는 사용자로부터 사용자 성별, 나이, 식사시간, 키, 체중, 수면 시간을 입력받는다.

단계 S402에서, 혈당 측정 장치는 스마트 기기의 카메라를 이용하여 피부 영상을 촬영하고 피부 관심 영역 (ROI₁, ROI₂등)을 검출한다.

그리고 단계 S403에서, 혈당 측정 장치는 검출된 피부 관심 영역에서 다양한 색상체계 중 한 가지 예로 지정된 RGB 색상체계를 YC_gC_o, YC_bC_r색상체계로 변환하여 C_r, C_o 를 계산하고, 가중 평균이 적용된 C_rC_o 색상 데이터 평균값을 계산한다.

단계 S404에서, 혈당 측정 장치는 색상 데이터 평균값을 통해 산출된 맥파 신호를 이용하여 혈압 및 스트레스 지수를 산출한다. 여기서, 입력된 사용자 성별, 나이, 키, 체중, 수면 시간과, 산출된 혈압 및 스트레스 지수는 사용자 성별, 나이, BMI, 수면시간, 혈압 및 스트레스 지수 DB에 저장된다.

단계 S404에서, 혈당 측정 장치는 가중 평균이 적용된 C_rC_o 색상 데이터 평균값을 “제1 식전 혈당 회귀직선 식 DB”에 적용하여 식전 혈당을 추정한다.

단계 S406에서, 혈당 측정 장치는 사용자의 신체정보(성별, 나이, BMI, 수면 시간, 혈압 및 스트레스 지수)를 이용하여 편향 조정된 식전 혈당을 추정한다.

단계 S407에서, 혈당 측정 장치는 상시/연속적으로 복수부위에서 계산된 식전 혈당을 가중 평균 내어 추정된 강인한 식전 혈당을 “추정된 식전 혈당 DB”에 저장한다.

그리고 단계 S408에서, 혈당 측정 장치는 혈당계를 이용하여 측정된 식전 혈당 데이터를 “식전 혈당 DB”에 저장한다.

단계 S409에서, 혈당 측정 장치는 피부 영상 기반으로 추정된 식전 혈당 DB와 혈당계에서 측정된 식전 혈당 DB에 회귀분석을 적용하여 제2 식전 혈당 회귀직선 식을 산출하고 이를 “제2 식전 혈당 회귀직선 식 DB”에 저장한다.

도 8은 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법에서 피부 영상을 이용하여 식후 혈당을 추정하는 과정을 나타낸 흐름도이다.

단계 S501에서, 혈당 측정 장치는 스마트 기기의 카메라를 이용하여 피부 영상을 촬영하고 복수부위의 피부 관심 영역(ROI₁, ROI₂등)을 검출한다.

그리고 단계 S502에서, 혈당 측정 장치는 검출된 피부 관심 영역에서 다양한 색상체계 중 한 가지 예로 지정된 RGB 색상체계를 YC_gC_o, YC_bC_r색상체계로 변환하여 C_r, C_o 를 계산하고, 가중 평균이 적용된 C_rC_o 색상 데이터 평균값을 계산한다.

단계 S503에서, 혈당 측정 장치는 가중 평균이 적용된 C_rC_o 색상 데이터 평균값을 '제1 식후 혈당 회귀직선 식'에 적용하여 식후 혈당을 추정한다.

단계 S504에서, 혈당 측정 장치는 추정된 식후 혈당을 '제2 식후 혈당 회귀직선 식'에 적용하여 개선된 식후 혈당을 추정한다.

단계 S505에서, 혈당 측정 장치는 상시/연속적으로 복수부위에서 계산된 식후 혈당을 가중 평균 내어 강인한 식후 혈당을 측정할 수 있다.

도 9는 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법에서 제1 식후 혈당 측정 회귀직선 식을 산출하여 “제1 식후 혈당 회귀직선 식 DB”에 저장하는 과정을 나타낸 도면이고, 도 10은 제1 식후 혈당 회귀직선 식을 나타낸 도면이다.

단계 S601에서, 혈당 측정 장치는 스마트 기기의 카메라를 이용하여 피부 영상을 촬영하고 피부 관심 영역을 검출한다.

단계 S602에서, 혈당 측정 장치는 검출된 피부 관심 영역에서 다양한 색상체계 중 한 가지 예로 지정된 RGB 색상체계를 YC_gC_o, YC_bC_r색상체계로 변환하여 C_r, C_o 를 계산하고, 가중 평균이 적용된 C_rC_o 색상 데이터 평균값을 “색상 데이터 DB”에 저장한다.

단계 S603에서, 혈당 측정 장치는 혈당계를 이용하여 측정된 식전 혈당 데이터를 “식후 혈당 DB”에 저장한다.

단계 S604에서, 혈당 측정 장치는 피부 영상의 “색상 데이터 DB”와 혈당계에서 측정된 “식후 혈당 DB”에 회귀분석을 적용하여 제1 식후 혈당 회귀직선 식을 산출하고 이를 “제1 식후 혈당 회귀직선 식 DB”에 저장한다. 추정된 혈당과 실제 혈당에 대한 제1 식후 혈당 회귀직선 식이 도 10에 도시되어 있다.

도 11은 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법에서 제2 식후 혈당 측정 회귀직선 식을 산출하여 “제2 식후 혈당 회귀직선 식 DB”에 저장하는 과정을 나타낸 도면이다.

단계 S701에서, 본 발명의 일 실시예에 따른 혈당 측정 장치는 스마트 기기의 카메라를 이용하여 피부 영상을 촬영하고 피부 관심 영역(ROI₁, ROI₂등)을 검출한다.

그리고 단계 S702에서, 혈당 측정 장치는 검출된 피부 관심 영역에서 다양한 색상체계 중 한 가지 예로 지정된 RGB 색상체계를 YC_gC_o, YC_bC_r색상체계로 변환하여 C_r, C_o 를 계산하고, 가중 평균이 적용된 C_rC_o 색상 데이터 평균값을 계산한다.

단계 S703에서, 혈당 측정 장치는 “제1 식후 혈당 회귀직선 식 DB”에 적용하여 식후 혈당을 추정한다.

단계 S704에서, 혈당 측정 장치는 상시/연속적으로 복수부위에서 계산된 식후 혈당을 가중 평균 내어 추정된 강인한 식후 혈당을 “추정된 식후 혈당 DB”에 저장한다.

그리고 단계 S705에서, 혈당 측정 장치는 혈당계를 이용하여 측정된 식후 혈당 데이터를 “식후 혈당 DB”에 저장한다.

단계 S706에서, 혈당 측정 장치는 피부 영상 기반으로 추정된 식후 혈당 DB와 혈당계에서 측정된 식후 혈당 DB에 회귀분석을 적용하여 제2 식후 혈당 회귀직선 식을 산출하고 이를 “제2 식후 혈당 회귀직선 식 DB”에 저장한다.

한편, 변수 간의 이론적 의존 관계를 해석하는 방법으로, 상관도(Scatter diagram) 상의 점집합을 직선으로 대표시켜 구한 직선으로 두 변량 사이의 관계를 나타내며, 본 발명의 일 실시예에서는 두 변량 사이의 관계를 이용하여 제1 및 제2 회귀직선 식을 추정한다.

첫째, 본 발명의 일 실시예는 혈당 측정기를 통해 수집한 “실제 혈당 DB”와 스마트 기기의 카메라를 이용하여 촬영된 얼굴 영상에서 추출한 “색상 데이터 평균값 DB“에 회귀분석을 적용하여 회귀직선 식을 추정하고, 이를 제1 회귀분석 식 DB에 저장한다.

둘째, 본 발명의 일 실시예는 색상 데이터 평균값을 제1 회귀분석 식에 적용하여 추정 혈당을 산출하고, 이를 사용자의 정보와(성별, 나이, 식사시간, 키, 체중 및 수면 시간)와 ”한국인의 성별 및 연령별 표준 공복 혈당 정보“를 이용하여 공복 혈당의 편향을 조정한 “추정 혈당 DB”와 “실제 혈당 DB”에 회귀분석을 적용하여 회귀직선 식을 산출한다. 그리고 이를 제2 회귀분석 식 DB에 저장한다. 회귀직선 식은 하기의 [수학식 1]과 같다.

제1 회귀직선 식 산출에서 x 값은 선택한 색상체계(본 발명에서는 C_r 색상 데이터 평균값을 이용)의 평균값이고, y 값은 혈당 측정기로부터 측정한 “실제 혈당”을 나타낸다.

제2 회귀직선 식 산출에서 x 값은 “추정된 혈당”이고, y 값은 “개선된 혈당”을 나타낸다.

[표 1]에서 x는 선택한 색상체계(본 발명의 일 실시예에서는 C_r을 이용)의 얼굴 영상관심 영역의 색상 데이터 평균값을 나타내고, 이를 혈당 회귀직선 식에 적용하여 y(추정된 혈당)를 산출한다. 실제 데이터를 적용하여 구한 각각의 식사시간 전후 회귀직선 식 산출 결과는 사용하는 피부 관심 영역의 색상 데이터 및 측정 혈당 데이터에 따라 상수 a, b 값이 바뀔 수 있다.

“색상 데이터 평균값 DB”와 “실제 혈당 DB”에 회귀분석을 적용하여 산출된 혈당 회귀직선 식은 아래 [표 1]과 같다. [표 1]은 “C_r 색상 데이터 평균값 DB”와 “실제 혈당 DB”를 통해 추정된 “혈당 회귀직선 식”을 나타낸다.

[표 2]에서 x는 얼굴 영상으로부터 추정된 혈당이고, 이를 개선된 혈당 회귀직선 식에 적용하여 y(개선된 혈당)를 산출한다. 실제 데이터를 적용하여 구한 각각의 식사시간 전후 회귀직선 식 산출 결과는 사용하는 피부 관심 영역의 색상 데이터 및 측정 혈당 데이터에 따라 상수 a, b 값이 바뀔 수 있다.

추정된 “혈당 DB”와 “실제 혈당 DB”에 회귀분석을 적용하여 산출된 개선된 혈당 회귀직선 식은 아래 [표 2]와 같다. [표 2]는 “추정 혈당 DB”와 “실제 혈당 DB”를 통해 추정된 “개선된 혈당 회귀직선 식”을 나타낸다.

본 발명의 일 실시예는 추출된 C_r색상 데이터 값을 제1 회귀분석 식 DB에 적용하여 얼굴 영상의 지정된 관심 영역에서 추정 혈당을 산출하고, 추정된 값을 제2 회귀분석 식 DB에 적용하여 개선된 혈당을 측정할 수 있다.

도 12는 본 발명의 일 실시예에 따른 피부 영상을 이용한 강인한 연속 혈당 측정 방법에서 언제 어디서나 상시/연속적으로 피부 영상을 이용하여 사용자 신체정보 및 측정 환경에 따라 편향 조정된 강인한 식전/식후 혈당을 측정하는 과정을 나타낸 도면이다.

단계 S801 및 S802에서, 본 발명의 일 실시예에 따른 혈당 측정 장치는 언제 어디서나(병원, 요양원, 출근길, 카페, 집, 차량 운전 등) 일반 카메라, 줌 카메라, 또는 웨어러블 기기 등을 이용하여 사용자 얼굴을 인식하고 사용자의 성별과 연령을 구분한다.

또한, 단계 S803에서, 혈당 측정 장치는 사용자 행동 패턴(기상/취침 시간, 출/퇴근 시간, 여가활동 등) 분석하여 식사시간을 추정하고 식전/식후를 분류한다.

그리고 단계 S804에서, 혈당 측정 장치는 사전에 구축된 “신체정보 및 환경에 따라 편향 조정된 혈당 회귀 식 DB”와 피부 영상을 이용하여 상시/연속적으로 측정 환경(조도, 촬영 거리 등)에 따라 편향 조정된 강인한 식전/식후 혈당을 측정한다.

단계 S805에서, 혈당 측정 장치는 상시/연속적으로 식전/식후 혈당을 재측정할 수 있다.

그리고 단계 S806에서, 혈당 측정 장치는 모니터링을 통해 분석한 사용자의 혈당 변화를 통해 혈당 상태진단 및 혈당 조절 방법 제시 및 관리할 수 있다.

한편, 단계 S807에서, 혈당 측정 장치는 사전에 기록된 사용자 행동 패턴, 피부 영상을 기반으로 측정된 혈당 및 측정 환경 로그 데이터를 기반으로 “피부 영상을 이용하여 측정된 식전/식후 혈당 DB”와 “사용자 신체정보(성별, 나이) DB”, “측정 환경 정보 DB”에 다중회귀분석을 적용하여 다중회귀 식을 산출하고 이를 “신체정보 및 측정 환경에 따라 편향 조정된 혈당 회귀 식 DB”에 저장한다. 이와 같이, “신체정보 및 측정 환경에 따라 편향 조정된 혈당 회귀 식 DB”는 사전에 구축되어 단계 S804에 사용된다.

한편, 언제 어디서나 상시/연속적으로 피부 영상을 이용한 강인한 식전/식후 혈당 측정은 일반 카메라, 적외선 카메라, 줌 카메라뿐만 아니라 웨어러블 기기(손목시계형, 신체(귀, 얼굴 등) 부착형 등)의 적외선 등의 카메라를 이용도 가능하다. 일례로, 혈당 측정 장치는 손목시계형 웨어러블 기기의 적외선으로 촬영한 손 영상의 피부 관심 영역을 검출한다. 그리고 혈당 측정 장치는 검출된 피부 관심 영역에서 계산된 색상 데이터를 사용자의 식사시간이 식전일 경우 '제1 식전 혈당 회귀직선 식'에 적용하여 식전(아침, 점심, 저녁) 혈당을 추정하며 사용자의 신체정보(성별, 나이, BMI, 수면 시간, 혈압 및 스트레스 지수)를 이용하여 편향 조정된 식전 혈당을 추정하고, 계산된 식전 혈당을 '제2 식전 혈당 회귀직선 식'에 적용하여 개선된 식전 혈당을 추정한다. 혈당 측정 장치는 사용자의 식사시간이 식후일 경우 색상 데이터를 '제1 식후 혈당 회귀직선 식'에 적용하여 식후(아침, 점심, 저녁) 혈당을 추정하고, 계산된 식후 혈당을 '제2 식후 혈당 회귀직선 식'에 적용하여 개선된 식후 혈당을 추정할 수 있다.

도 13은 본 발명의 일 실시예에 따른 피부 영상의 생체신호를 이용한 강인한 혈당 측정 장치의 구성을 설명하기 위한 구성도이다.

도 13에 도시된 바와 같이, 본 발명의 일 실시예에 따른 혈당 측정 장치(100)는 영상 획득 모듈(110), 메모리(120) 및 프로세서(130)를 포함한다. 그러나 도시된 구성요소 모두가 필수 구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 혈당 측정 장치(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 혈당 측정 장치(100)가 구현될 수 있다.

이하, 도 13의 혈당 측정 장치(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.

영상 획득 모듈(110)은 일반 카메라, 적외선 카메라, 줌 카메라뿐만 아니라 웨어러블 기기(손목시계형, 신체(귀, 얼굴 등) 부착형 등)의 적외선 등의 카메라 등을 촬영된 피부 영상을 획득한다. 피부 영상에는 복수 부위의 피부 관심 영역이 포함된다.

메모리(120)는 하나 이상의 프로그램을 저장한다. 메모리(120)는 사용자 식사시간 DB, 제1 식전 혈당 회귀직선 식 DB, 사용자 성별, 나이, BMI, 수면시간, 혈압 및 스트레스 지수 DB, 제2 식전 혈당 회귀직선 식 DB, 제1 식후 혈당 회귀직선 식 DB, 제2 식후 혈당 회귀직선 식 DB, 색상 데이터 DB, 식전 혈당 DB, 추정된 식전 혈당 DB, 측정된 식전 혈당 DB, 식후 혈당 DB, 추정된 식후 혈당 DB, 측정된 식후 혈당 DB를 포함한다.

프로세서(130)는 메모리(120)에 저장된 하나 이상의 프로그램을 실행한다. 프로세서(130)는 획득된 피부 영상에서 복수 부위의 피부 관심 영역으로부터 색상 데이터를 계산하고, 획득된 사용자 정보의 분석을 통해 사용자 식사상태를 식전 또는 식후로 분류하고, 계산된 색상 데이터를 상기 분류된 사용자 상태에 대응되는 혈당 회귀직선 식에 적용하여 혈당을 추정하고, 추정된 혈당을 가중 평균내어 강인한 혈당을 측정한다.

실시예들에 따르면, 프로세서(130)는 사용자 혈당 변화 분석을 통해 혈당 상태를 진단할 수 있다.

실시예들에 따르면, 프로세서(130)는 진단된 혈당 상태에 따라 혈당 조절 방법을 제공할 수 있다.

실시예들에 따르면, 프로세서(130)는 계산된 색상 데이터를 통해 산출된 맥파 신호를 이용하여 혈압 및 스트레스 지수를 산출할 수 있다.

실시예들에 따르면, 획득된 사용자 정보에는, 식사시간이 포함되고, 성별, 나이, 키, 체중 및 수면 시간 중에서 적어도 하나가 더 포함할 수 있다.

실시예들에 따르면, 프로세서(130)는 계산된 색상 데이터를 제1 식전 혈당 회귀직선 식에 적용하여 제1 식전 혈당을 추정할 수 있다.

실시예들에 따르면, 프로세서(130)는 상기 획득된 사용자 정보를 이용해 상기 추정된 식전 혈당을 편향 조정하여 편향 조정된 제2 식전 혈당을 추정 할 수 있다.

실시예들에 따르면, 프로세서(130)는 추정된 제2 식전 혈당을 제2 식전 혈당 회귀직선 식에 적용하여 제3 식전 혈당을 추정할 수 있다.

실시예들에 따르면, 프로세서(130)는 계산된 색상 데이터를 제1 식후 혈당 회귀직선 식에 적용하여 제1 식후 혈당을 추정할 수 있다.

실시예들에 따르면, 프로세서(130)는 상기 획득된 사용자 정보를 이용해 상기 추정된 식후 혈당을 편향 조정하여 편향 조정된 제2 식후 혈당을 추정할 수 있다.

실시예들에 따르면, 프로세서(130)는 상기 추정된 제2 식후 혈당을 제2 식후 혈당 회귀직선 식에 적용하여 제3 식후 혈당을 추정할 수 있다.

실시예들에 따르면, 프로세서(130)는 사용자 행동 패턴, 피부 영상을 기반으로 측정된 혈당 및 측정 환경 로그 데이터를 기반으로 피부 영상 기반의 식전/식후 혈당, 사용자 신체정보 및 측정 환경 정보에 다중회귀분석을 적용하여 다중회귀 식을 산출하고, 산출된 다중회귀 식을 이용하여 사용자 신체정보 및 측정 환경에 따라 편향 조정된 혈당 회귀 식 DB를 구축할 수 있다.

실시예들에 따르면, 프로세서(130)는 영상 인식을 통해 사용자 신체정보를 확인하고, 사용자 행동 패턴을 분석하여 식사시간을 추정하고, 추정된 식사시간에 따라 사용자 식사상태를 식전 또는 식후로 분류하고, 생성된 사용자 신체정보 및 측정 환경에 따라 편향 조정된 혈당 회귀 식과 상기 피부 영상을 이용하여 측정 환경에 따라 편향 조정된 강인한 혈당을 측정할 수 있다.

한편, 얼굴 영상을 이용한 혈당 측정 실험 및 실험 결과를 살펴보기로 한다.

얼굴 영상을 이용한 혈당 측정 방식의 성능을 확인하기 위해 스마트 기기의 카메라를 사용하여 실험하였다.

스마트 기기의 카메라를 이용하여 시간과 위치를 동일하게 설정하고 얼굴 영상을 촬영하였고, 동시에 혈당을 측정하였다. 본 발명에서는 색상체계들 중의 한 가지 예로 RGB 색상체계를 YC_bC_r색상체계로 변환하여 추출된 C_r색상 데이터 평균값을 사용하였다.

실험은 아침 전후, 점심 전후, 저녁 전후로 1인당 총 6번의 혈당을 측정하였고, 얼굴 영상 촬영은 혈당 측정을 위해 채혈을 할 때마다, 채혈 전후로 1회씩 10초 분량으로 1인당 총 12회 촬영하였다. 총 180회의 실험(피험자 30명 각각)을 진행하여 얼굴 영상 관심 영역에서 C_r색상 데이터 평균값 DB와 혈당 측정기를 통해 수집한 실제 혈당 DB를 이용하여 혈당 회귀직선 추정하고, 얼굴 영상으로부터 산출된 C_r색상 데이터 평균값을 혈당 회귀직선 적용하여, 정확도를 계산하였다. [표 3]은 혈당 추정 정확도 결과 (제1 회귀분석 적용)를 나타낸다.

얼굴 영상의 C_r색상 데이터 평균값을 혈당 회귀직선 식에 적용하여 추정된 혈당의 정확도는 성별 및 식사시간 별로 표 3의 정확도 측정 결과가 나왔으며, 혈당 회귀직선 식으로부터 산출된 추정 혈당을 개선된 혈당 회귀직선 식에 적용하여 계산한 정확도 결과는 [표 4]와 같다.

제2 회귀직선 식을 이용하였을 경우, 제1 회귀직선 식에 적용하였을 때보다 오차율이 적은 것을 확인하였다.

본 발명의 일 실시예는 얼굴 영상으로부터 혈당을 측정함에 있어서 별도의 하드웨어 모듈 없이 사용자가 보유하고 있는 스마트기기에서 피부 영상을 촬영하고 피부 관심 영역으로부터 혈당을 추정할 수 있으며, 추정된 값을 이용하여 개선된 혈당을 측정할 수 있다.

이는 일반 사용자를 대상으로 언제 어디서나 빠르고 편리한 혈당 시스템을 제공하는데 이용될 수 있다. 또한, 혈당 관리가 필요한 상황과 관련하여 일반적으로 활용하는 침습 및 채혈방식의 혈당 측정기를 효과적으로 대체할 수 있다.

한편, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은: 피부 영상에서 복수 부위의 피부 관심 영역으로부터 색상 데이터를 계산하는 단계; 획득된 사용자 정보의 분석을 통해 사용자 식사상태를 식전 또는 식후로 분류하는 단계; 상기 계산된 색상 데이터를 상기 분류된 사용자 상태에 대응되는 혈당 회귀직선 식에 적용하여 혈당을 추정하는 단계; 및 상기 추정된 혈당을 가중 평균내어 강인한 혈당을 측정하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다.

한편, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.

한편, 상술한 다양한 실시예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.

또한, 상술한 다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100: 혈당 측정 장치
110: 영상 획득 모듈
120: 메모리
130: 프로세서

Claims

혈당 측정 장치에 의해 수행되는 혈당 측정 방법에 있어서,
피부 영상에서 복수 부위의 피부 관심 영역으로부터 색상 데이터를 계산하는 단계;
식사시간을 포함하는 획득된 사용자 정보의 분석을 통해 사용자 식사상태를 식전 또는 식후로 분류하는 단계;
상기 계산된 색상 데이터를 상기 분류된 사용자 식사상태에 대응되는 혈당 회귀직선 식에 적용하여 혈당을 추정하는 단계; 및
상기 추정된 혈당을 가중 평균내어 강인한 혈당을 측정하는 단계를 포함하고,
상기 혈당을 추정하는 단계는,
상기 계산된 색상 데이터를 제1 식전 혈당 회귀직선 식에 적용하여 제1 식전 혈당을 추정하며, 상기 획득된 사용자 정보를 이용해 상기 추정된 제1 식전 혈당을 편향 조정하여 편향 조정된 제2 식전 혈당을 추정하되,
상기 획득된 사용자 정보에는,
성별, 나이, 키, 체중 및 수면 시간이 더 포함되는, 피부 영상을 이용한 강인한 연속 혈당 측정 방법.
제1항에 있어서,
사용자 혈당 변화 분석을 통해 혈당 상태를 진단하는 단계를 더 포함하는, 피부 영상을 이용한 강인한 연속 혈당 측정 방법.
제2항에 있어서,
상기 진단된 혈당 상태에 따라 혈당 조절 방법을 제공하는 단계를 더 포함하는, 피부 영상을 이용한 강인한 연속 혈당 측정 방법.
제1항에 있어서,
상기 계산된 색상 데이터를 통해 산출된 맥파 신호를 이용하여 혈압 및 스트레스 지수를 산출하는 단계를 더 포함하는, 피부 영상을 이용한 강인한 연속 혈당 측정 방법.
삭제
삭제
삭제
제1항에 있어서,
상기 혈당을 추정하는 단계는,
상기 추정된 제2 식전 혈당을 제2 식전 혈당 회귀직선 식에 적용하여 제3 식전 혈당을 추정하는, 피부 영상을 이용한 강인한 연속 혈당 측정 방법.
제1항에 있어서,
상기 혈당을 추정하는 단계는,
상기 계산된 색상 데이터를 제1 식후 혈당 회귀직선 식에 적용하여 제1 식후 혈당을 추정하는, 피부 영상을 이용한 강인한 연속 혈당 측정 방법.
제9항에 있어서,
상기 혈당을 추정하는 단계는,
상기 획득된 사용자 정보를 이용해 상기 추정된 식후 혈당을 편향 조정하여 편향 조정된 제2 식후 혈당을 추정하는, 피부 영상을 이용한 강인한 연속 혈당 측정 방법.
제10항에 있어서,
상기 혈당을 추정하는 단계는,
상기 추정된 제2 식후 혈당을 제2 식후 혈당 회귀직선 식에 적용하여 제3 식후 혈당을 추정하는, 피부 영상을 이용한 강인한 연속 혈당 측정 방법.
제1항에 있어서,
사용자 행동 패턴, 피부 영상을 기반으로 측정된 혈당 및 측정 환경 로그 데이터를 기반으로 피부 영상 기반의 식전/식후 혈당, 사용자 신체정보 및 측정 환경 정보에 다중회귀분석을 적용하여 다중회귀 식을 산출하는 단계; 및
상기 산출된 다중회귀 식을 이용하여 사용자 신체정보 및 측정 환경에 따라 편향 조정된 혈당 회귀 식 DB를 구축하는 단계를 더 포함하는, 피부 영상을 이용한 강인한 연속 혈당 측정 방법.
제12항에 있어서,
영상 인식을 통해 사용자 신체정보를 확인하는 단계;
사용자 행동 패턴을 분석하여 식사시간을 추정하고, 상기 추정된 식사시간에 따라 사용자 식사상태를 식전 또는 식후로 분류하는 단계; 및
사용자 신체정보 및 측정 환경에 따라 편향 조정된 혈당 회귀 식과 상기 피부 영상을 이용하여 측정 환경에 따라 편향 조정된 강인한 혈당을 측정하는 단계를 더 포함하는, 피부 영상을 이용한 강인한 연속 혈당 측정 방법.
복수 부위의 피부 관심 영역이 포함된 피부 영상을 획득하는 영상 획득 모듈;
하나 이상의 프로그램을 저장하는 메모리; 및
상기 저장된 하나 이상의 프로그램을 실행하는 프로세서를 포함하고,
상기 프로세서는, 상기 획득된 피부 영상에서 복수 부위의 피부 관심 영역으로부터 색상 데이터를 계산하고,
식사시간을 포함하는 획득된 사용자 정보의 분석을 통해 사용자 식사상태를 식전 또는 식후로 분류하고,
상기 계산된 색상 데이터를 상기 분류된 사용자 식사상태에 대응되는 혈당 회귀직선 식에 적용하여 혈당을 추정하고,
상기 추정된 혈당을 가중 평균내어 강인한 혈당을 측정하고,
상기 프로세서는,
상기 계산된 색상 데이터를 제1 식전 혈당 회귀직선 식에 적용하여 제1 식전 혈당을 추정하며, 상기 획득된 사용자 정보를 이용해 상기 추정된 제1 식전 혈당을 편향 조정하여 편향 조정된 제2 식전 혈당을 추정하되,
상기 획득된 사용자 정보에는,
성별, 나이, 키, 체중 및 수면 시간이 더 포함되는, 피부 영상을 이용한 강인한 연속 혈당 측정 장치.
제14항에 있어서,
상기 프로세서는,
사용자 혈당 변화 분석을 통해 혈당 상태를 진단하는, 피부 영상을 이용한 강인한 연속 혈당 측정 장치.
제15항에 있어서,
상기 프로세서는,
상기 진단된 혈당 상태에 따라 혈당 조절 방법을 제공하는, 피부 영상을 이용한 강인한 연속 혈당 측정 장치.
제14항에 있어서,
상기 프로세서는,
상기 계산된 색상 데이터를 통해 산출된 맥파 신호를 이용하여 혈압 및 스트레스 지수를 산출하는, 피부 영상을 이용한 강인한 연속 혈당 측정 장치.
삭제
삭제
삭제
제14항에 있어서,
상기 프로세서는,
상기 추정된 제2 식전 혈당을 제2 식전 혈당 회귀직선 식에 적용하여 제3 식전 혈당을 추정하는, 피부 영상을 이용한 강인한 연속 혈당 측정 장치.
제14항에 있어서,
상기 프로세서는,
상기 계산된 색상 데이터를 제1 식후 혈당 회귀직선 식에 적용하여 제1 식후 혈당을 추정하는, 피부 영상을 이용한 강인한 연속 혈당 측정 장치.
제22항에 있어서,
상기 프로세서는,
상기 획득된 사용자 정보를 이용해 상기 추정된 식후 혈당을 편향 조정하여 편향 조정된 제2 식후 혈당을 추정하는, 피부 영상을 이용한 강인한 연속 혈당 측정 장치.
제23항에 있어서,
상기 프로세서는,
상기 추정된 제2 식후 혈당을 제2 식후 혈당 회귀직선 식에 적용하여 제3 식후 혈당을 추정하는, 피부 영상을 이용한 강인한 연속 혈당 측정 장치.
제14항에 있어서,
상기 프로세서는,
사용자 행동 패턴, 피부 영상을 기반으로 측정된 혈당 및 측정 환경 로그 데이터를 기반으로 피부 영상 기반의 식전/식후 혈당, 사용자 신체정보 및 측정 환경 정보에 다중회귀분석을 적용하여 다중회귀 식을 산출하고,
상기 산출된 다중회귀 식을 이용하여 사용자 신체정보 및 측정 환경에 따라 편향 조정된 혈당 회귀 식 DB를 구축하는, 피부 영상을 이용한 강인한 연속 혈당 측정 장치.
제25항에 있어서,
상기 프로세서는,
영상 인식을 통해 사용자 신체정보를 확인하고,
사용자 행동 패턴을 분석하여 식사시간을 추정하고, 상기 추정된 식사시간에 따라 사용자 식사상태를 식전 또는 식후로 분류하고,
사용자 신체정보 및 측정 환경에 따라 편향 조정된 혈당 회귀 식과 상기 피부 영상을 이용하여 측정 환경에 따라 편향 조정된 강인한 혈당을 측정하는, 피부 영상을 이용한 강인한 연속 혈당 측정 장치.
프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은:
피부 영상에서 복수 부위의 피부 관심 영역으로부터 색상 데이터를 계산하는 단계;
식사시간을 포함하는 획득된 사용자 정보의 분석을 통해 사용자 식사상태를 식전 또는 식후로 분류하는 단계;
상기 계산된 색상 데이터를 상기 분류된 사용자 식사상태에 대응되는 혈당 회귀직선 식에 적용하여 혈당을 추정하는 단계; 및
상기 추정된 혈당을 가중 평균내어 강인한 혈당을 측정하는 단계를 포함하고,
상기 혈당을 추정하는 단계는,
상기 계산된 색상 데이터를 제1 식전 혈당 회귀직선 식에 적용하여 제1 식전 혈당을 추정하며, 상기 획득된 사용자 정보를 이용해 상기 추정된 제1 식전 혈당을 편향 조정하여 편향 조정된 제2 식전 혈당을 추정하되,
상기 획득된 사용자 정보에는,
성별, 나이, 키, 체중 및 수면 시간이 더 포함되는, 비일시적 컴퓨터 판독 가능한 저장 매체.