KR102311654B1 - 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템 - Google Patents

Abstract

본 발명은 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템에 관한 것으로서, 더욱 상세하게는 피부 질환 데이터 세트 이미지 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스로 분류한 후, 이를 학습하여 저장 관리하며, 사용자 인증을 걸친 사용자로부터 획득한 피부 질환 이미지가 피부암, 피부 색소 질환 및 감염성 질환, 보통 피부 중 어디에 속하는 지를 판단하여 이를 사용자단말기로 제공하여 실시간으로 요청한 피부 이미지에 대한 피부질환 유무를 간단하게 확인할 수 있으며, 동시에 이미지기반피부질환AI딥러닝자동학습부로 제공하여 재학습할 수 있도록 하기 위한 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템에 관한 것이다.

Description

피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템{Smart skin disease discrimination platform system constituting API engine for discrimination of skin disease using artificial intelligence deep run based on skin image}

본 발명은 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템에 관한 것으로서, 더욱 상세하게는 피부 질환 데이터 세트 이미지 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스로 분류한 후, 이를 학습하여 저장 관리하며, 사용자 인증을 걸친 사용자로부터 획득한 피부 질환 이미지가 피부암, 피부 색소 질환 및 감염성 질환, 보통 피부 중 어디에 속하는 지를 판단하여 이를 사용자단말기로 제공하여 실시간으로 요청한 피부 이미지에 대한 피부질환 유무를 간단하게 확인할 수 있으며, 동시에 이미지기반피부질환AI딥러닝자동학습부로 제공하여 재학습할 수 있도록 하기 위한 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템에 관한 것이다.

최근 기계학습 또는 머신 러닝(machine learning)이라는 기술이 소프트웨어 기술로부터 금융, 경제에 이르기까지 다양한 분야에 응용되고 있으며 특히 컴퓨터 비전 및 영상처리 분야의 비약적인 발전을 선도하는 핵심 기술로 자리 잡고 있다.

또한, 근래에 들어 의료영상 분석을 포함한 의료진단 분야와 의료영상에서 기관이나 암 부위 등의 추출 및 분할이나 영상 정합, 영상 검색 등 전반적인 의료영상 분석 분야에서도 기계학습 기술이 널리 활용되고 있다.

이러한 기계학습 기술은 인공지능(AI)의 한 분야로 주어진 데이터로부터 패턴이나 특성을 학습하여 새로운 데이터에 대해 분석을 수행해낼 수 있도록 하는 알고리즘 및 관련 분야를 의미한다.

그리고, 최근 들어 딥러닝(deep learning)이라는 기계학습 기법이 핵심 기술로 대두되면서 관련 기술 및 응용 분야에 대한 관심이 높아지고 있다.

딥러닝 기법이란 생물의 신경계를 모방한 인공신경망(artificial neural network)의 모델로서, 기존의 인공신경망 모델이 얇은 층의 뉴런 모델들의 연결로 구성되어 있다면, 딥러닝 기법은 뉴런 모델의 층을 깊게 쌓아 올림으로써 신경망의 학습 능력을 높이는 모델을 적용하는 기술이다.

여러 층으로 이루어진 인공신경망으로서의 딥러닝의 개념은 1970년대에 제안되었으나, 학습 계산의 복잡성 등으로 인해 정체되어 있다가 최근 여러 가지 연구를 통해 그 성능이 개선되고 관련 연구들이 음성인식 및 영상인식 등의 분야에서 뛰어난 결과를 보이면서 그 수요가 빠르게 증가하고 있다.

일례로 MRI 검사 시 환자당 수십개의 의료 영상 슬라이스를 분석함에 있어서 영상 판독의 효율성을 높이고 진단 과정의 생산성 향상을 위하여, 실제 데이터를 기반으로 기계 학습하여 활용이 가능한 의료영상 진단 보조 시스템이 요구되고 있다.

또한, 의료현장에서 의사가 진단에 활용하는 모든 데이터, 즉, 의료영상 이외의 다양한 임상정보를 모두 적용하여 생성된 데이터 기반 인공지능 시스템은 의료영상만으로 학습된 의료용 기계학습 알고리즘에 비해 더 향상된 진단 성능을 기대할 수 있다.

이러한 요구에 따른 종래 기술 중 하나는 대한민국 등록특허공보 10-1623431호(20160523)에 기재된 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템이다.

이 종래 기술은 세포염색의 현미경 사진 등을 입력으로 받아 병리 진단을 수행하는 것으로서, 의료영상을 입력으로 받아 특징 추출부에 의한 특징 데이터를 추출하고 특징 벡터 변환을 통한 병리 진단 분류 결과를 제공하고 있다.

그러나, 종래 기술 대부분은 단순히 세포염색의 현미경 사진을 입력으로 받아 특징을 추출하여 병리 진단을 수행함에 있어서, 임상정보에서 추출한 특징 정보를 반영하지 않기 때문에 병변 진단 성능을 높이는데 한계가 있다.

또 다른 종래 기술은 대한민국 공개특허공보 제10-2014-0018748(20140213)에 기재된 기술로서, 이 기술은 의료 영상에서 TAS(Threshold Adjacency Statistics) 특징점을 이용하여 병변의 형태학적 특징과 질감을 신속 정확하게 분석한다.

그러나, 종래 기술은 기계학습 알고리즘 중의 어느 하나를 통해 학습된 모듈에 적용하여 병변의 패턴을 분류하고 분석하는 것을 제공할 뿐, 딥러닝 기반 의료영상의 특징과 머신러닝 기반 임상정보의 특징을 모두 추출하여 학습시키는 기법을 적용하고 있지 않으므로 여전히 진단 성능을 높이는데 한계가 있다.

한편, 미국에서는 피부암으로 인하여 매시간마다 1명꼴로 피부암으로 인하여 사망하고 있다.

그리고, 매년 5명 중 1명이 피부암 진단을 받으며, 5백 만명이 피부암으로 인해 치료를 받고 있으므로 피부암은 매우 심각한 사회적 문제로 대두되고 있다.

이러한 피부암은 자각 증상이 없기 때문에 주기적으로 확인하는 것이 중요하다.

도 1에 도시한 바와 같이, 피부암은 주로 육안이나 현미경으로 주의깊게 살펴 보고, 피부암이 의심스러울 경우 조직검사를 하게 되는데, 특히 조직검사는 피부조직을 떼어내는 고통과 상처, 그리고 많은 비용과 시간이 필요하다.

근래에는 레이저의 분광특성을 이용하여 피부암을 진단하는 기술도 개발되었지만, 이러한 방법들은 모두 병원을 방문해야 한다.

즉, 주기적으로 확인하기 위해서 매번 병원에 가는 것은 어려운 게 현실이다.

또한, 도 1에 도시한 바와 같이, 일반인들이 일반 점과 피부암이 그 형상과 크기가 비슷하므로 육안으로 판단한다는 것은 불가능하다.

도 2의 경우에는 병원에 가도 주치의에 의해 핸디 타입 진단기로 눈으로 확인하여 피부암을 진단하게 되지만, 적중률은 90% 미만으로 좀 더 정확한 진단 기술이 필요한 실정이다.

한편, 지속적으로 피부에 대한 이미지를 데이터베이스화하여 실시간으로 갱신하는 API엔진 개발이 필요한 실정이며, 이를 활용하여 판별을 요청하는 피부 이미지에 대한 판별 결과와 이미지를 재차 제공하여 재학습하여 피부 질환 판별 성능을 더욱 향상시킬 수 있는 기술이 필요하게 되었다.

또한, 스마트폰의 보급률에서 대한민국이 전 세계 국가 중 가장 높게 나왔으며, 이러한 스마트폰의 보급과 더불어, 스마트폰 이용자는 스마트폰의 이용을 웹 브라우징, 즉 뉴스 읽기나, 모바일 게임을 하는데 많은 할애를 하며, 페이스북(facebook)이나, 트위터 등과 같은 소셜 네트워크 서비스(SNS)의 이용자 역시 폭발적으로 증가하고 있는 실정이다.

이러한 스마트폰의 대중화로 인하여 각종 앱기반의 서비스를 출시하였으며, 특히, 뷰티 관련 플랫폼의 개발이 바이오 헬스분야의 성장과 더불어 활발히 이루어지고 있다.

따라서, 상기한 스마트폰을 이용하여 본 발명에서는 사용자 인증을 수행하고, 회원들에 한하여 피부질환을 진단할 수 있는 플랫폼 기술을 제안하고자 하며, 수천명 이상의 회원들이 제공하는 피부 이미지를 지속적으로 데이터베이스화하고, 이를 피부질환 진단 성능 향상을 위해 재학습시키는 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템을 제안하고자 한다.

대한민국등록특허공보 제10-1623431호(2016.05.23) 대한민국공개특허공보 제10-2014-0018748호(2014.02.13)

따라서 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 제1 목적은 이미지기반피부질환AI딥러닝자동학습부(100)를 구성하여 질환 데이터 세트 이미지 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스로 분류한 후, 이를 학습하여 저장 관리하며, 타켓이미지클래스판별부(200)를 구성하여 사용자 인증을 거친 사용자가 제공한 피부 질환 데이터 이미지에 라벨링을 수행하여 이를 저장 처리하며, 피부 질환 이미지가 피부암, 피부 색소 질환 및 감염성 질환, 보통 피부 중 어디에 속하는 지를 판단하여 이를 실시간으로 피부질환 유무를 사용자단말기로 제공함과 동시에 이미지기반피부질환AI딥러닝자동학습부(100)로 제공하여 이미지기반피부질환AI딥러닝자동학습부(100)에 의해 재학습할 수 있도록 하는데 있다.

본 발명의 제2 목적은 타켓이미지클래스판별부(200)를 구성함으로써, 피부 질환을 판단하기 위하여 획득된 영상 이미지에 대하여 계산된 가중치값이 피부암 가중치값, 피부질환 가중치값, 보통 피부 가중치값 중 두 개의 가중치값을 더한 값보다 큰 값을 가지는 가중치값이 피부암, 피부질환, 보통 피부 중 어느 하나로 판별되도록 하는데 있다.

본 발명의 제3 목적은 딥러닝기반피부질환판별용API엔진(1000)을 다양한 서비스제공자에게 공급하여 이를 통해 피부 질환 관련 서비스를 다양하게 제공할 수 있도록 하며, 특히, 사용자단말기(2000)로 피부 색소 질환, 감염성 질환, 피부암 중 적어도 어느 하나 이상의 질환을 진단한 결과값을 제공함으로써, 실시간으로 현재 제공한 피부 부위의 상태를 확인할 수 있도록 하는데 있다.

본 발명이 해결하고자 하는 과제를 달성하기 위하여, 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템은,

학습할 피부 질환 데이터 세트 이미지 정보를 획득하여 CNN 구조의 스펙에 맞추어 변환시킨 후, 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하고, softmax 함수를 이용하여 사전에 설정된 클래스의 합이 1이 되도록 변경하며, 각 클래스의 정확도를 계산하고, argmax 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하여 학습하여 피부 질환 데이터 세트 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하기 위한 이미지기반피부질환AI딥러닝자동학습부(100);

사용자 인증을 수행한 후, 해당 사용자로부터 피부 질환을 판단하기 위하여 획득한 피부 질환 데이터 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 상기 피부 질환 데이터 이미지 정보를 획득하여 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 컨볼루션하여 특징점을 추출한 후, 추출된 특징점을 참조하여 클래스정보저장모듈에 저장된 피부 질환 데이터 세트 이미지 정보와 비교하여 해당하는 클래스로 분류하며, 분류된 클래스 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하며, 동시에 이미지기반피부질환AI딥러닝자동학습부(100)로 제공하여 이미지기반피부질환AI딥러닝자동학습부(100)에 의해 재학습할 수 있도록 하기 위한 타켓이미지클래스판별부(200);를 포함하여 구성되는 딥러닝기반피부질환판별용API엔진(1000)과,

상기 딥러닝기반피부질환판별용API엔진(1000)으로 사용자 인증 정보와 피부 질환을 판단하기 위하여 촬영된 피부 질환 데이터 이미지 정보를 제공하며, 딥러닝기반피부질환판별용API엔진(1000)으로부터 분류된 클래스 결과값을 획득하여 실시간으로 피부질환 유무를 화면에 출력시키는 사용자단말기(2000)를 포함한다.

본 발명에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템은,

이미지기반피부질환AI딥러닝자동학습부(100)를 구성하여 질환 데이터 세트 이미지 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스로 분류한 후, 이를 학습하여 저장 관리하며, 타켓이미지클래스판별부(200)를 구성하여 사용자 인증을 거친 사용자가 제공한 피부 질환 데이터 이미지에 라벨링을 수행하여 이를 저장 처리하며, 피부 질환 이미지가 피부암, 피부 색소 질환 및 감염성 질환, 보통 피부 중 어디에 속하는 지를 판단하여 이를 실시간으로 사용자단말기로 제공함으로써, 정확한 피부 질환의 종류가 무엇인지, 특히, 피부암 진단 확률을 높이는 효과를 발휘하게 된다.

또한, 이미지기반피부질환AI딥러닝자동학습부(100)로 상기 새로운 피부 질환 이미지를 제공하여 이미지기반피부질환AI딥러닝자동학습부(100)에 의해 재학습할 수 있도록 함으로써, 피부 질환 이미지의 피부 질환 판별 성능을 더욱 더 향상시키는 효과를 발휘하게 된다.

즉, 사전에 인공지능 학습을 통해 학습시킨 후, 새로운 이미지들을 지속적으로 학습시켜 진단 정확성을 지속적으로 향상시키는 효과와 정확한 피부 질환의 종류를 분류할 수 있는 효과를 발휘한다.

또한, 타켓이미지클래스판별부(200)를 구성함으로써, 피부 질환을 판단하기 위하여 획득된 영상 이미지에 대하여 계산된 가중치값이 피부암 가중치값, 피부질환 가중치값, 보통 피부 가중치값 중 두 개의 가중치값을 더한 값보다 큰 값을 가지는 가중치값이 피부암, 피부질환, 보통 피부 중 어느 하나로 판별되도록 함으로써, 학습 변별력을 높이는 효과와 변별 속도를 높이는 효과를 발휘하게 된다.

또한, 딥러닝기반피부질환판별용API엔진(1000)을 다양한 서비스제공자에게 공급하여 이를 통해 피부 질환 관련 서비스를 다양하게 제공할 수 있도록 함으로써, 다양한 응용서비스를 개발할 수 있는 플랫폼의 역할을 수행하게 된다.

특히, 사용자단말기(2000)로 피부 색소 질환, 감염성 질환, 피부암 중 적어도 어느 하나 이상의 질환을 진단한 결과값을 제공함으로써, 실시간으로 현재 제공한 피부 부위의 상태를 확인할 수 있는 신속성과 간편 진단성을 제공하게 된다.

도 1은 일반 점과 피부암의 형상을 나타낸 예시도.
도 2는 병원에서 핸디 피부암 진단장치로 피부암을 진단하는 예시도.
도 3은 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 전체 구성도.
도 4는 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의의 데이터 세트 이미지 예시도.
도 5는 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 이미지기반피부질환AI딥러닝자동학습부(100) 블록도.
도 6은 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 피부 질환 데이터 세트 이미지 정보를 CNN 구조의 스펙에 맞추어 변환시키는 예시도.
도 7은 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 변환된 이미지 데이터를 Convolution을 통해서 클래스 분류가 가능한 데이터로 변환하는 예시도.
도 8은 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 클래스 분류가 가능한 데이터를 softmax라는 함수를 사용하여 3개의 class의 합이 1이 나오게 변경하는 예시도.
도 9는 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 각 클래스의 정확도를 계산하고 argmax라는 함수를 사용하여 가장 높은 수치를 가진 클래스를 판단하는 예시도.
도 10은 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 타켓이미지클래스판별부(200) 블록도.
도 11은 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 Convolution 연산 예시도.
도 12는 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 3 x 3 필터에 따른 영상 예시도.
도 13은 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 Convolution 절차도.
도 14는 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 Pooling 레이어 모식도.
도 15는 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 Mobilenet V2 실행 순서도.
도 16은 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 Mobilenet V2의 구조도.
도 17은 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 56 x 56 이미지에 대한 처리 순서도.
도 18은 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 사용자단말기 구성도.
도 19는 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 사용자단말기의 패널을 통해 출력되는 화면 예시도.
도 20은 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 딥러닝기반피부질환판별용API엔진(1000)과 사용자단말기(2000)의 패널을 통해 출력되는 과정 예시도.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만, 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다.

또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템은,

학습할 피부 질환 데이터 세트 이미지 정보를 획득하여 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하고, 각 클래스의 정확도를 계산하고, 수치계산함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하여 피부 질환 데이터 세트 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하기 위한 이미지기반피부질환AI딥러닝자동학습부(100);

사용자 인증을 수행한 후, 해당 사용자로부터 피부 질환을 판단하기 위하여 획득한 피부 질환 데이터 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 상기 피부 질환 데이터 이미지 정보를 획득하여 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 컨볼루션하여 특징점을 추출한 후, 추출된 특징점을 참조하여 클래스정보저장모듈에 저장된 피부 질환 데이터 세트 이미지 정보와 비교하여 해당하는 클래스로 분류하며, 분류된 클래스 결과값을 해당 사용자단말기로 전송하며, 동시에 이미지기반피부질환AI딥러닝자동학습부(100)로 제공하여 이미지기반피부질환AI딥러닝자동학습부(100)에 의해 재학습할 수 있도록 하기 위한 타켓이미지클래스판별부(200);를 포함하여 구성되는 딥러닝기반피부질환판별용API엔진(1000)과,

상기 딥러닝기반피부질환판별용API엔진(1000)으로 사용자 인증 정보와 피부 질환을 판단하기 위하여 촬영된 피부 질환 데이터 이미지 정보를 제공하며, 딥러닝기반피부질환판별용API엔진(1000)으로부터 분류된 클래스 결과값을 획득하여 실시간으로 피부질환 유무를 화면에 출력시키는 사용자단말기(2000)를 포함하여 구성되는 것을 특징으로 한다.

한편, 다른 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템은,

학습할 피부 질환 데이터 세트 이미지 정보를 획득하여 CNN 구조의 스펙에 맞추어 변환시킨 후, 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하고, 합셈 함수를 이용하여 사전에 설정된 클래스의 합이 1이 되도록 변경하며, 각 클래스의 정확도를 계산하고, 수치계산 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하여 학습하고 피부 질환 데이터 세트 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하기 위한 이미지기반피부질환AI딥러닝자동학습부(100);

사용자 인증을 수행한 후, 해당 사용자로부터 피부 질환을 판단하기 위하여 획득한 피부 질환 데이터 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 상기 피부 질환 데이터 이미지 정보를 획득하여 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 컨볼루션하여 특징점을 추출한 후, 추출된 특징점을 참조하여 클래스정보저장모듈에 저장된 피부 질환 데이터 세트 이미지 정보와 비교하여 해당하는 클래스로 분류하며, 분류된 클래스 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하며, 동시에 이미지기반피부질환AI딥러닝자동학습부(100)로 제공하여 이미지기반피부질환AI딥러닝자동학습부(100)에 의해 재학습할 수 있도록 하기 위한 타켓이미지클래스판별부(200);를 포함하여 구성되는 딥러닝기반피부질환판별용API엔진(1000)과,

상기 딥러닝기반피부질환판별용API엔진(1000)으로 사용자 인증 정보와 피부 질환을 판단하기 위하여 촬영된 피부 질환 데이터 이미지 정보를 제공하며, 딥러닝기반피부질환판별용API엔진(1000)으로부터 분류된 클래스 결과값을 획득하여 실시간으로 피부질환 유무를 화면에 출력시키는 사용자단말기(2000)를 포함하여 구성되는 것을 특징으로 한다.

이때, 상기 딥러닝기반피부질환판별용API엔진(1000), 사용자단말기(2000) 중 어느 하나는,

피부 색소 질환, 감염성 질환, 피부암 중 적어도 어느 하나 이상의 질환을 진단할 수 있는 것을 특징으로 한다.

이때, 상기 학습할 피부 질환 데이터 세트 이미지 정보는,

피부암 이미지 정보, 피부 색소 질환 및 감염성 질환 이미지 정보, 보통 피부 이미지 정보 중 적어도 2개 이상의 이미지 정보를 포함하는 것을 특징으로 한다.

이때, 상기 타켓이미지클래스판별부(200)를 통해,

피부 질환을 판단하기 위하여 획득된 영상 이미지에 대하여 계산된 가중치값이 피부암 가중치값, 피부질환 가중치값, 보통 피부 가중치값 중 두 개의 가중치값을 더한 값보다 큰 값을 가지는 가중치값이 피부암, 피부질환, 보통 피부 중 어느 하나로 판별하며, 동시에 이미지기반피부질환AI딥러닝자동학습부(100)로 판별 결과값을 제공하여 이미지기반피부질환AI딥러닝자동학습부(100)를 통해 재학습하도록 함으로써, 피부 질환 판별 성능을 향상시키는 것을 특징으로 한다.

이때, 상기 딥러닝기반피부질환판별용API엔진(1000)은,

학습할 피부 질환 데이터 세트 이미지 정보를 획득하기 위하여 카메라와 연결되어 직접적인 입력 영상을 수신하거나, 무선 네트워크 또는 인터넷 네트워크로부터 수신받아 입력 가능한 장치인 것을 특징으로 한다.

이때, 상기 딥러닝기반피부질환판별용API엔진(1000)은,

스킨(피부) 이미지를 분석하기 위한 엔진인 것을 특징으로 한다.

이하, 본 발명에 의한 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 실시예를 통해 상세히 설명하도록 한다.

도 3은 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 전체 구성도이다.

도 3에 도시한 바와 같이, 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템은, 이미지기반피부질환AI딥러닝자동학습부(100)와 타켓이미지클래스판별부(200)를 포함하는 딥러닝기반피부질환판별용API엔진(1000), 딥러닝기반피부질환판별용API엔진(1000)으로 사용자 인증 정보와 피부 질환을 판단하기 위하여 촬영된 피부 질환 데이터 이미지 정보를 제공하며, 딥러닝기반피부질환판별용API엔진(1000)으로부터 분류된 클래스 결과값을 획득하여 실시간으로 피부질환 유무를 화면에 출력시키는 사용자단말기(2000)를 포함하여 구성되게 된다.

본 발명에서 설명하고 있는 피부질환 판별용 API 엔진(1000)은 스킨(피부) 이미지 분석 엔진(SAE, Skin Analysis Engine)을 의미하며, 다른 의미로 피부(더마) 이미지 분석 엔진(DAE, Dermal Analysis Engine)을 의미한다.

구체적으로 설명하면, 상기 이미지기반피부질환AI딥러닝자동학습부(100)는 학습할 피부 질환 데이터 세트 이미지 정보를 획득하여 CNN 구조의 스펙에 맞추어 변환시킨 후, 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하고, softmax 함수를 이용하여 사전에 설정된 클래스의 합이 1이 되도록 변경하며, 각 클래스의 정확도를 계산하고, argmax 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하여 학습하여 피부 질환 데이터 세트 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하기 위한 것이다.

즉, 도 4와 같은 복수 개의 학습할 피부 질환 데이터 세트 이미지 정보를 이미지검색엔진(10)을 통해 검색하고, 해당 검색된 정보를 이미지기반피부질환AI딥러닝자동학습부(100)에서 획득하여 합성곱 신경망을 이용하여 학습하여 클래스정보저장모듈에 저장하게 되는 것이다.

이때, 특징적인 사항으로서, 학습할 피부 질환 데이터 세트 이미지 정보는,

피부암 이미지 정보, 피부 색소 질환 및 감염성 질환 이미지 정보, 보통 피부 이미지 정보 중 적어도 2개 이상의 이미지 정보를 포함하는 것을 특징으로 하고 있다.

상기한 피부암이란, 기저 세포암, 흑색종 등과 같은 피부 질환을 의미하게 된다.

또한, 상기 이미지기반피부질환AI딥러닝자동학습부(100)는,

학습할 피부 질환 데이터 세트 이미지 정보를 획득하기 위하여 카메라와 연결되어 직접적인 입력 영상을 수신하거나, 무선 네트워크 또는 인터넷 네트워크로부터 수신받아 입력 가능한 장치인 것을 특징으로 한다.

즉, 카메라와 연동시켜 카메라를 통해 직접적인 입력 영상을 수신할 수 있으며, 무선 네트워크 또는 인터넷 네트워크를 이용하여 이미지 검색 엔진에 의하여 각종 영상 이미지를 획득할 수 있게 된다.

또한, 상기 타켓이미지클래스판별부(200)는,

사용자 인증을 수행한 후, 해당 사용자로부터 피부 질환을 판단하기 위하여 획득한 피부 질환 데이터 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 상기 피부 질환 데이터 이미지 정보를 획득하여 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 컨볼루션하여 특징점을 추출한 후, 추출된 특징점을 참조하여 클래스정보저장모듈에 저장된 피부 질환 데이터 세트 이미지 정보와 비교하여 해당하는 클래스로 분류하며, 분류된 클래스 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하며, 동시에 이미지기반피부질환AI딥러닝자동학습부(100)로 제공하여 이미지기반피부질환AI딥러닝자동학습부(100)에 의해 재학습할 수 있도록 하기 위한 기능을 수행한다.

즉, 사용자 인증을 수행하는 기능, 해당 사용자로부터 피부 질환 판단을 위한 피부 질환 데이터 이미지 정보를 획득하는 기능, 획득된 이미지 정보에 라벨링을 수행하여 저장하는 기능, 합성곱 신경망을 이용하여 클래스를 분류하는 기능, 분류된 클래스 결과값을 해당 사용자라벨링정보저장모듈에 저장된 라벨링 정보를 참조하여 해당 사용자단말기로 전송하는 기능, 이미지기반피부질환AI딥러닝자동학습부(100)로 제공하여 이미지기반피부질환AI딥러닝자동학습부(100)를 통해 재학습시키는 기능 등을 수행하게 된다.

도 5는 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 이미지기반피부질환AI딥러닝자동학습부(100) 블록도이다.

도 5에 도시한 바와 같이, 이미지기반피부질환AI딥러닝자동학습부(100)는,

학습할 피부 질환 데이터 세트 이미지 정보를 획득하기 위한 피부질환데이터세트이미지정보획득모듈(110);

상기 획득된 피부 질환 데이터 세트 이미지 정보를 CNN 구조의 스펙에 맞추어 변환시키기 위한 피부질환데이터세트이미지변환모듈(120);

상기 변환된 피부 질환 데이터 세트 이미지 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하기 위한 클래스별분류데이터변환모듈(130);

상기 클래스 분류가 가능한 데이터를 softmax 함수를 이용하여 사전에 설정된 클래스의 합이 1이 되도록 변경하기 위한 함수변경모듈(140);

각 클래스의 정확도를 계산하고, argmax 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하기 위한 클래스판단모듈(150);

상기 학습할 피부 질환 데이터 세트 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하기 위한 클래스정보처리모듈(160);

상기 클래스별 학습한 피부 질환 데이터 세트 이미지 정보를 저장하고 있는 클래스정보저장모듈(170);을 포함하여 구성되는 것을 특징으로 한다.

구체적으로 설명하면, 피부질환데이터세트이미지정보획득모듈(110)은 학습할 피부 질환 데이터 세트 이미지 정보를 획득하게 된다.

예를 들어, n개의 Data set 이미지를 준비하는데, 사전에 설정된 클래스로 구분할 수 있다.

즉, 피부암 이미지 정보, 피부 색소 질환 및 감염성 질환 이미지 정보, 보통 피부 이미지 정보라는 3개의 클래스로 사전에 구분할 수 있으며, 피부암에는 예를 들어, 기저 세포 암, 흑색종 등을 의미할 수 있으며, 피부 색소 질환 및 감염성 질환에는 지루성 각화증, 광선 각화증 등을 의미할 수 있으며, 보통 피부는 일반적인 점, 검버섯 등을 의미할 수 있다.

이때, 상기 피부질환데이터세트이미지변환모듈(120)은 상기 획득된 피부 질환 데이터 세트 이미지 정보를 CNN 구조의 스펙에 맞추어 변환시키게 된다.

도 6에 피부 질환 데이터 세트 이미지 정보를 CNN 구조의 스펙에 맞추어 변환시키는 예시를 구체적으로 도시하였다.

이후, 클래스별분류데이터변환모듈(130)은 상기 변환된 피부 질환 데이터 세트 이미지 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하게 된다.

즉, 도 7과 같이, 변환된 이미지 데이터를 Convolution을 통해서 클래스 분류가 가능한 데이터로 변환하게 되는 것이다.

이후, 함수변경모듈(140)은 상기 클래스 분류가 가능한 데이터를 softmax 함수를 이용하여 사전에 설정된 클래스의 합이 1이 되도록 변경하게 된다.

즉, 도 8과 같이, 클래스 분류가 가능한 데이터를 softmax 함수를 사용하여 3개의 클래스의 합이 1이 나오도록 변경하는 것이다.

이후, 클래스판단모듈(150)은 각 클래스의 정확도를 계산하고, argmax 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하게 된다.

즉, 도 9와 같이, 각 클래스의 정확도를 계산하고, argmax 함수를 사용하여 가장 높은 수치를 가진 클래스를 찾게 된다.

예를 들어, A의 피부 질환 데이터 세트 이미지가 암으로 판단된다면, 해당 이미지를 암 클래스 필드에 저장하게 된다.

즉, 클래스정보처리모듈(160)은 상기 학습할 피부 질환 데이터 세트 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하게 되는 것이다.

따라서, 상기 클래스정보저장모듈(170)에는 상기 클래스별 학습한 피부 질환 데이터 세트 이미지 정보를 저장하고 있게 되는 것이다.

도 10은 본 발명의 제1 실시예에 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 타켓이미지클래스판별부(200) 블록도이다.

도 10에 도시한 바와 같이, 상기 타켓이미지클래스판별부(200)는,

사용자 인증을 수행하기 위한 사용자인증수행모듈(210);

상기 사용자 인증을 수행한 후, 로그인시, 해당 사용자단말기로부터 피부 질환을 판단하기 위하여 피부 질환 데이터 이미지 정보를 획득하기 위한 피부질환데이터이미지정보획득모듈(220);

상기 획득된 피부 질환 데이터 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하기 위한 사용자라벨링실행모듈(230);

상기 사용자라벨링실행모듈에 의해 제공된 라벨링 정보와 해당 피부 질환 데이터 이미지 정보를 저장하고 있는 사용자라벨링정보저장모듈(240);

피부 질환을 판단하기 위하여 상기 피부 질환 데이터 이미지 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 컨볼루션하여 특징점을 추출하기 위한 판단대상이미지특징점추출모듈(250);

상기 추출된 특징점을 참조하여 클래스정보저장모듈(170)에 저장된 피부 질환 데이터 세트 이미지 정보와 비교하여 해당하는 클래스로 분류하기 위한 타겟이미지클래스분류모듈(260);을 포함하여 구성되는 것을 특징으로 한다.

구체적으로 설명하면, 사용자인증수행모듈(210)은 사용자 인증을 수행하기 위한 기능을 수행하게 되는데, 예를 들어, 로그인 페이지를 제공하고, 로그인 페이지 상에 아이디, 비번, 주소, 연락처, 성명 등을 입력하게 된다.

이때, 입력된 정보를 토대로 개인 정보를 저장하여 관리하게 된다.

이후, 피부질환데이터이미지정보획득모듈(220)은 상기 사용자 인증을 수행한 후, 사용자가 사용자단말기를 이용하여 로그인시, 해당 사용자단말기로부터 피부 질환을 판단하기 위하여 피부 질환 데이터 이미지 정보를 획득하게 된다.

즉, 피부 질환 데이터 이미지를 획득하기 위한 페이지를 제공하고, 해당 페이지에 첨부된 이미지를 획득하게 되는 것이다.

그리고, 상기 사용자라벨링실행모듈(230)은 상기 획득된 피부 질환 데이터 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하게 된다.

예를 들어, 사용자 아이디, 접속 사용자단말기 고유 번호, 접속 일자, 이미지 업로딩 일자, 피부 질환 데이터 이미지에 추가적으로 이미지 라벨링을 수행하게 되고, 수행된 라벨링 정보와 피부 질환 데이터 이미지 정보를 사용자라벨링정보저장모듈(240)에 저장 처리하게 되는 것이다.

그리고, 상기 판단대상이미지특징점추출모듈(250)은 피부 질환을 판단하기 위하여 상기 피부 질환 데이터 이미지 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 컨볼루션하여 특징점을 추출하기 위한 기능을 수행하게 된다.

즉, 도 11과 같이, 컨볼루션하게 되어 이를 통해 특징점을 추출하게 되는 것이다.

그리고, 상기 타겟이미지클래스분류모듈(260)은 추출된 특징점을 참조하여 클래스정보저장모듈(170)에 저장된 피부 질환 데이터 세트 이미지 정보와 비교하여 해당하는 클래스로 분류하기 위한 기능을 수행하게 된다.

예를 들어, 판단하고자 하는 새로운 피부 질환 이미지의 특징점을 통해 피부암으로 판단되면 해당하는 피부암 클래스로 분류하여 이를 저장하고, 사용자단말기를 통해 이를 알려주게 된다.

또한, 부가적인 양태에 따라 타켓이미지클래스판별부(200)는,

피부 질환을 판단하기 위하여 획득된 영상 이미지에 대하여 계산된 가중치값이 피부암 가중치값, 피부질환 가중치값, 보통 피부 가중치값 중 두 개의 가중치값을 더한 값보다 큰 값을 가지는 가중치값이 피부암, 피부질환, 보통 피부 중 어느 하나로 판별하기 위한 가중치값판별모듈(270);

이미지기반피부질환AI딥러닝자동학습부(100)로 판별 결과값을 제공하여 이미지기반피부질환AI딥러닝자동학습부(100)를 통해 재학습하도록 하여 피부 질환 판별 성능을 향상시키는 재학습진행모듈(280);을 더 포함하여 구성할 수 있다.

즉, B라는 새로운 영상 이미지에 대하여 컨볼루션에 의해 계산된 가중치값을 가지고 판단할 수 있는데, 예를 들어, 피부암 가중치값이 60이고, 피부질환 가중치값이 30이고, 보통 피부 가중치값이 10일 경우에 피부질환 가중치값과 보통 피부 가중치값을 더한 값보다 피부암 가중치값이 더 큰 값을 가지고 있기 때문에 해당 B라는 영상 이미지는 피부암으로 진단할 수 있는 것이다.

한편, 다른 부가적인 양태에 따라, 타켓이미지클래스판별부(200)는,

사용자로부터 획득한 피부 질환 데이터 이미지 정보를 사이즈, 방향, 배율, 밝기, 노이즈 제거 중 적어도 어느 하나 이상의 설정된 항목으로 전처리하여 학습 변별력을 높이기 위한 학습변별력향상처리모듈(290);을 더 포함하여 구성할 수 있다.

즉, 상기 학습변별력향상처리모듈(290)을 통해 획득된 피부 질환 데이터 이미지 정보를 사이즈, 방향, 배율, 밝기, 노이즈 제거 중 적어도 어느 하나 이상의 설정된 항목으로 전처리할 수 있는데, 예를 들어, 설정된 항목이 사이즈는 가로와 세로 동일한 사이즈인 정사각형, 방향은 수평하게, 배율은 2배 확대 등과 같이 설정되었다면 획득된 피부 질환 데이터 이미지 정보를 사이즈, 방향, 배율을 상기와 같이 조절하여 복수 개의 이미지들을 동일한 사이즈, 방향, 배율로 전처리함으로써, CNN에 의한 학습 변별력을 높이는 것이다.

또한, 노이즈 제거를 수행하게 되면, 노이즈필터링 기능을 제공하여 이를 통해 노이즈를 제거함으로써, CNN에 의한 학습 변별력을 높일 수 있게 된다.

본 발명에서 설명하고 있는 Convolution이란, 영상 처리 분야에서 주로 필터 연산에 사용이 되며, 영상으로부터 특징점을 추출하기 위한 필터를 구현할 때 사용한다.

즉, 3 x 3 또는 그 이상의 마스크를 영상 전체에 반복적으로 수행하게 되면, 그 마스크의 계수 값들의 따라 적정한 결과가 나온다.

도 11과 같이, 전체 이미지에 노란색 부분이 convolution이 일어나고 있는 영역이며, 빨간색 글자는 convolution의 커널에 해당하고, 마스크 연산이 수행되면 오른쪽의 4가 나오며, 마스크는 한 칸 이동시키는 것을 반복하여 최종 결과를 얻을 수 있다.

입력 영상에 필터의 종류에 따라 도 12와 같이 나타나는 특징들이 모두 다르게 나타난다.

입력된 영상에 대해서 Convolution을 거치게 되면 도 13과 같이, Feature Map이 생성된다.

생성된 Feature Map은 Pooling 레이어로 전달된다.

Pooling 레이어는 도 14와 같이 최대값을 이용하는 방법과 평균값을 이용하는 방법 두 가지가 있다.

Pooling을 진행하면 행렬의 크기가 감소하며 채널 수에 대한 변경은 일어나지 않는다.

대게 CNN에서는 최대값을 이용한 Pooling을 많이 사용한다.

상기와 같이, 본 발명의 CNN은 이미지에서 특징을 추출하기 위해서 도 11과 같이 입력 데이터를 필터가 순회하면서 Convolution을 계산하고, 그 계산 결과를 이용하여 Feature map을 만든다.

만들어진 Feature map을 Pooling 레이어에 전달하고, 두 과정을 반복하여 최종 결과를 출력한다.

대표적인 CNN 구조로는 구글의 Inception, mobilenet, ms의 resNet, VGG 등이 있다.

또한, 본 발명과 같이, 학습에 사용되는 CNN 구조는 바람직하게는 Mobilenet V2를 사용하게 되는데, 도 15와 같은 순서를 따라 이미지를 분류한다. Convolution을 거치고 난 후 bottleneck과정을 거치고 Convolution, Pooling, Convolution을 거쳐서 결과를 출력한다.

여기서, 사용되는 bottleneck과정은 Mobilenet 모델의 장점이며, 도 16과 같이 구성된다.

첫 번째는 확장 레이어로서 입력되는 이미지의 채널을 보다 많은 채널로 확장시켜주며 보통 6배로 확장시킨다.

예를 들어, 도 15와 같이 24개의 채널이 있는 경우 24 * 6 = 144 채널이 되도록 변환시킨다.

두 번째는 깊이방향의 회선 레이어로 구성된다.

이 레이어는 특징을 추출하는 레이어로서 필터를 통해서 144 채널의 특징들을 추출한다.

세 번째 레이어는 투영 레이어로서 144 채널을 다시 24 채널로 투영한다.

그리고 추가적으로 잔여 연결이라고 해서 전체적인 흐름을 도와주는 역할이다.

도 17의 경우, 56 x 56 이미지에 대한 처리 순서를 나타낸 모식도이다.

또한, 컨볼루션 신경망(convolutional neural networks, CNN)은 2차원 영상을 처리에 특화되어 인식문제에 주로 사용되어 왔고, 기본적인 핵심 특징으로, 첫 번째는 국소 수용 면(local receptive field)을 두어 영상 일부를 표현하는 특징(feature) 추출에 중점 두었고, 두 번째는 이러한 특징을 나타내는 가중치들을 영상 전 영역에서 공유할 수 있게 하였다는 점에서 막대한 수의 매개변수를 줄이고 영상 위치에 상관없이 특징을 공유할 수 있게 되는 장점이 있다.

세 번째 특징은 하나의 계층을 쌓고 노드 수를 줄여 상위 계층을 만드는 과정은 반복하면 상위 계층으로 갈수록 일반화가 이루어지게 된다.

최근 딥러닝이 많은 관심을 받게 되면서, convolutional RBM (restricted Boltzmann machine)을 계층화한 convolutional deep beliefnetworks, deep CNN)과 같이 CNN을 deep 구조화하는 연구들이 진행되어 왔으며 영상 내 객체 인식 및 분류 문제에서 뛰어난 성능을 보이고 있다.

이와 같이, 본 발명의 실시예는 다양한 환경적인 문제로 인한 학습 정보의 질이 떨어지는 문제점을 해결하기 위해, 입력 영상을 각각의 환경에 강인한 패턴 영상으로 분류하고 조합한 후 학습시킴으로써, 다양한 환경문제(흔들림, 조도, 노이즈, 인식률 저하 등)에 취약한 영상 학습 정보의 질을 높일 수 있을 뿐만 아니라, 컨볼루션 신경망(CNN)의 각 레이어 층에서 특징을 추출하는 과정에서 발생할 수 있는 오류를 보정할 수 있고, 레이어 층마다 다른 패턴을 적용할 수 있다는 점에서 보다 양질의 학습정보를 획득할 수 있는 컨볼루션 신경망(CNN) 기반의 피부질환 판별용 API 엔진을 제공할 수 있게 되며, 이러한 엔진인 딥러닝기반피부질환판별용API엔진(1000)을 다양한 서비스제공자에게 공급하여 이를 통해 피부 질환 관련 서비스를 다양하게 제공할 수 있도록 함으로써, 다양한 응용서비스를 개발할 수 있는 플랫폼의 역할을 수행하게 된다.

특히, 사용자단말기(2000)로 피부 색소 질환, 감염성 질환, 피부암 중 적어도 어느 하나 이상의 질환을 진단한 결과값을 제공함으로써, 실시간으로 현재 제공한 피부 부위의 상태를 확인할 수 있는 신속성과 간편 진단성을 제공하게 된다.

도 18은 본 발명의 제1 실시예에 따른 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템의 사용자단말기(2000) 구성도이다.

도 18의 사용자단말기(2000)는 딥러닝기반피부질환판별용API엔진(1000)으로 사용자 인증 정보와 피부 질환을 판단하기 위하여 촬영된 피부 질환 데이터 이미지 정보를 제공하며, 딥러닝기반피부질환판별용API엔진(1000)으로부터 분류된 클래스 결과값을 획득하여 실시간으로 피부질환 유무를 화면에 출력시키는 기능을 수행한다.

이때, 사용자단말기(2000)는,

딥러닝기반피부질환판별용API엔진(1000)에서 제공된 사용자 인증 요청 정보를 화면에 출력시키는 사용자인증요청처리부(2100);

사용자 인증시, 사용자 인증 정보를 추출하기 위한 사용자인증정보추출부(2200);

원하는 피부 부위를 촬영할 경우에 해당 촬영된 피부 질환 데이터 이미지를 획득하기 위한 피부질환데이터이미지정보획득부(2300);

상기 추출된 사용자 인증 정보와 피부 질환 데이터 이미지 정보를 딥러닝기반피부질환판별용API엔진(1000)으로 전송하기 위한 피부질환판단요청정보전송부(2400);

실시간으로 딥러닝기반피부질환판별용API엔진(1000)으로부터 분류된 클래스 결과값을 획득하여 분류된 클래스 결과값에 포함된 피부질환 이미지와 피부질환 진단결과를 화면에 출력시키는 진단결과출력처리부(2500);를 포함하여 구성하게 된다.

또한, 의사단말기로 획득된 피부질환 이미지와 피부질환 진단결과를 제공하여 피부질환 육안 진단 결과를 요청하기 위한 전문가진단결과획득부(2600);를 더 포함하여 구성할 수 있다.

즉, 의사들의 육안 검사 정보를 통해 피부질환의 진단 결과를 획득하여 피부질환의 진단 정확률을 더욱 높일 수 있게 된다.

상기 사용자인증요청처리부(2100)는 딥러닝기반피부질환판별용API엔진(1000)에서 제공된 사용자 인증 요청 정보를 화면에 출력시키게 된다.

예를 들어, 최초 사용자가 사용자단말기를 통해 본 발명의 서비스를 제공하는 회사에 회원 가입을 하게 되면, 해당 사용자에 대한 정보는 별도로 저장하여 관리하게 된다.

이때, 사용자가 서비스를 받고자 할 경우에 로그인을 수행할 것이며, 사용자인증요청처리부(2100)에 의해 사용자 인증 요청 정보를 획득하여 화면에 출력시키게 된다.

따라서, 사용자가 입력한 사용자 인증 정보를 사용자인증정보추출부(2200)에서 추출하게 된다.

그리고, 피부질환데이터이미지정보획득부(2300)는 원하는 피부 부위를 촬영할 경우에 해당 촬영된 피부 질환 데이터 이미지를 획득하게 된다.

이때, 피부질환판단요청정보전송부(2400)는 상기 추출된 사용자 인증 정보와 피부 질환 데이터 이미지 정보를 추출하여 딥러닝기반피부질환판별용API엔진(1000)으로 전송하게 되는 것이다.

이후, 상기 진단결과출력처리부(2500)는 실시간으로 딥러닝기반피부질환판별용API엔진(1000)으로부터 분류된 클래스 결과값을 획득하여 분류된 클래스 결과값에 포함된 피부질환 이미지와 피부질환 진단결과를 화면에 출력시키는 것이다.

상기와 같은 동작을 통해 피부 질환 중 가장 심각한 피부암의 조기 발견을 수행할 수 있게 되는 것이다.

매년 흑색종으로 23명이 발생하고 조기진단이 늦어 5만 5천명이 사망하고 있으니 위와 같은 진단 기술을 제공하여 사망률 저하에 기여를 할 수 있을 것이다.

이때, 상기 사용자단말기(2000)는 피부질환을 진단하기 위하여 어플 형태의 피부질환진단앱을 탑재할 수 있으며, 피부질환진단앱을 통해 실시간으로 특정 영역의 피부를 촬영하여 실시간으로 피부 질환 여부를 분석할 수 있을 것이다.

이때, 인공지능 학습을 딥러닝기반피부질환판별용API엔진(1000)을 통해 실시할 수 있으며, 학습된 결과 정보를 상기 피부질환진단앱에서 실시간으로 업데이트할 수 있으며, 자신의 피부 질환 의심 부위를 촬영함과 동시에 실시간으로 피부질환 유무, 특히, 피부암을 화면을 통해 확인할 수 있는 편리성을 제공하게 되는 것이다.

한편, 도 19에 도시한 바와 같이, 부가적인 양태에 따라, 상기 진단결과출력처리부(2500)는,

딥러닝기반피부질환판별용API엔진(1000)과 연동하여 촬영된 피부 이미지를 출력시키기 위한 촬영이미지출력레이어(2510);

딥러닝기반피부질환판별용API엔진(1000)과 연동하여 피부질환 진단결과 정보를 출력시키기 위한 피부질환진단결과출력레이어(2520);

사용자단말기에 조명을 구성할 경우에, 해당 조명의 파장대를 변경하기 위한 조명파장대변경레이어(2530);

상기 촬영된 피부 이미지와 피부질환 진단결과 정보를 저장하기 위한 저장처리레이어(2540);를 더 포함하여 구성할 수 있다.

즉, 촬영이미지출력레이어(2510)에 의해, 딥러닝기반피부질환판별용API엔진(1000)과 연동하여 촬영된 피부 이미지를 출력시키게 된다.(도 19의 ① 영역임.)

또한, 피부질환진단결과출력레이어(2520)는, 딥러닝기반피부질환판별용API엔진(1000)과 연동하여 피부질환 진단결과 정보를 출력시키게 된다.(도 19의 ② 영역임.)

또한, 조명파장대변경레이어(2530)는, 사용자단말기에 조명을 구성할 경우에, 해당 조명의 파장대를 변경하게 된다.(도 19의 ③ 영역임.)

피부 촬영시, 파장대에 따라 다양한 영상 이미지를 획득할 수 있게 되므로 피부질환의 경우, 다양한 파장대의 조명들을 통해 다양한 영상을 획득하여 피부질환을 진단할 수 있도록 하는 것이다.

이를 위하여, 파장대를 조절할 수 있는 버튼을 구성함으로써, 진단자가 다양한 조명을 이용하여 촬영할 수 있도록 유도하는 것이다.

또한, 상기 저장처리레이어(2540)는, 상기 촬영된 피부 이미지와 피부질환 진단결과 정보를 저장하게 된다.(도 19의 ④ 영역임.)

한편, 도 20을 통해 좀 더 구체적으로 설명하면, 본 발명의 딥러닝기반피부질환판별용API엔진(1000)과 사용자단말기(2000) 예를 들어, 스마트기기를 서로 연결시킨 후, 스마트기기에 피부질환진단앱이 표시되게 된다.

이후, 피검사자가 얼굴, 신체 등 다양한 부위의 점들을 스마트기기에 형성된 카메라를 통해 촬영하게 된다.

혹은 피부진단장치를 이용하여 촬영하게 된다.

이후, 촬영된 피부 이미지를 딥러닝기반피부질환판별용API엔진(1000)에 제공하게 되면, 딥러닝기반피부질환판별용API엔진(1000)에 의해 피부질환 유무를 진단하게 될 것이며, 진단 결과를 피부질환진단앱의 화면에 출력되게 된다.

즉, 촬영 부위에 대한 검사 결과 화면이 나오면서 단순 점, 트러블인지 피부암(흑색종)인지를 나타내며, 피부암으로 판단될 시, 병원 내진, 조직검사를 요하는 설명을 나타낼 수도 있다.

이를 위하여, 피부암 진단될 경우에 안내 정보를 출력하기 위한 안내정보출력처리모듈을 더 포함할 수 있다.

본 발명에 의하면, 이미지기반피부질환AI딥러닝자동학습부(100)를 구성하여 질환 데이터 세트 이미지 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스로 분류한 후, 이를 학습하여 저장 관리하며, 타켓이미지클래스판별부(200)를 구성하여 사용자 인증을 거친 사용자가 제공한 피부 질환 데이터 이미지에 라벨링을 수행하여 이를 저장 처리하며, 피부 질환 이미지가 피부암, 피부 색소 질환 및 감염성 질환, 보통 피부 중 어디에 속하는 지를 판단하여 이를 실시간으로 사용자단말기로 제공함으로써, 정확한 피부 질환의 종류가 무엇인지, 특히, 피부암 진단 확률을 높이는 효과를 발휘하게 된다.

또한, 이미지기반피부질환AI딥러닝자동학습부(100)로 상기 새로운 피부 질환 이미지를 제공하여 이미지기반피부질환AI딥러닝자동학습부(100)에 의해 재학습할 수 있도록 함으로써, 피부 질환 이미지의 피부 질환 판별 성능을 더욱 더 향상시키는 효과를 발휘하게 된다.

즉, 사전에 인공지능 학습을 통해 학습시킨 후, 새로운 이미지들을 지속적으로 학습시켜 진단 정확성을 지속적으로 향상시키는 효과와 정확한 피부 질환의 종류를 분류할 수 있는 효과를 발휘한다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

100 : 이미지기반피부질환AI딥러닝자동학습부
200 : 타켓이미지클래스판별부
1000 : 딥러닝기반피부질환판별용API엔진
2000 : 사용자단말기

Claims (5)

1. 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템에 있어서,
   학습할 피부 질환 데이터 세트 이미지 정보를 획득하여 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하고, 각 클래스의 정확도를 계산하고, 수치계산함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하여 피부 질환 데이터 세트 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하기 위한 이미지기반피부질환AI딥러닝자동학습부(100);
   사용자 인증을 수행한 후, 해당 사용자로부터 피부 질환을 판단하기 위하여 획득한 피부 질환 데이터 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하며, 상기 피부 질환 데이터 이미지 정보를 획득하여 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 컨볼루션하여 특징점을 추출한 후, 추출된 특징점을 참조하여 클래스정보저장모듈에 저장된 피부 질환 데이터 세트 이미지 정보와 비교하여 해당하는 클래스로 분류하며, 분류된 클래스 결과값을 해당 사용자단말기로 전송하며, 동시에 이미지기반피부질환AI딥러닝자동학습부(100)로 제공하여 이미지기반피부질환AI딥러닝자동학습부(100)에 의해 재학습할 수 있도록 하기 위한 타켓이미지클래스판별부(200);를 포함하여 구성되는 딥러닝기반피부질환판별용API엔진(1000)과,
   상기 딥러닝기반피부질환판별용API엔진(1000)으로 사용자 인증 정보와 피부 질환을 판단하기 위하여 촬영된 피부 질환 데이터 이미지 정보를 제공하며, 딥러닝기반피부질환판별용API엔진(1000)으로부터 분류된 클래스 결과값을 획득하여 실시간으로 피부질환 유무를 화면에 출력시키는 사용자단말기(2000)를 포함하여 구성되고,
   
   상기 이미지기반피부질환AI딥러닝자동학습부(100)는,
   학습할 피부 질환 데이터 세트 이미지 정보를 획득하기 위한 피부질환데이터세트이미지정보획득모듈(110);
   상기 획득된 피부 질환 데이터 세트 이미지 정보를 CNN 구조의 스펙에 맞추어 변환시키기 위한 피부질환데이터세트이미지변환모듈(120);
   상기 변환된 피부 질환 데이터 세트 이미지 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하기 위한 클래스별분류데이터변환모듈(130);
   상기 클래스 분류가 가능한 데이터를 softmax 함수를 이용하여 사전에 설정된 클래스의 합이 1이 되도록 변경하기 위한 함수변경모듈(140);
   각 클래스의 정확도를 계산하고, argmax 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하기 위한 클래스판단모듈(150);
   상기 학습할 피부 질환 데이터 세트 이미지 정보를 클래스정보저장모듈의 해당 클래스 필드에 저장 처리하기 위한 클래스정보처리모듈(160);
   상기 클래스별 학습한 피부 질환 데이터 세트 이미지 정보를 저장하고 있는 클래스정보저장모듈(170);을 포함하고,
   
   상기 타켓이미지클래스판별부(200)는,
   사용자 인증을 수행하기 위한 사용자인증수행모듈(210);
   상기 사용자 인증을 수행한 후, 로그인시, 해당 사용자단말기로부터 피부 질환을 판단하기 위하여 피부 질환 데이터 이미지 정보를 획득하기 위한 피부질환데이터이미지정보획득모듈(220);
   상기 획득된 피부 질환 데이터 이미지 정보에 라벨링을 수행하여 사용자라벨링정보저장모듈에 저장 처리하기 위한 사용자라벨링실행모듈(230);
   상기 사용자라벨링실행모듈에 의해 제공된 라벨링 정보와 해당 피부 질환 데이터 이미지 정보를 저장하고 있는 사용자라벨링정보저장모듈(240);
   피부 질환을 판단하기 위하여 상기 피부 질환 데이터 이미지 정보를 2차원 합성곱 신경망, 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망(Convolutional Neural Network, CNN) 중 어느 하나를 이용하여 컨볼루션하여 특징점을 추출하기 위한 판단대상이미지특징점추출모듈(250);
   상기 추출된 특징점을 참조하여 클래스정보저장모듈(170)에 저장된 피부 질환 데이터 세트 이미지 정보와 비교하여 해당하는 클래스로 분류하기 위한 타겟이미지클래스분류모듈(260);
   피부 질환을 판단하기 위하여 획득된 영상 이미지에 대하여 계산된 가중치값이 피부암 가중치값, 피부질환 가중치값, 보통 피부 가중치값 중 두 개의 가중치값을 더한 값보다 큰 값을 가지는 가중치값이 피부암, 피부질환, 보통 피부 중 어느 하나로 판별하기 위한 가중치값판별모듈(270);
   이미지기반피부질환AI딥러닝자동학습부(100)로 판별 결과값을 제공하여 이미지기반피부질환AI딥러닝자동학습부(100)를 통해 재학습하도록 하여 피부 질환 판별 성능을 향상시키는 재학습진행모듈(280);
   사용자로부터 획득한 피부 질환 데이터 이미지 정보를 사이즈, 방향, 배율, 밝기, 노이즈 제거 중 적어도 어느 하나 이상의 설정된 항목으로 전처리하여 학습 변별력을 높이기 위한 학습변별력향상처리모듈(290);을 포함하고,
   
   딥러닝기반피부질환판별용API엔진(1000)은,
   학습할 피부 질환 데이터 세트 이미지 정보를 획득하기 위하여 카메라와 연결되어 직접적인 입력 영상을 수신하거나, 무선 네트워크 또는 인터넷 네트워크로부터 수신받아 입력 가능한 장치인 것을 특징으로 하는 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템.
   
2. 삭제
3. 제 1항에 있어서,
   딥러닝기반피부질환판별용API엔진(1000), 사용자단말기(2000) 중 어느 하나는,
   피부 색소 질환, 감염성 질환, 피부암 중 적어도 어느 하나 이상의 질환을 진단할 수 있는 것을 특징으로 하는 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템.
   
4. 제 1항에 있어서,
   타켓이미지클래스판별부(200)를 통해,
   피부 질환을 판단하기 위하여 획득된 영상 이미지에 대하여 계산된 가중치값이 피부암 가중치값, 피부질환 가중치값, 보통 피부 가중치값 중 두 개의 가중치값을 더한 값보다 큰 값을 가지는 가중치값이 피부암, 피부질환, 보통 피부 중 어느 하나로 판별하며, 동시에 이미지기반피부질환AI딥러닝자동학습부(100)로 판별 결과값을 제공하여 이미지기반피부질환AI딥러닝자동학습부(100)를 통해 재학습하도록 함으로써, 피부 질환 판별 성능을 향상시키는 것을 특징으로 하는 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 API 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템.
   
5. 삭제

Images