KR102045217B1

KR102045217B1 - 인체 정보 분석장치 및 메이크업 파운데이션 분석 방법

Info

Publication number: KR102045217B1
Application number: KR1020180005060A
Authority: KR
Inventors: 샤이-용 센; 민-창 치; 부디만 고스노 에릭
Original assignee: 칼-콤프 빅 데이터, 인크.
Priority date: 2017-09-15
Filing date: 2018-01-15
Publication date: 2019-11-15
Also published as: KR20190031103A; US20190087643A1; CN109508587A; JP6547012B2; US10572718B2; JP2019053707A; EP3457319A1

Abstract

본 발명은 인체 정보 분석장치 및 그 메이크업 파운데이션 분석방법으로서, 그 중 메이크업 파운데이션 분석방법은 인체 정보 분석장치의 영상 캡쳐 모듈이 사람의 얼굴을 인식 시, 얼굴의 각 부위에 대해 위치결정을 수행하는 단계; 각각 좌안, 우안 및 코의 위치를 획득하는 단계; 좌안 및 코의 위치에 따라 좌측 메이크업 파운데이션의 위치를 판단하고, 우안 및 코의 위치에 따라 우측 메이크업 파운데이션의 위치를 판단하는 단계; 메이크업 파운데이션의 평균 색상 수치를 분석하는 단계; 메이크업 파운데이션의 평균 색상 수치를 사전설정 색상 수치와 비교하거나, 또는 좌측 메이크업 파운데이션을 우측 메이크업 파운데이션의 평균 색상 수치와 상호 비교하는 단계; 인체 정보 분석장치의 디스플레이 모듈에 비교 결과를 디스플레이하는 단계; 및, 보조 동작이 완료되기 전, 상기 단계를 반복 실행하는 단계를 포함한다.

Description

인체 정보 분석장치 및 메이크업 파운데이션 분석 방법{Body information analysis apparatus and make-up foundation analysis method therefor}

본 발명은 분석장치 및 분석방법에 관한 것으로서, 특히 인체 정보 분석장치 및 메이크업 파운데이션 분석방법에 관한 것이다.

여성에게 있어서, 화장은 매일 실행해야 하는 동작 중의 하나라고 말할 수 있다.

일반적으로, 사용자는 모두 거울 앞에 앉아 화장을 하거나, 또는 스마트폰, 태블릿 컴퓨터 등 장치의 카메라와 스크린을 통해 화장을 한다.

그러나 사용자의 화장이 고르게 되었는지, 색상이 적당한지 등의 문제는 종종 사용자가 육안을 통해 직접 관찰하거나 확인할 수 밖에 없다. 따라서 일부 경험이 부족한 사용자는 화장 속도가 지나치게 느리거나 또는 화장을 잘 못하는 어려움이 있을 수 있다.

이를 감안하여, 본 기술 분야에서, 사용자가 신속하게 화장 동작을 완료하도록 효과적으로 돕고, 경험이 부족한 사용자가 화장을 잘 할 수 있도록 도움을 줄 수 있는 보조장치가 매우 필요하다.
(선행기술문헌)
(특허문헌)
일본 공개특허공보 특개2012-095730호(2012.05.24.)
일본 공개특허공보 특개2007-175384호(2007.07.12.)

본 발명은 사용자가 화장 시 메이크업 파운데이션의 영상 분석을 제공하고 가이드를 제공함으로써, 사용자가 신속하고 보다 완벽하게 화장 동작을 실시할 수 있도록 도움을 줄 수 있는 인체 정보 분석장치 및 메이크업 파운데이션 분석방법을 제공한다.

본 발명의 실시예에서, 상기 메이크업 파운데이션 분석방법은 이하 단계를 포함한다.

상기 인체 정보 분석장치의 영상 캡쳐 모듈이 사람의 얼굴을 인식 시, 얼굴의 각 부위에 대해 위치결정을 수행하는 단계; 각각 좌안, 우안 및 코의 위치를 획득하는 단계; 좌안 및 코의 위치에 따라 좌측 메이크업 파운데이션의 위치를 판단하고, 우안 및 코의 위치에 따라 우측 메이크업 파운데이션의 위치를 판단하는 단계; 메이크업 파운데이션의 평균 색상 수치를 분석하는 단계; 메이크업 파운데이션의 평균 색상 수치를 사전설정 색상 수치와 비교하거나, 또는 좌측 메이크업 파운데이션과 우측 메이크업 파운데이션의 평균 색상 수치를 상호 비교하는 단계; 인체 정보 분석장치의 디스플레이 모듈에 비교 결과를 디스플레이하는 단계; 및, 보조 동작이 완료되기 전 상기 단계를 반복 실행하는 단계를 포함한다.

본 발명의 일 실시예에서, 상기 인체 정보 분석장치는 적어도 영상 캡쳐 모듈, 디스플레이 모듈 및 처리유닛을 포함하며, 그 중 영상 캡쳐 모듈은 외부 영상을 캡쳐하기 위한 것이고, 처리유닛은 외부 영상을 식별하기 위한 것이다. 처리유닛은 외부 영상 중 사람의 얼굴을 인식 시, 얼굴의 각 부위에 대해 위치결정을 수행하여, 적어도 좌안, 우안 및 코의 위치를 획득한다. 또한, 처리유닛은 좌안 및 코의 위치에 따라 좌측 메이크업 파운데이션의 위치를 판단하고, 우안 및 코의 위치에 따라 우측 메이크업 파운데이션의 위치를 판단한다. 이어서, 처리유닛은 또한 좌측 메이크업 파운데이션과 우측 메이크업 파운데이션의 평균 색상 수치를 분석하여, 평균 색상 수치와 사전설정 색상 수치를 비교하거나, 또는 좌측 메이크업 파운데이션와 우측 메이크업 파운데이션의 평균 색상 수치를 상호 비교하여 비교 결과를 생성한다. 그 중, 디스플레이 모듈은 비교 결과를 디스플레이하기 위한 것이다.

관련 기술과 비교하여 본 발명이 달성할 수 있는 기술 효과는, 사용자가 인체 정보 분석장치를 통해 화장 동작을 실시 시, 자신의 얼굴 모습을 볼 수 있는 이외에, 메이크업 파운데이션 위치의 영상 분석을 직접 획득할 수도 있어, 보다 신속하고 보다 완벽하게 화장 동작을 실시할 수 있도록 하는데 있다.

도 1은 본 발명의 제1 구체적인 실시예의 시스템 구조도이다.
도 2는 본 발명의 제1 구체적인 실시예의 분석장치 설명도이다.
도 3은 본 발명의 제1 구체적인 실시예의 분석장치 설명도이다.
도 4는 본 발명의 제1 구체적인 실시예의 분석장치 블록도이다.
도 5는 본 발명의 제1 구체적인 실시예의의 처리유닛 설명도이다.
도 6a는 본 발명의 제1 구체적인 실시예의 제1 메이크업 파운데이션 분석 흐름도이다.
도 6b는 본 발명의 제1 구체적인 실시예의 제2 메이크업 파운데이션 분석 흐름도이다.
도 7은 얼굴부 위치결정 설명도이다.
도 8a는 본 발명의 제2 구체적인 실시예의 제1 메이크업 파운데이션 분석 흐름도이다.
도 8b는 본 발명의 제2 구체적인 실시예의 제2 메이크업 파운데이션 분석 흐름도이다.
도 9a는 본 발명의 제1 구체적인 실시예의 제1 분석 동작도이다.
도 9b는 본 발명의 제1 구체적인 실시예의 제2 분석 동작도이다.
도 9c는 본 발명의 제1 구체적인 실시예의 제3 분석 동작도이다.
도 9d는 본 발명의 제1 구체적인 실시예의 제4 분석 동작도이다.
도 9e는 본 발명의 제1 구체적인 실시예의 제5 분석 동작도이다.
도 10은 본 발명의 제1 구체적인 실시예의 사전설정 수치 분석 흐름도이다.
도 11은 본 발명의 제3 구체적인 실시예의 분석장치 설명도이다.

본 발명의 바람직한 실시예에 대하여 도면을 결합하여, 아래와 같이 상세히 설명한다. 본 발명은 인체 정보 분석장치(이하 분석장치로 약칭함)를 공개하였으며, 상기 분석장치는 주로 사용자가 신속하고 정확하게 메이크업 파운데이션 화장 동작을 실시하도록 도움을 주는 메이크업 파운데이션 분석 방법(이하 분석방법으로 약칭함)을 실행하기 위한 것이다.

도 1을 참조하면, 본 발명의 제1 구체적인 실시예의 시스템 구조도이다. 일 실시예에서, 사용자는 이동장치(2)의 조작을 통해 분석장치(1)를 설정할 수 있다. 도 1에 도시된 바와 같이, 이동장치(2)에 응용 프로그램(21)이 내장되며, 구체적으로, 응용 프로그램(21)은 분석장치(1)와 상호 연결되는 애플리케이션(21)(예를 들어 분석장치(1)의 제조업체가 개발하여 제공하는 애플리케이션일 수 있다)일 수 있다. 본 발명에서, 사용자는 애플리케이션(21)을 조작하여 분석장치(1) 상의 각종 설정 동작을 완료할 수 있다(예를 들어 얼굴 정보 등록, 각종 사전설정값 설정 등).

일 실시예에서, 분석장치(1)는 소재 지역의 무선 라우터(3)에 연결되어, 무선 라우터(3)를 통해 인터넷(4)에 연결될 수 있다. 이에 따라, 분석장치(1)는 인터넷을 통해 펌웨어의 업데이트, 데이터 업로드와 다운로드 등 동작을 수행할 수 있다. 또한, 분석장치(1)는 인터넷(4)을 통해 사용자의 인체 정보를 원거리 컴퓨터 장치(미도시)로 전송하여, 사용자가 원격으로 조회하거나 또는 이를 통해 원격 백업 목적을 구현할 수도 있다.

도 2 및 도 3을 동시에 참조하면, 각각 본 발명의 제1 구체적인 실시예와 제2 구체적인 실시예의 분석장치 설명도이다. 본 발명의 분석장치(1)는 사용자(5)가 인체 정보(예를 들어 얼굴 부위, 목 부위, 손 부위의 피부 상황)를 탐지 및 분석하기 편리하도록, 주로 사용자(5)의 침실 또는 파우더룸에 설치된다.

분석장치(1)는 미러 스크린(11)을 구비한다. 분석장치(1)가 작동 시, 미러 스크린(11)을 통해 그래픽 사용자 인터페이스(graphical User Interface, GUI)를 디스플레이하고, 그래픽 사용자 인터페이스를 통해 사용자(5)와 상호작용한다. 한편, 분석장치(1)가 꺼지면, 미러 스크린(11)은 사용자(5)의 모습을 반사하는 단순한 거울로도 사용될 수 있다. 본 발명은 주로 분석장치(1)를 통해 사용자(5)의 화장 동작을 돕고자 하는 것이므로, 미러 스크린(11)은 사용자(5)의 모습을 반사함과 동시에 그래픽 사용자 인터페이스를 디스플레이할 수 있다. 이에 따라, 분석장치(1)는 사용자(5)가 화장 시 사용자(5)의 화장한 모습을 분석함과 동시에 도움(이후 상세히 설명한다)을 제공할 수 있다. 일 실시예에서, 미러 스크린(11)은 터치식 스크린일 수 있으며, 사용자(5)는 미러 스크린(11)을 통해 분석장치(1)에 자료 입력 동작을 수행할 수 있다.

분석장치(1)는 분석장치(1)에 설치되어 각도 조정을 받을 수 있는 영상 캡쳐 모듈(12)을 더 구비한다. 일 실시예에서, 영상 캡쳐 모듈(12)은 사용자(5)에 대해 고해상도 영상(예를 들어 얼굴 영상, 목 부위 영상, 손 부위 영상 등)을 촬영할 수 있으며, 분석장치(1)는 상기 영상을 통해 사용자(5)의 인체 정보 및 화장 진도를 분석할 수 있다. 또 다른 실시예에서, 영상 캡쳐 모듈(12)은 외부 정보(예를 들어 바코드, QR 코드 등)를 챕쳐하여 정보 내용을 통해 대응하는 자료를 획득할 수 있다.

분석장치(1)는 복수의 버튼(13)을 더 구비할 수 있다. 본 실시예에서, 복수의 버튼(13)은 실제 버튼(button)이거나 또는 터치 키(touch key)일 수 있으며, 이에 대해 한정하지 않는다. 사용자(5)는 버튼(13)을 트리거함으로써 상기 그래픽 사용자 인터페이스를 제어할 수 있으며(예를 들어 그래픽 사용자 인터페이스가 첫 페이지, 이전 페이지 또는 다음 페이지로 이동하도록 제어하는 등), 또는 분석장치(1)가 대응되는 기능(예를 들어 미러 스크린(11) 켜기, 미러 스크린(11) 끄기, 영상 캡쳐 모듈(12) 실행하기 등)을 신속하게 실행하도록 할 수 있다.

분석장치(1)는 분석장치(1)가 소재하는 환경의 환경 데이터를 감지하는 하나 또는 복수의 센서(14)(예를 들어 온도 센서, 습도 센서 등)를 더 구비하여, 이를 통해 사용자(5)의 인체 정보에 대한 분석장치(1)의 검출과 분석의 정확도를 높일 수 있다. 예를 들어 센서(14)가 초전형 적외선 센서(Pyroelectric Infrared Radial sensor, PIR sensor)인 경우, 수시로 사용자(5)가 분석장치(1)의 사용 영역에 진입하였음을 감지하여, 대기모드로부터 벗어나 영상 캡쳐 모드(12)를 작동시키고 사용자(5)의 얼굴 영상 촬영을 시도하는 등, 분석 플로우를 시작할 수 있다.

또 다른 실시예에서, 상기 센서(14)는 모션 센서(motion sensor)일 수도 있으며, 분석장치(1)는 모션 센서를 통해 사용자(5)의 손동작(예를 들어 좌측으로 휘두르거나, 우측으로 휘두르거나, 아래로 휘두르거나, 앞으로 밀거나 또는 뒤로 당기는 등)을 감지할 수 있다. 이와 같은 방식으로, 사용자(5)는 손동작을 통해 분석장치(1)에 데이터 입력 동작을 수행할 수 있으며, 상기 미러 스크린(11) 또는 버튼을 터치할 필요가 없어 지문 잔류를 방지할 수 있다.

계속 도 4를 참조하면, 본 발명의 제1 구체적인 실시예의 분석장치 블록도이다. 도 4에 도시된 바와 같이, 분석장치(1)는 주로 처리유닛(10) 및 처리유닛(10)과 전기적으로 연결되는 디스플레이 모듈(111), 영상 캡쳐 모듈(12), 입력 인터페이스(15) 및 무선전송 모듈(16)을 포함한다.

일 실시예에서, 영상 캡쳐 모듈(12)은 외부 영상과 외부 정보를 캡쳐하기 위한 카메라이다. 분석장치(1)는 외부 영상을 통해 사용자를 인식하여(예를 들어 얼굴 인식, 목 부위 인식, 손 부위 인식 등), 사용자의 얼굴, 목, 손 등 부위를 분석할 수 있다. 또한, 분석장치(1)는 외부 정보의 내용을 통해 대응되는 동작을 실행할 수도 있다.

디스플레이 모듈(111)은 상기 그래픽 사용자 인터페이스를 디스플레이하기 위한 것이다. 일 실시예에서, 디스플레이 모듈(111)은 상기 미러 스크린(11)에 장착된다. 디스플레이 모듈(111)이 활성화(enable) 되었을 때, 디스플레이 모듈(111)의 광원이 미러 스크린(11)을 투과하여 그래픽 사용자 인터페이스를 미러 스크린(11)에 디스플레이할 수 있고, 디스플레이 모듈(111)이 비활성화되었을 때, 사용자는 미러 스크린(11)을 일반 거울로 사용할 수 있다.

분석장치(1)는 입력 인터페이스(15)를 통해 사용자의 외부 입력을 수신하며, 이를 통해 사용자는 그래픽 사용자 인터페이스와 상호작용하거나, 또는 필요한 설정 동작을 수행할 수 있다. 일 실시예에서, 입력 인터페이스(15)는 사용자의 손동작 입력을 감지하기 위한 상기 센서(14)일 수 있고, 다른 실시예에서, 입력 인터페이스(15)는 외부 영상 또는 외부 정보를 캡쳐하기 위한 영상 캡쳐 모듈(12)일 수 있다. 또 다른 실시예에서, 입력 인터페이스(15)는 사용자의 입력 동작을 수신하기 위한 터치 스크린 또는 버튼(13)일 수 있고, 또 다른 실시예에서, 입력 인터페이스(15)는 외부 음성정보를 수신하기 위한 마이크일 수 있다.

무선전송 모듈(16)은 인터넷(4)에 연결하기 위한 것이다. 구체적으로, 사용자는 인터넷(4)을 통해 분석장치(1)에 원격으로 연결되어, 분석장치(1)에 기록된 각종 정보(예를 들어 인체 정보)를 수시로 검색할 수 있다.

처리유닛(10)은 디스플레이 모듈(111), 영상 캡쳐 모듈(12), 입력 인터페이스(15) 및 무선전송 모듈(16)과 연결되고, 또한 처리유닛(10)은 컴퓨터 실행코드(미도시)를 포함한다. 컴퓨터 실행코드의 실행을 통해, 처리유닛(10)은 본 발명의 분석방법을 더 구현할 수 있다.

도 5를 동시에 참조하면, 본 발명의 제1 구체적인 실시예의 처리유닛 설명도이다. 구체적으로, 처리유닛(10)은 주로 상기 컴퓨터 실행코드를 통해 본 발명의 분석방법 중의 각 기능을 구현하며, 또한 상이한 기능에 따라, 상기 컴퓨터 실행코드를 이하 몇 가지 기능 모듈로 구분할 수 있다.

1. 영상 캡쳐 모듈(12)이 캡쳐한 외부 영상을 인식하여 외부 영상 중 사람의 얼굴이 존재하는지 여부를 판단하기 위한 얼굴 인식 모듈(101);

2. 알고리즘을 통해 외부 영상 중의 얼굴에 대해 위치결정을 수행하여 얼굴의 각 부위(예를 들어 눈썹, 눈, 코, 입 등)의 위치를 획득하는 위치결정 모듈(102);

3. 위치결정 모듈(102)이 획득한 위치에 따라, 사용자가 메이크업 파운데이션을 그리기에 적합한 위치를 판단하는 판단모듈(103);

4. 상기 메이크업 파운데이션의 위치에 대해 영상 분석을 수행하여, 사용자의 현재 메이크업 파운데이션 상황(예를 들어 색상 밝기, 색상 분포 등)을 획득하는 분석 모듈(104); 및

5. 사용자의 현재의 메이크업 파운데이션 상황을 사전설정 수치와 비교하고, 사용자에게 비교결과(예를 들어 색상이 지나치게 밝다거나, 색상이 지나치게 어둡다거나, 색상이 균일하지 못하다는 등)를 고지하여, 이를 통해 사용자에게 화장 보조 역할을 제공하는 비교모듈(105).

또 다른 실시예에서, 비교모듈(105)은 사용자의 현재의 좌측 메이크업 파운데이션과 우측 메이크업 파운데이션을 비교하고, 사용자에게 비교 결과(예를 들어 좌측 메이크업 파운데이션의 색상이 비교적 밝고, 우측 메이크업 파운데이션의 색상이 비교적 어둡다는 등)를 고지하되, 사용자의 현재의 메이크업 파운데이션 상황을 사전설정 수치와 비교하지 않을 수 있다. 다시 말해, 본 실시예에서, 비교모듈(105)이 좌측 메이크업 파운데이션의 상황을 비교하고자 할 때, 우측 메이크업 파운데이션의 상황을 실시간으로 획득하여 상기 사전설정 수치로 삼을 수 있고; 비교 모듈(105)이 우측 메이크업 파운데이션의 상황을 비교하고자 할 때, 좌측 메이크업 파운데이션의 상황을 실시간으로 획득하여 상기 사전설정 수치로 삼을 수 있다.

계속 도 6a 및 도 6b를 참조하면, 각각 본 발명의 제1 구체적인 실시예의 제1 메이크업 파운데이션 흐름도 및 제2 메이크업 파운데이션 분석 흐름도이다. 도 6a 및 도 6b는 본 발명의 분석방법의 각 단계를 설명하기 위한 것이며, 또한 주로 도 1 내지 도 5에 도시된 분석장치(1)에 응용된다. 구체적으로, 본 발명의 분석장치(1)는 처리유닛(10)을 통해 상기 컴퓨터 실행코드(즉, 상기 각 기능모듈(101)-(105))을 실행하여, 하기의 각 단계를 구현한다.

도 6a에 도시된 바와 같이, 본 발명의 분석장치(1)를 통해 상기 분석방법을 실행하여, 사용자의 화장 동작을 돕기 위해서는, 먼저 사용자가 분석장치(1)를 작동시켜야 한다(단계 S10). 일 실시예에서, 사용자는 터치 스크린 또는 버튼(13)을 트리거하여 분석장치(1)를 작동시킬 수 있다. 또 다른 실시예에서, 분석장치(1)는 통전 후 자동으로 대기모드로 진입하여, 사용자가 영상 캡쳐 모듈(12) 또는 센서(14)를 통해 손동작을 입력하여 분석장치(1)를 작동시킬 수도 있으며, 이에 대해 제한하지 않는다.

구체적으로, 본 발명 중 분석장치(1)는 상이한 기능을 제공하기 위한 상이한 모드를 구비하며, 본 실시예에서는 분석장치(1)가 작동된 후 자동으로 사용자의 화장 동작을 돕는 보조모드로 진입한다. 기타 실시예에서, 분석장치(1)는 작동 후 대기모드로 진입하고, 사용자의 명령을 수신한 후, 보조 모드로 진입하도록 할 수도 있다.

분석장치(1)가 작동된 후, 즉 영상 캡쳐 모듈(12)이 지속적으로 외부 영상을 캡쳐하고(단계 S12), 또한, 처리유닛(10)이 지속적으로 캡쳐된 외부 영상 중 사람의 얼굴이 존재하는지 여부를 판단한다(단계 S14). 일 실시예에서, 처리유닛(10)은 영상 캡쳐 모듈(12)이 외부 영상을 획득하고, 상기 얼굴 인식 모듈(101)이 외부 영상에 대해 얼굴 인식을 수행하여 외부 영상에 사람의 얼굴이 존재하는지 여부를 판단한다.

외부 영상에 사람의 얼굴이 존재하지 않을 경우, 즉 분석장치(1)는 단계 S12와 단계 S14를 재실행하여, 지속적으로 외부 영상의 캡쳐와 분석을 실행한다. 예를 들어, 외부 영상에 침대, 문, 의자 등 물체(침실에 사람이 없음을 나타낸다)가 존재하거나, 또는 사용자의 신체 또는 등 부위(사용자가 화장 동작을 하지 않음을 나타낸다)만 존재할 가능성이 있으며, 이 경우, 분석장치(1)는 본 발명의 분석방법을 주동적으로 실행하지 않는다.

이어서 도 6b에 도시된 바와 같이, 처리유닛(10)이 인식을 거친 후, 외부 영상에 사람의 얼굴이 존재한다고 판단한 경우, 얼굴의 각 부위(주로 사용자의 오관)에 대해 위치결정을 수행한다(단계 S16). 일 실시예에서, 처리유닛(10)은 외부 영상에 얼굴이 존재한다고 판단 후, 얼굴의 크기가 특정 비율보다 큰지 여부를 더 판단한다(예를 들어 외부 영상의 40% 이상 차지). 또한, 처리유닛(10)은 얼굴의 크기가 특정 비율보다 큰 경우에만 얼굴의 각 부위에 대해 위치결정을 수행한다.

일 실시예에서, 처리유닛(10)은 외부 영상에 얼굴이 존재한다고 판단한 후, 얼굴 영상을 상기 위치결정 모듈(102)로 전달하고, 위치결정 모듈(102)이 상기 얼굴에 대해 위치결정을 수행하여, 적어도 사용자의 좌안, 우악 및 코의 위치를 획득한다(단계 S18).

언급해두어야 할 점으로, 본 실시예에서, 위치결정 모듈(102)은 주로 Dlib Face Landmark 시스템을 통해 얼굴 상의 각 부위에 대해 위치결정을 수행할 수 있으나, 단 이에 대해 한정하지 않는다.

도 7을 동시에 참조하면, 얼굴 부위의 위치결정 설명도이다. 처리유닛(10)이 외부 영상에 얼굴이 존재한다고 인식한 후, 또한 상기 Dlib Face Landmark 시스템을 통해 얼굴부(51)의 영상에 대해 분석을 실시할 수 있다. Dlib Face Landmark 시스템은 본 기술 분야에서 상용하는 기술 수단이며, 분석이 완료된 후, 얼굴부(51)의 영상 중 복수의 위치결정점(6)(예를 들어 198개의 위치결정점일 수 있다)이 생성된다. 이에 따라, Dlib Face Landmark 시스템은 복수의 위치결정점(6)의 번호, 형상, 배열 순서 등 정보에 따라 얼굴부(51)의 영상 중 각 부위의 위치를 확정하여 상기 위치결정 동작을 완료할 수 있다.

도 6b로 되돌아가, 단계 S18 이후, 처리유닛(10)은 적어도 사용자의 좌안, 우안 및 코의 위치를 획득한다. 이어서, 처리유닛(10)은 좌안 및 코의 위치에 따라 좌측 메이크업 파운데이션의 위치를 판단하고, 우안 및 코의 위치에 따라 우측 메이크업 파운데이션의 위치를 판단한다(단계 S20). 일 실시예에서, 처리유닛(10)은 Dlib Face Landmark 시스템의 위치결정 결과를 전술한 판단 모듈(103)로 전달하고, 판단 모듈(103)이 좌안, 우안 및 코의 위치를 통해 각각 좌측 메이크업 파운데이션의 위치 및 우측 메이크업 파운데이션의 위치를 계산한다.

언급해두어야 할 점으로, 본 발명의 목적 중 하나는 사용자의 메이크업 파운데이션 화장에 도움을 주기 위한 것이므로, 분석장치(1)는 디스플레이 모듈(111)이 전술한 좌측 메이크업 파운데이션 및 우측 메이크업 파운데이션의 위치를 선택적으로 디스플레이할 수 있다. 구체적으로, 디스플레이 모듈(111)은 좌측 메이크업 파운데이션 및 우측 메이크업 파운데이션의 위치를 직접 미러 스크린(11)에 디스플레이하며(예를 들어 컬러 프레임 방식으로 나타낸다), 또한 상기 위치와 사용자의 얼굴부(51)를 미러 스크린(11) 상의 반사 영상에 중첩시킨다. 이와 같은 방식으로, 사용자는 직접 미러 스크린(11)에서 상기 메이크업 파운데이션을 어느 위치에 그려야 하는지 살펴볼 수 있다.

본 발명의 일 실시예에서, 처리유닛(10)은 사용자의 메이크업 파운데이션을 사전설정 영상과 비교하여, 사용자의 현재의 메이크업 파운데이션 상황을 판단한다. 본 실시예에서, 분석장치(1)는 디스플레이 모듈(111)이 처리유닛(10)이 채택한 하나의 비교 영상을 선택적으로 제어할 수 있다(단계 S22). 본 실시예에서, 상기 비교 영상은 예를 들어 분석장치(1)가 미리 저장한 증강현실(Augmented Reality, AR) 영상일 수 있으나, 단 이로써 한정하지 않는다.

또 다른 실시예에서, 사용자는 분석장치(1)가 미리 저장한 메이크업 파운데이션 제품(예를 들어 파우더 브랜드, 모델번호) 또는 메이크업 파운데이션 효과를 자체적으로 선택하거나, 또는 사용하고자 하는 메이크업 파운데이션 제품을 자체적으로 입력하여, 분석장치(1)가 대응하는 효과를 자동으로 생성하도록 할 수 있다. 상기 증강현실 영상은 분석장치(1)가 영상 캡쳐 모듈(12)을 통해 사용자의 현재 영상을 실시간으로 획득하고, 전술한 사용자가 자체적으로 선택한 대응 효과를 사용자의 메이크업 파운데이션 위치의 영상에 겹쳐놓는 것이다. 또한, 사용자가 상기 선택된 대응 효과에 만족한 경우, 이러한 대응되는 효과 및 증강현실 영상을 선택하여 분석장치(1)에 저장할 수도 있다.

일 실시예에서, 분석장치(1)는 복수의 증강현실 영상을 생성 즉시 내장할 수 있으며, 사용자는 상기 입력 인터페이스(15)를 통해 복수의 증강현실 영상 중의 하나를 상기 비교 영상으로 선택할 수 있다. 또한, 사용자는 주변장치 또는 네트워크를 통해 좋아하는 비교 영상을 입력하고 분석장치(1)에 저장하며, 이를 통해 처리유닛(10)이 사용자가 자체적으로 입력한 비교 영상을 이용하여 상기 비교 동작을 실행할 수 있다. 본 실시예에서, 상기 비교 영상은 주로 얼굴부 영상이거나, 또는 적어도 좌안, 우안 및 코 부위를 포함하는 얼굴 부위의 국부 영상이며, 이에 대해 한정하지 않는다.

언급해두어야 할 점으로, 분석장치(1)는 또한 비교할 각종 사전설정 수치(예를 들어 후술하는 사전설정 색상 수치)를 직접 미리 저장할 수 있다. 이 경우, 분석장치(1)는 상기 비교 영상을 저장할 필요가 없으며, 또한 상기 단계 S22를 실행할 필요가 없다.

이어서, 처리유닛(10)은 좌측 메이크업 파운데이션 영상 및 우측 메이크업 파운데이션 영상에 따라 좌측 메이크업 파운데이션의 평균 색상 수치 및 우측 메이크업 파운데이션의 평균 색상 수치를 분석한다(단계 S24). 일 실시예에서, 처리유닛(10)은 좌측 메이크업 파운제이션의 영상 및 우측 메이크업 파운데이션 영상을 각각 전술한 분석 모듈(104)로 전달하며, 분석 모듈(104)은 관련 기술 중의 복수의 영상 분석 알고리즘을 이용하여, 좌측 메이크업 파운데이션의 영상을 통해 좌측 메이크업 파운데이션의 평균 색상 수치를 분석하고, 우측 메이크업 파운데이션의 영상을 통해 우측 메이크업 파운데이션의 평균 색상 수치를 분석한다.

구체적으로, 상기 평균 색상 수치의 계산은 처리유닛(10)이 획득된 메이크업 파운데이션 영상을 상이한 색 공간 포맷으로 표시 및 분석하는 것일 수 있다. 예를 들면, 상기 색 공간은 RGB 색 공간, HSV 색 공간, HSL 색 공간 등등일 수 있으며, 이에 대해 제한하지 않는다. 심지어, 처리유닛(10)이 채택한 분석방식의 필요를 바탕으로, 두 가지 색 공간 포맷을 이용하여 표시 및 분석할 수도 있고, 그 중 분량을 골라 분석할 수도 있다.

예를 들어, 컬러 영상의 색 공간 포맷이 HSV 색 공간이라 가정하면, 영상 중 각 화소의 색상은 '색상 분량(Hue)', '포화도 분량(Saturation)', '명도 분량(Value)'으로 표시할 수 있다. 컬러 영상의 색 공간 포맷이 RGB 색 공간이라 가정하면, 즉 영상 중 각 화소의 색상은 '적색 분량(Red)', '녹색 분량(Green)', '청색 분량(Blue)'으로 표시할 수 있다.

단계 S24 이후, 처리유닛(10)은 사전설정 색상 수치를 획득하고, 상기 평균 색상 수치와 사전설정 색상 수치를 비교하여 비교 결과를 생성한다(단계 S26).

일 실시예에서, 처리유닛(10)은 위치결정 모듈(102), 판단 모듈(103)과 분석 모듈(104)을 통해 전술한 비교 영상(즉, 증강현실 영상)을 분석하여, 사전설정 색상 수치를 획득한다. 또 다른 실시예에서, 처리유닛(10)은 직접 비교 모듈(105)을 통해 사전설정 색상 수치를 저장하고, 전술한 비교 영상의 저장, 선택 및 분석 동작을 생략할 수 있다. 처리유닛(10)은 단계 S24 이후 상기 평균 색상 수치를 비교 모듈(105)로 전달하여, 비교 모듈(105)이 좌측 메이크업 파운데이션의 평균 색상 수치와 사전설정 색상 수치를 비교하여 하나의 비교 결과를 생성하고, 우측 메이크업 파운데이션의 평균 색상 수치와 사전설정 색상 수치를 비교하여 또 다른 비교 결과를 생성한다.

언급해두어야 할 점으로, 상기 사전설정 색상 수치는 예를 들어 표준 색상 또는 표준 밝기일 수 있다. 일 실시예에서, 사전설정 색상 수치는 처리유닛이 전술한 비교 영상을 분석한 후 획득되며, 상기 표준 색상과 표준 밝기가 즉 비교 영상 중의 얼굴부 영상의 색상과 밝기이다. 또 다른 실시예에서, 사전설정 색상 수치는 분석장치(1)에 미리 기록되며, 상기 표준 색상 또는 표준 밝기가 즉 사용자가 미리 설정한 이상적인 색상과 밝기이다. 또 다른 실시예에서, 분석장치(1)는 인터넷(4)을 통해 사용자가 필요로 하는 화장 모습을 다운로드하고, 또한 상기 다운로드한 화장 모습에 대해 영상 분석을 실시하여 사전설정 색상 수치를 생성 및 저장할 수도 있다.

언급해두어야 할 점으로, 상기 단계 S26에서, 처리유닛(10)은 좌측 메이크업 파운데이션과 우측 메이크업 파운데이션의 평균 색상 수치를 각각 사전설정 색상 수치와 비교한다. 또 다른 실시예에서, 처리유닛(10)은 또한 좌측 메이크업 파운데이션의 평균 색상 수치를 우측 메이크업 파운데이션의 평균 색상 수치와 상호 비교하여 상기 비교 결과를 생성할 수 있다. 이러한 실시예에서, 처리유닛(10)은 단순히 좌측 메이크업 파운데이션과 우측 메이크업 파운데이션의 상황이 유사한지 여부(색상, 밝기가 유사한지 여부)를 판단하므로, 상기 사전설정 색상 수치가 필요 없다.

다시 말해, 이러한 실시예에서, 비교 모듈(105)은 단계 S26에서 우측 메이크업 파운데이션의 평균 색상 수치를 실시간으로 획득하여 상기 사전설정 색상 수치(예를 들어 제1 사전설정 색상 수치)로 삼고, 좌측 메이크업 파운데이션의 평균 색상 수치를 제1 사전설정 색상 수치와 비교할 수 있으며; 또한 비교 모듈(105)은 좌측 메이크업 파운데이션의 평균 색상 수치를 실시간으로 획득하여 상기 사전설정 색상 수치(예를 들어 제2 사전설정 색상 수치)로 삼고, 우측 메이크업 파운데이션의 평균 색상 수치를 제2 사전설정 색상 수치와 비교할 수 있다. 마지막으로, 비교 모듈(105)은 비교 결과를 더 생성한다. 다만, 상기 내용은 단지 본 발명의 구체적인 실시예일뿐, 이로써 본 발명의 특허 출원 범위를 제한하지 않는다.

단계 S26 이후, 분석장치(1)는 디스플레이 모듈(111)을 통해 상기 비교 결과를 미러 스크린(11)에 디스플레이하여(단계 S28), 사용자가 직접 미러 스크린(11)에서 현재의 메이크업 파운데이션 상황(예를 들어 색상이 표준 밝기보다 높다거나 표준 밝기보다 낮은 상황)을 획득하도록 함으로써, 분석장치(1)로부터 화장의 도움을 얻을 수 있게 한다.

일 실시예에서, 전술한 평균 색상 수치와 사전설정 색상 수치는 0~255의 화소값이고, 비교 결과는 백분율이며, 또한 비교 모듈(105)은

의 계산식에 따라 비교 결과를 생성한다. 다만, 상기 내용은 단지 본 발명 중의 하나의 실시예일뿐이나, 결코 이로써 한정되지 않는다.

일 실시예에서, 처리유닛(10)은 또한 좌측 메이크업 파운데이션 영상 및 우측 메이크업 파운데이션의 영상에 따라 좌측 메이크업 파운데이션의 표준차(Standard Deviation, SD) 및 우측 메이크업 파운데이션의 표준차를 분석한다(단계 S30). 일 실시예에서, 처리유닛(10)은 좌측 메이크업 파운데이션의 영상 및 우측 메이크업 파운데이션의 영상을 전술한 분석 모듈(104)로 전달하여, 분석 모듈(104)이 상기 좌측 메이크업 파운데이션 및 우측 메이크업 파운데이션의 표준차를 분석한다. 마찬가지로, 분석 모듈(104)은 관련 기술 중의 다양한 영상 분석 알고리즘을 이용하여, 좌측 메이크업 파운데이션의 영상 및 우측 메이크업 파운데이션의 영상을 통해 좌측 메이크업 파운데이션 및 우측 메이크업 파운데이션의 표준차를 분석할 수 있다.

단계 S30 이후, 처리유닛(10)은 미리 저정된 사전설정 표준차를 획득하고, 상기 표준차를 사전설정 표준차와 비교하여 제2 비교 결과를 생성한다(단계 S32).

일 실시예에서, 처리유닛(10)은 분석 모듈(104)로 상기 비교 영상(예를 들어 증강현실 영상)에 대해 영상분석을 실시하여 사전설정 표준차를 추출하고, 전술한 비교 모듈(105)로 상기 메이크업 파운데이션의 표준차 및 사전설정 표준차를 비교하여 상기 제2 비교 결과를 생성한다.

또 다른 실시예에서, 처리유닛(10)은 전술한 비교 모듈(105)을 통해 사전설정 표준차를 미리 저장하고, 단계 S30 이후 상기 메이크업 파운데이션의 표준차를 비교 모듈(105)로 전달한다. 이에 따라, 비교 모듈(105)은 직접 메이크업 파운데이션의 표준차와 미리 저장한 사전설정 표준차를 비교하여 상기 제2 비교 결과를 생성한다.

단계 S32 이후, 분석장치(1)는 디스플레이 모듈(111)을 통해 상기 제2 비교 결과를 미러 스크린(11)에 디스플레이하여(단계 S34), 사용자가 직접 현재의 메이크업 파운데이션에 색상이 균일하지 못한 현상(예를 들어 색상 분포 상황이 표준 분포 상황과 낮은 현상)이 있는지 여부를 살펴보고 추가적으로 수정할 수 있게 한다.

언급해두어야 할 점으로, 단계 S24 내지 단계 S28과 단계 S30 내지 단계 S34는 실행상에 순서 관계가 없으며, 분석장치(1)는 선택적으로 상기 비교 결과 또는 상기 제2 비교 결과를 먼저 계산하고 디스플레이하거나, 또는 멀티프로세싱을 통해 상기 비교결과 및 상기 제2 비교 결과를 동시에 계산하고 디스플레이할 수 있으며, 도 6b에 도시된 단계 순서에 한정되지 않는다.

일 실시예에서, 전술한 표준차는 상기 평균 색상 수치와 유사하여, 0~255의 화소값일 수 있고, 또한 제2 비교 결과는 전술한 비교 결과와 유사하여 백분율일 수 있다. 본 실시예에서, 비교 모듈(105)은

의 계산식에 따라 제2 비교 결과를 생성한다. 다만, 상기 내용은 본 발명 중의 일 실시예일뿐이며, 결코 이로써 한정되지 않는다.

이어서, 분석장치(1)는 본 회의 보조 동작이 완료되었는지 여부를 판단하고(단계 S36), 보조 동작이 완료되기 전 단계 S16 내지 단계 S34를 반복 실행하여, 지속적으로 사용자의 얼굴부(51)를 인식하고, 지속적으로 오관에 대해 위치결정을 수행하며, 지속적으로 좌측 메이크업 파운데이션 및 우측 메이크업 파운데이션의 위치 및 영상을 획득하고, 지속적으로 메이크업 파운데이션의 평균 색상 수치 및 표준차를 분석하며, 지속적으로 비교 결과 및 제2 비교 결과를 생성 및 디스플레이한다. 분석장치(1)가 본 회의 보조 동작이 완료된 것으로 판단한 경우, 본 회의 분석방법을 종료한다. 상기 단계 S16 내지 단계 S34의 반복 실행을 통해, 본 발명의 분석장치(1)와 분석방법은 실시간(real time)의 화장 보조 기능을 구현할 수 있다.

예를 들어 설명하면, 분석장치(1)가 사용자의 얼굴부(51)를 분석하고, 또한 디스플레이되는 비교 결과가 사용자의 좌측 메이크업 파운데이션의 색상이 표준 색상보다 5% 어둡다고 나타나면, 비교 결과에 따라, 사용자는 좌측 메이크업 파운데이션을 보강할 수 있다. 사용자가 보강을 함과 동시에, 분석장치(1)는 지속적으로 사용자의 얼굴부(51)를 분석하고, 비교 결과를 수정하여 사용자의 좌측 메이크업 파운데이션의 색상이 표준 색상보다 3% 어둡다고 표시한다.

상기 비교 결과에 따라, 사용자는 계속 좌측 메이크업 파운데이션을 보강할 수 있으며, 또한 분석장치(1)는 지속적으로 사용자의 얼굴부(51)를 분석한다. 이어서, 분석장치(1)는 비교 결과를 재수정하여 사용자의 좌측 메이크업 파운데이션의 색상이 표준 색상보다 1.5% 어둡다고 표시하며, 이와 같이 유추한다. 이를 통해, 사용자는 메이크업 파운데이션의 색상/밝기가 표준 색상/밝기와 같거나 유사해질 때까지 지속적으로 메이크업 파운데이션을 보강할 수 있다.

일 실시예에서, 분석장치(1)는 단계 S36에서 분석장치(1)가 꺼졌는지 여부를 판단한다. 본 실시예에서, 분석장치(1)가 꺼지기 전, 단계 S16 내지 단계 S34를 반복 실행하며, 또한 기기가 꺼진 후 본 회의 분석방법을 종료한다. 이에 따라, 분석장치(1)는 기기가 켜진 후 상기 화장 보조 기능이 상주할 수 있다.

또 다른 실시예에서, 분석장치(1)는 단계 S36에서 상기 비교 결과(및 제2 비교 결과)가 화장 완성 표준에 부합되는지 여부를 판단한다. 예를 들어, 분석장치(1)는 전술한 비교 결과 및 제2 비교 결과에 따라 평균 색상 수치가 사전설정 색상 수치와 같거나 또는 유사한지 여부, 및 표준차가 사전설정 표준차와 같거나 또는 유사한지 여부를 판단한다. 또한, 분석장치(1)는 평균 색상 수치가 사전설정 색상 수치와 같거나 또는 유사하고, 또한 표준차가 사전설정 표준차와 같거나 또는 유사 시, 상기 비교 결과(및 제2 비교 결과)가 화장 완성 표준에 부합된다고 판단한다.

마찬가지로, 본 실시예에서, 분석장치(1)는 비교 결과(및 제2 비교 결과)가 화장 완성 표준에 부합되기 전 단계 S16 내지 단계 S34를 반복 실행하고, 또한 부합 후 본 회의 분석방법을 종료한다.

계속 도 8a와 도 8b를 동시에 참조하면, 각각 본 발명의 제2 구체적인 실시예의 제1 메이크업 파운데이션 분석 흐름도와 제2 메이크업 파운데이션 분석 흐름도이다. 도 8a와 도 8b는 도 6b의 흐름도 중의 단계 S20을 좀 더 구체적으로 설명하여, 처리유닛(10)의 판단 모듈(103)이 어떻게 영상 중의 좌안, 우안 및 코의 위치를 통해 좌측 메이크업 파운데이션의 위치 및 우측 메이크업 파운데이션의 위치를 판단하는지 해석하기 위한 것이다.

구체적으로, 도 6b의 흐름도의 단계 S18 이후, 판단 모듈(103)은 사용자의 좌안, 우안 및 코의 위치를 이미 획득하였다. 일 실시예에서, 판단 모듈(103)은 선택적으로 먼저 좌측 메이크업 파운데이션의 위치를 판단하거나 먼저 우측 메이크업 파운데이션의 위치를 판단한다. 또한, 각 메이크업 파운데이션의 위치를 판단 시, 판단 모듈(103)은 임의의 순서로 필요한 보조선(이후 상세히 서술함)을 생성할 수 있으며, 다시 말해 단계 S40 내지 단계 S66은 실행상의 고정된 순서가 없다. 설명의 편의를 위하여, 이하 도 8a와 도 8b에 도시된 흐름도의 순서에 따라 설명하며, 단 이는 본 발명의 특허출원 범위를 제한하기 위한 것이 아니다.

먼저, 판단 모듈(103)은 사람의 얼굴의 영상으로부터 코의 콧등 및 코끝의 위치를 획득하고(단계 S40), 또한, 콧등에서 코끝까지의 중간점을 더 획득한다(단계 S42).

이어서, 판단 모듈(103)은 얼굴의 영상으로부터 좌안의 눈가 위치, 눈꼬리 위치 및 눈밑 위치를 획득한다(단계 S44). 이어서, 판단 모듈(103)은 눈밑 위치의 하방에 좌안과 평행한 제1 보조선을 생성하고(단계 S46), 눈가 위치로부터 아래를 향해 좌안과 수직을 이루는 제2 보조선을 생성하며(단계 S48), 또한 눈꼬리 위치로부터 아래를 향해 좌안과 수직을 이루는 제3 보조선을 생성한다(단계 S50). 이어서, 판단 모듈(103)은 상기 코의 중간점으로부터 좌측을 향해 좌안과 평행한 제4 보조선을 생성한다(단계 S52). 마지막으로, 판단 모듈(103)은 제1 보조선, 제2 보조선, 제3 보조선 및 제4 보조선을 통해 좌측 메이크업 파운데이션의 위치를 구성할 수 있다(단계 S54).

한편, 판단 모듈(103)은 얼굴부의 영상으로부터 우안의 눈가 위치, 눈꼬리 위치 및 눈밑 위치를 획득한다(단계 S56). 이어서, 판단 모듈(103)은 눈밑 위치의 하방에 우안과 평행한 제5 보조선을 생성하고(단계 S58), 눈가 위치로부터 아래를 향해 우안과 수직을 이루는 제6 보조선을 생성하며(단계 S60), 또한 눈꼬리 위치로부터 아래를 향해 우안과 수직을 이루는 제7 보조선을 생성한다(단계 S62). 이어서, 판단 모듈(103)은 상기 코의 중간점으로부터 우측을 향해 우안과 평행한 제8 보조선을 생성한다(단계 S64). 마지막으로, 판단 모듈(103)은 제5 보조선, 제6 보조선, 제7 보조선 및 제8 보조선을 통해 우측 메이크업 파운데이션의 위치를 구성할 수 있다(단계 S66).

일 실시예에서, 분석장치(1)는 선택적으로 디스플레이 모듈(111)이 상기 제1 보조선 내지 제8 보조선을 미러 스크린(11)에 디스플레이하도록 제어하여, 사용자가 살펴보기에 편리하도록 할 수 있다.

도 9a 내지 도 9e를 동시에 참조하면, 각각 본 발명의 제1 구체적인 실시예의 제1 분석 동작도 내지 제5 분석 동작도이다. 도 9a 내지 도 9e의 실시예는 판단 모듈(103)이 좌측 메이크업 파운데이션의 위치 및 우측 메이크업 파운데이션의 위치를 동시에 판단하는 것을 예로 들어 설명하였으나, 단 본 발명의 특허 출원 범위를 한정하는 것은 아니다.

먼저, 도 9a에 도시된 바와 같이, 도 6b의 흐름도의 단계 S18 이후, 판단 모듈(103)은 얼굴부의 영상으로부터 코(52), 좌안(53) 및 우안(54)의 위치를 획득한다. 이어서, 판단 모듈(103)은 코(52)의 콧등(521)과 코끝(522)을 연결하고 이들의 중간점(523)을 획득한다. 이와 동시에, 판단 모듈(103)은 좌안(53)의 눈가(531), 눈꼬리(532) 및 눈밑(533)의 위치, 및 우안(54)의 눈가(541), 눈꼬리(542) 및 눈밑(543)의 위치를 더 획득한다.

이어서 도 9b에 도시된 바와 같이, 판단 모듈(103)은 좌안(53)의 눈밑(533) 하방에 좌안(53)과 평행한 제1 보조선(71)을 생성하고, 우안(54)의 눈밑(543) 하방에 우안(54)과 평행한 제5 보조선(75)을 생성한다. 언급해두어야 할 점으로, 본 실시예에서, 판단 모듈(103)은 좌안(53)의 눈밑(533)으로부터 아래를 향해 복수의 화소점(예를 들어 50개의 화소점)만큼 이동한 후, 상기 제1 보조선(71)을 생성한다. 또한, 판단 모듈(103)은 우안(54)의 눈밑(543)으로부터 아래를 향해 복수의 화소점(예를 들어 50개의 화소점)만큼 이동한 후, 상기 제5 보조선(75)을 생성한다.

이어서 도 9c에 도시된 바와 같이, 판단 모듈(103)은 좌안(53)의 눈가(531)로부터 아래를 향해 좌안(53)과 수직인 제2 보조선(72)을 생성하고, 또한 우안(54)의 눈가(541)로부터 아래를 향해 우안(54)과 수직인 제6 보조선(76)을 생성한다. 또한 도 9d에 도시된 바와 같이, 판단 모듈(103)은 추가적으로 좌안(53)의 눈꼬리(532)로부터 아래를 향해 좌안(53)과 수직인 제3 보조선(73)을 생성하고, 또한 우안(54)의 눈꼬리(542)로부터 아래를 향해 우안(54)과 수직인 제7 보조선(77)을 생성한다.

이어서 도 9e에 도시된 바와 같이, 판단 모듈(103)은 상기 코(52)의 중간점(523)으로부터 좌측을 향해 좌안(53)과 평행한 제4 보조선(74)을 생성하고, 또한 중간점(523)으로부터 우측을 향해 우안(54)과 평행한 제8 보조선(78)을 생성한다. 이에 따라, 판단 모듈(103)은 상기 제1 보조선(71), 제2 보조선(72), 제3 보조선(73) 및 제4 보조선(74)으로 좌측 메이크업 파운데이션(81)의 위치를 구성하고, 또한 상기 제5 보조선(75), 제6 보조선(76), 제7 보조선(77) 및 제8 보조선(78)으로 우측 메이크업 파운데이션(82)의 위치를 구성할 수 있다.

앞에서 설명한 바와 같이, 일 실시예에서, 분석장치(1)는 주로 사용자의 현재의 메이크업 파운데이션의 영상을 획득하여, 사용자가 선택한 비교 영상(예를 들어 증강현실 영상)과 비교함으로써 사용자의 현재의 메이크업 파운데이션 상황을 판단 및 디스플레이한다. 계속 도 10을 참조하면, 본 발명의 제1 구체적인 실시예의 사전설정 수치 분석 흐름도이다. 도 10은 상기 사전설정 색상 수치 및 사전설정 표준차에 대해 추가적으로 설명하기 위한 것이다.

구체적으로, 본 실시예에서, 분석장치(1)는 처리유닛(10)을 통해 상기 복수의 비교 영상 중의 하나를 독취한다(단계 S70). 이어서, 위치결정 모듈(102)을 통해 선택된 비교 영상에 대해 위치결정을 수행하여 비교 영상 중의 얼굴부 영상의 코, 좌안 및 우안의 위치를 획득하고, 다시 판단 모듈(103)이 상기 위치를 분석하여 좌측 메이크업 파운데이션 영상과 우측 메이크업 파운데이션 영상을 획득한다(단계 S72). 본 실시예에서, 처리유닛(10)이 단계 S70에서 독취한 비교 영상은 적어도 코 영상, 좌안 영상 및 우안 영상을 포함하는 얼굴부 영상 또는 얼굴부의 국부 영상이다.

이어서, 처리유닛(10)은 분석모듈(104)을 통해 좌측 메이크업 파운데이션 영상과 우측 메이크업 파운데이션 영상을 분석하여, 좌측 메이크업 파운데이션 영상과 우측 메이크업 파운데이션 영상의 평균 색상 수치를 획득하고, 획득된 평균 색상 수치를 상기 사전설정 색상 수치로 삼는다(단계 S74). 이밖에, 처리유닛(10)은 또한 분석 모듈(104)을 통해 좌측 메이크업 파운데이션 영상과 우측 메이크업 파운데이션 영상의 표준차를 획득하고, 획득된 표준차를 상기 사전설정 표준차로 삼는다(단계 S76). 본 실시예에서, 분석 모듈(104)는 관련 기술 중의 하나 또는 다수의 영상 분석 알고리즘을 이용하여, 좌측 메이크업 파운데이션과 우측 메이크업 파운데이션을 통해 상기 사전설정 색상 수치 및 사전설정 표준차를 분석할 수 있다.

본 발명에서, 사용자는 화장 전 먼저 분석장치(1)를 조작하여 분석장치(1)가 디스플레이 모듈(111)에 복수의 비교 영상을 디스플레이하도록 하고, 입력 인터페이스(15)를 통해 그 중 하나를 선택할 수 있다. 이에 따라, 사용자는 화장 전 먼저 미러 스크린(11)을 통해 선택한 비교 영상을 살펴봄으로써, 화장이 완료된 후의 모습을 확인하고, 화장을 실시할 것인지 여부를 결정할 수 있다. 또한, 분석장치(1)는 상기 보조 모드에서 사용자의 현재의 메이크업 파운데이션과 선택된 비교 영상을 비교하므로, 사용자가 비교 영상과 동일한 메이크업 파운데이션을 신속하게 완료할 수 있도록 효과적으로 도움을 줄 수 있다.

계속 도 11을 참조하면, 본 발명의 제3 구체적인 실시예의 분석장치 설명도이다. 앞에서 설명한 바와 같이, 본 발명 중 분석장치(1)는 사용자(5)의 얼굴부 영상을 실시간으로 캡쳐하여, 사용자(5)의 현재의 좌측 메이크업 파운데이션(81)과 우측 메이크업 파운데이션(82) 상황을 분석한다. 또한 분석장치(1)는 사용자(5)의 메이크업 파운데이션(81), (82)와 비교하기 위한 비교 영상(9)을 실시간으로 디스플레이하도록, 미러 스크린(11)에 영상 디스플레이 영역(1111), (1112)을 제공할 수 있다.

구체적으로, 분석장치(1)는 복수의 비교 영상 중 사용자(5)가 비교하기 위해 선택한 비교 영상(9)을 독취하고, 처리를 거친 후(예를 들어 확대 처리), 디스플레이 모듈(111)이 영상 디스플레이 영역(1111), (1112)에 비교 영상(110)을 완전하게 디스플레이하거나, 또는 비교 영상(9)을 좌측 메이크업 파운데이션 위치/우측 메이크업 파운데이션 위치의 클로즈업 영상에 국부적으로 디스플레이하도록 제어한다.

도 11에 도시된 바와 같이, 미러 스크린(11)은 정보 디스플레이 영역(1113)을 더 구비하며, 분석장치(1)는 디스플레이 모듈(111)이 상기 비교 결과(및 제2 비교 결과)를 미러 스크린(11)의 정보 디스플레이 영역(1113)에 디스플레이하도록 제어할 수 있다.

본 실시예에서, 사용자(5)는 미러 스크린(11)을 통해 자신의 얼굴부의 반사 영상을 볼 수 있으며, 또한 정보 디스플레이 영역(1111), (1112)을 통해 비교하기 위한 비교 영상(9)을 볼 수도 있고, 또한 정보 디스플레이 영역(1113)을 통해 현재의 좌측 메이크업 파운데이션(81)/우측 메이크업 파운데이션(82)의 색상과 분포 상황이 표준과 다른지 여부(예를 들어, 디스플레이되는 비교 영상(9)과 다른지 여부)를 알 수 있다.

예를 들어 설명하면, 도 11의 실시예에서, 비교 결과가 현재 좌측 메이크업 파운데이션의 색상 밝기가 비교 영상(9)의 밝기보다 3.1% 낮고, 또한 현재 좌측 메이크업 파운데이션(81) 및 우측 메이크업 파운데이션(82)의 색상 분포율이 모두 매우 평균적이라면, 더 조정할 필요가 없다. 이에 따라, 분석장치(1)는 사용자(5)의 메이크업 파운데이션 화장 동작을 효과적으로 도울 수 있으며, 따라서 사용자(5)의 화장 속도가 빨라지고 화장 효과가 최적화될 수 있다.

본 발명의 분석장치(1) 및 분석방법을 통해, 사용자(5)는 화장 동작을 실시 시, 미러 스크린(11)에서 자신의 얼굴 모습을 볼 수 있는 이외에, 메이크업 파운데이션의 영상 분석을 직접 획득할 수도 있어, 보다 신속하고 보다 완벽하게 화장 동작을 실시할 수 있다.

이상의 설명은 단지 본 발명의 바람직한 구체적인 실시예일뿐, 결코 이에 따라 본 발명의 특허범위가 제한되는 것은 아니며, 따라서 본 발명의 내용을 운용하여 실시되는 등가의 변화는 모두 같은 이치로 본 발명의 범위에 포함된다.

<부호 설명>

1: 인체 정보 분석장치 2: 이동장치

3: 무선 라우터 4: 인터넷

5: 사용자 6: 위치결정점

9: 비교 영상 10: 처리유닛

11: 미러 스크린 12: 영상 캡쳐 모듈

13: 버튼 14: 센서

15: 입력 인터페이스 16: 무선전송 모듈

21: 응용 프로그램 51: 얼굴부

52: 코 53: 좌안

54: 우안 71: 제1 보조선

72: 제2 보조선 73: 제3 보조선

74: 제4 보조선 75: 제5 보조선

76: 제6 보조선 77: 제7 보조선

78: 제8 보조선 81: 좌측 메이크업 파운데이션

82: 우측 메이크업 파운데이션 101: 얼굴 인식 모듈

102: 위치결정 모듈 103: 판단 모듈

104: 분석 모듈 105: 비교 모듈

111: 디스플레이 모듈 521: 콧등

522: 코끝 523: 중간점

531: 눈가 532: 눈꼬리

533: 눈밑 541: 눈가

542: 눈꼬리 543: 눈밑

1111, 1112: 영상 디스플레이 영역 1113: 정보 디스플레이 영역

S10~S36: 분석 단계 S40~S66: 분석 단계

S70~S76: 분석 단계

Claims

인체 정보 분석장치에 응용되는 메이크업 파운데이션 분석방법에 있어서,
a) 상기 인체 정보 분석장치의 영상 캡쳐 모듈로 외부 영상을 캡쳐하는 단계;
b) 상기 인체 정보 분석장치의 처리유닛이 상기 외부 영상으로부터 사람의 얼굴을 인식 시, 상기 얼굴의 각 부위에 대해 위치결정을 수행하는 단계;
c) 단계 b 이후, 상기 얼굴로부터 좌안, 우안 및 코의 위치를 획득하는 단계;
d) 상기 처리유닛이 상기 좌안 및 상기 코의 위치에 따라 상기 얼굴 상의 좌측 메이크업 파운데이션의 화장영역을 판단하고, 다음의 단계들 d1~d8 을 포함하는 단계;
d1) 상기 얼굴로부터 상기 코의 콧등 및 코끝의 위치를 획득하는 단계;
d2) 상기 콧등에서 상기 코끝까지의 중간점을 획득하는 단계;
d3) 상기 얼굴로부터 상기 좌안의 눈가 위치, 눈꼬리 위치 및 눈밑 위치를 획득하는 단계;
d4) 상기 좌안의 눈밑 위치 하방에 상기 좌안과 평행한 제1 보조선을 생성하는 단계;
d5) 상기 좌안의 눈가 위치로부터 아래를 향해 상기 좌안과 수직을 이루는 제2 보조선을 생성하는 단계;
d6) 상기 좌안의 눈꼬리 위치로부터 아래를 향해 상기 좌안과 수직을 이루는 제3 보조선을 생성하는 단계;
d7) 상기 코의 상기 중간점으로부터 좌측을 향해 상기 좌안과 평행한 제4 보조선을 생성하는 단계;
d8) 상기 제1 보조선, 상기 제2 보조선, 상기 제3 보조선 및 상기 제4 보조선으로 상기 좌측 메이크업 파운데이션의 화장영역을 구성하는 단계;
e) 상기 처리유닛이 상기 우안 및 상기 코의 위치에 따라 상기 얼굴 상의 우측 메이크업 파운데이션의 화장영역을 판단하고, 다음의 단계들 e1~e6 을 포함하는 단계;
e1) 상기 얼굴로부터 상기 우안의 눈가 위치, 눈꼬리 위치 및 눈밑 위치를 획득하는 단계;
e2) 상기 우안의 눈밑 위치 하방에 상기 우안과 평행한 제5 보조선을 생성하는 단계;
e3) 상기 우안의 눈가 위치로부터 아래를 향해 상기 우안과 수직을 이루는 제6 보조선을 생성하는 단계;
e4) 상기 우안의 눈꼬리 위치로부터 아래를 향해 상기 우안과 수직을 이루는 제7 보조선을 생성하는 단계;
e5) 상기 코의 상기 중간점으로부터 우측을 향해 상기 우안과 평행한 제8 보조선을 생성하는 단계;
e6) 상기 제5 보조선, 상기 제6 보조선, 상기 제7 보조선 및 상기 제8 보조선으로 상기 우측 메이크업 파운데이션의 화장영역을 구성하는 단계;
f) 상기 처리유닛이 상기 좌측 메이크업 파운데이션의 화장영역과 우측 메이크업 파운데이션의 화장영역의 평균 색상 수치를 분석하는 단계;
g) 상기 평균 색상 수치를 사전설정 색상 수치와 비교하거나, 또는 상기 좌측 메이크업 파운데이션의 화장영역의 상기 평균 색상 수치를 상기 우측 메이크업 파운데이션의 화장영역의 상기 평균 색상 수치와 상호 비교하여 비교 결과를 생성하는 단계; 및
h) 상기 인체 정보 분석장치의 디스플레이 모듈로 상기 비교 결과를 디스플레이하는 단계를 포함하는 메이크업 파운데이션 분석방법.
제1항에 있어서,
단계 d4에서 상기 좌안의 상기 눈밑 위치로부터 아래를 향해 50개의 화소점만큼 이동하여 상기 제1 보조선을 생성하고, 단계 e2에서 상기 우안의 상기 눈밑 위치로부터 아래를 향해 50개의 화소점만큼 이동하여 상기 제5 보조선을 생성하는 메이크업 파운데이션 분석방법.
제1항에 있어서, 단계 g 이전에,
g01) 얼굴부 영상인 비교 영상을 독취하는 단계;
g02) 상기 얼굴부 영상에 대해 위치결정 및 분석을 수행하여 좌측 메이크업 파운데이션 영상과 우측 메이크업 파운데이션 영상을 획득하는 단계;
g03) 상기 좌측 메이크업 파운데이션 영상과 상기 우측 메이크업 파운데이션 영상의 평균 색상 수치를 분석하여 상기 사전설정 색상 수치로 삼는 단계를 더 포함하는 메이크업 파운데이션 분석방법.
제1항에 있어서,
i1) 상기 인체 정보 분석장치가 켜졌는지 여부를 판단하는 단계; 및
i2) 상기 인체 정보 분석장치가 켜지기 전, 단계 b 내지 단계 h를 반복 실행하는 단계를 더 포함하는 메이크업 파운데이션 분석방법.
제1항에 있어서,
j1) 상기 비교 결과가 화장 완성 표준에 부합되는지 여부를 판단하는 단계; 및
j2) 상기 비교결과가 상기 화장 완성 표준에 부합하기 전, 단계 b 내지 단계 h를 반복 실행하는 단계를 더 포함하는 메이크업 파운데이션 분석방법.
제1항에 있어서,
k) 상기 처리유닛이 상기 좌측 메이크업 파운데이션의 화장영역과 상기 우측 메이크업 파운데이션의 화장영역의 표준차(Standard Deviation, SD)를 분석하는 단계;
l) 상기 표준차를 사전설정 표준차와 비교하거나, 또는 상기 좌측 메이크업 파운데이션의 화장영역의 상기 표준차를 상기 우측 메이크업 파운데이션의 화장영역의 상기 표준차와 상호 비교하여, 제2 비교 결과를 생성하는 단계; 및
m) 상기 디스플레이 모듈에 상기 제2 비교 결과를 디스플레이하는 단계를 더 포함하는 메이크업 파운데이션 분석방법.
제6항에 있어서, 단계 l 이전에
l01) 얼굴부 영상인 비교 영상을 독취하는 단계;
l02) 상기 얼굴부 영상에 대해 위치결정 및 분석을 수행하여 좌측 메이크업 파운데이션 영상과 우측 메이크업 파운데이션 영상을 획득하는 단계;
l03) 상기 좌측 메이크업 파운데이션 영상과 상기 우측 메이크업 파운데이션 영상의 표준차를 분석하여 상기 사전설정 표준차로 삼는 단계를 더 포함하는 메이크업 파운데이션 분석방법.
인체 정보 분석장치에 있어서,
외부 영상을 캡쳐하기 위한 영상 캡쳐 모듈;
디스플레이 모듈; 및
상기 영상 캡쳐 모듈 및 상기 디스플레이 모듈과 전기적으로 연결되며, 상기 외부 영상을 식별하여, 상기 외부 영상으로부터 사람의 얼굴이 식별되었을 때 상기 얼굴의 각 부위에 대해 위치결정을 수행하고, 상기 얼굴로부터 좌안, 우안 및 코의 위치를 획득하기 위한 처리유닛;을 포함하며,
상기 처리유닛은 상기 좌안 및 상기 코의 위치에 따라 상기 얼굴 상의 좌측 메이크업 파운데이션의 화장영역을 판단하고, 상기 우안 및 상기 코의 위치에 따라 상기 얼굴 상의 우측 메이크업 파운데이션의 화장영역을 판단하며, 또한 상기 좌측 메이크업 파운데이션의 화장영역과 상기 우측 메이크업 파운데이션의 화장영역의 평균 색상 수치를 분석하고, 상기 평균 색상 수치를 사전설정 색상 수치와 비교하거나, 또는 상기 좌측 메이크업 파운데이션의 화장영역의 상기 평균 색상 수치를 상기 우측 메이크업 파운데이션의 화장영역의 상기 평균 색상 수치와 상호 비교하여 비교 결과를 생성하며;
상기 처리유닛은
상기 얼굴로부터 상기 코의 콧등 및 코끝의 위치를 획득하는 단계;
상기 콧등에서 상기 코끝까지의 중간점을 획득하는 단계;
상기 얼굴로부터 상기 좌안의 눈가 위치, 눈꼬리 위치 및 눈밑 위치를 획득하는 단계;
상기 좌안의 눈밑 위치 하방에 상기 좌안과 평행한 제1 보조선을 생성하는 단계;
상기 좌안의 눈가 위치로부터 아래를 향해 상기 좌안과 수직을 이루는 제2 보조선을 생성하는 단계;
상기 좌안의 눈꼬리 위치로부터 아래를 향해 상기 좌안과 수직을 이루는 제3 보조선을 생성하는 단계;
상기 코의 상기 중간점으로부터 좌측을 향해 상기 좌안과 평행한 제4 보조선을 생성하는 단계;
상기 제1 보조선, 상기 제2 보조선, 상기 제3 보조선 및 상기 제4 보조선으로 상기 좌측 메이크업 파운데이션의 화장영역을 구성하는 단계'
상기 얼굴로부터 상기 우안의 눈가 위치, 눈꼬리 위치 및 눈밑 위치를 획득하는 단계;
상기 우안의 눈밑 위치 하방에 상기 우안과 평행한 제5 보조선을 생성하는 단계;
상기 우안의 눈가 위치로부터 아래를 향해 상기 우안과 수직을 이루는 제6 보조선을 생성하는 단계;
상기 우안의 눈꼬리 위치로부터 아래를 향해 상기 우안과 수직을 이루는 제7 보조선을 생성하는 단계;
상기 코의 상기 중간점으로부터 우측을 향해 상기 우안과 평행한 제8 보조선을 생성하는 단계;
상기 제5 보조선, 상기 제6 보조선, 상기 제7 보조선 및 상기 제8 보조선으로 상기 우측 메이크업 파운데이션의 화장영역을 구성하는 단계;
를 수행하여, 상기 좌측 메이크업 파운데이션의 화장영역과 상기 우측 메이크업 파운데이션의 화장영역을 결정하고,
상기 디스플레이 모듈이 상기 비교 결과를 디스플레이하는 인체 정보 분석장치.
제8항에 있어서, 상기 처리유닛은
상기 외부 영상을 식별하여 상기 외부 영상 중 상기 사람의 얼굴이 존재하는지 여부를 판단하는 얼굴 인식 모듈;
상기 얼굴의 각 부위에 대해 위치결정을 수행하여, 상기 좌안, 상기 우안 및 상기 코의 위치를 획득하는 위치결정 모듈;
상기 좌측 메이크업 파운데이션의 화장영역 및 상기 우측 메이크업 파운데이션의 화장영역을 판단하는 판단 모듈;
알고리즘을 통해 상기 좌측 메이크업 파운데이션의 화장영역의 상기 평균 색상 수치 및 상기 우측 메이크업 파운데이션의 화장영역의 상기 평균 색상 수치를 분석하는 분석 모듈; 및
상기 평균 색상 수치를 상기 사전설정 색상 수치와 비교하거나, 또는 상기 좌측 메이크업 파운데이션의 화장영역의 상기 평균 색상 수치를 상기 우측 메이크업 파운데이션의 화장영역의 상기 평균 색상 수치와 상호 비교하여 상기 비교 결과를 생성하는 비교 모듈을 포함하는 인체 정보 분석장치.
제9항에 있어서,
상기 처리유닛은 비교 영상을 독취하고, 상기 비교 영상을 분석하여 좌측 메이크업 파운데이션 영상과 우측 메이크업 파운데이션 영상을 획득하며, 또한 상기 분석 모듈이 상기 좌측 메이크업 파운데이션 영상과 상기 우측 메이크업 파운데이션 영상을 분석함으로써, 각각 상기 좌측 메이크업 파운데이션 영상과 상기 우측 메이크업 파운데이션 영상의 평균 색상 수치를 획득하여 상기 사전 설정 색상 수치로 삼도록 제어하며, 상기 비교 영상은 얼굴부 영상인 인체 정보 분석장치.
제9항에 있어서,
상기 처리유닛은 상기 분석 모듈이 상기 좌측 메이크업 파운데이션의 화장영역과 상기 우측 메이크업 파운데이션의 화장영역의 표준차(Standard Deviation, SD)를 분석하고, 또한 상기 표준차를 사전설정 표준차와 비교하도록 제어하거나, 또는 상기 좌측 메이크업 파운데이션의 화장영역의 상기 표준차를 상기 우측 메이크업 파운데이션의 화장영역의 상기 표준차와 상호 비교하여 제2 비교 결과를 생성하도록 제어하고, 상기 디스플레이 모듈이 상기 제2 비교 결과를 디스플레이하도록 제어하는 인체 정보 분석장치.
제11항에 있어서,
상기 처리유닛은 비교 영상을 독취하고, 상기 비교 영상을 분석하여 좌측 메이크업 파운데이션 영상과 우측 메이크업 파운데이션 영상을 획득하며, 또한 상기 분석 모듈이 상기 좌측 메이크업 파운데이션 영상과 상기 우측 메이크업 파운데이션 영상을 분석함으로써, 각각 상기 좌측 메이크업 파운데이션 영상과 상기 우측 메이크업 파운데이션 영상의 표준차를 획득하여 상기 사전설정 표준차로 삼도록 제어하며, 상기 비교 영상은 얼굴부 영상인 인체 정보 분석장치.
삭제
삭제
삭제