KR20200101195A

KR20200101195A - 전자 장치 및 그 제어 방법

Info

Publication number: KR20200101195A
Application number: KR1020190019498A
Authority: KR
Inventors: 이지아; 윤석영; 한지민; 김계윤; 우승현
Original assignee: 현대자동차주식회사; 기아자동차주식회사
Priority date: 2019-02-19
Filing date: 2019-02-19
Publication date: 2020-08-27
Also published as: US11147488B2; US20200261008A1

Abstract

사용자의 피부에 부착되어 측정된 생체 신호에 기초하여 사용자의 감정을 판단하고, 판단된 감정에 대응하는 영상을 표시하는 전자 장치 및 그 제어 방법을 제공한다.
일 실시예에 따른 전자 장치는, 사용자의 피부와 접착하는 접착부, 상기 사용자의 생체 신호를 측정하는 생체 신호 센서 및 디스플레이부를 포함하는 피부 부착형 장치; 및 상기 피부 부착형 장치와 연결되고, 상기 생체 신호 센서로부터 획득된 생체 신호에 기초하여 상기 사용자의 감정을 판단하고, 상기 판단된 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.

Description

전자 장치 및 그 제어 방법{ELECTRONIC DEVICE AND CONTROL METHOD FOR THE SAME}

본 발명은 사용자의 피부에 부착되어 영상을 출력하는 전자 장치 및 그 제어 방법에 관한 것이다.

최근에는 사용자가 착용할 수 있는 웨어러블 디바이스(wearable device)와 같은 소형화된 전자 장치에 대한 개발이 활발히 진행되고 있다.

그 중에서도 사용자의 피부에 부착할 수 있는 전자 장치 일명, 스킨 전자 장치(skin electronics)에 대한 개발이 활발히 진행되고 있으며, 이러한 스킨 전자 장치는, 사용자의 피부에 부착되어 사용자의 생체 신호를 측정하거나, 특정 영상을 출력할 수 있다.

사용자의 피부에 부착되어 측정된 생체 신호에 기초하여 사용자의 감정을 판단하고, 판단된 감정에 대응하는 영상을 표시하는 전자 장치 및 그 제어 방법을 제공한다.

일 실시예에 따른 전자 장치는, 사용자의 피부와 접착하는 접착부, 상기 사용자의 생체 신호를 측정하는 생체 신호 센서 및 디스플레이부를 포함하는 피부 부착형 장치; 및 상기 피부 부착형 장치와 연결되고, 상기 생체 신호 센서로부터 획득된 생체 신호에 기초하여 상기 사용자의 감정을 판단하고, 상기 판단된 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.

상기 디스플레이부는, 발열 회로; 및 상기 발열 회로 상에 마련되며 적어도 하나의 시온 안료를 포함하는 시온 안료층;을 포함할 수 있다.

상기 제어부는, 상기 판단된 감정에 대응하는 색상을 결정하고, 상기 결정된 색상에 대응하는 온도로 발열하도록 상기 발열 회로를 제어할 수 있다.

상기 제어부는, 상기 판단된 감정에 대응하는 패턴을 결정하고, 상기 결정된 패턴에 대응하는 영역에서 발열하도록 상기 발열 회로를 제어할 수 있다.

상기 제어부는, 상기 판단된 감정에 대응하는 얼굴 표정을 결정하고, 상기 결정된 얼굴 표정에서의 신체 부위 별 특징에 기초하여 신체 부위 각각에 대한 패턴을 결정하고, 상기 결정된 패턴 중 상기 피부 부착형 장치가 부착된 신체 부위에 대응하는 패턴을 표시하도록 상기 디스플레이부를 제어할 수 있다.

상기 피부 부착형 장치는, 복수로 마련되어 각각 서로 다른 신체 부위에 부착될 수 있다.

상기 전자 장치는, 상기 사용자의 주변에 대한 영상 데이터를 획득하는 카메라;를 더 포함할 수 있다.

상기 제어부는, 상기 영상 데이터 상에 포함된 대상체의 영상 데이터에 기초하여 상기 대상체의 얼굴 표정 및 행동 중 적어도 하나를 판단하고, 상기 판단된 얼굴 표정 및 행동 중 적어도 하나에 기초하여 상기 대상체의 감정을 판단할 수 있다.

상기 제어부는, 상기 대상체의 감정에 대응하는 피드백 감정을 결정하고, 상기 결정된 피드백 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하도록 상기 디스플레이부를 제어할 수 있다.

상기 제어부는, 상기 대상체의 감정에 대해 신경망(neural network)을 통한 연산을 수행하고, 상기 신경망을 통한 연산 수행에 따른 정보에 기초하여 상기 대상체의 감정에 대응하는 피드백 감정을 결정할 수 있다.

상기 제어부는, 상기 대상체의 영상 데이터에 기초하여 상기 결정된 피드백 감정에 대응하는 색상 및 패턴 중 적어도 하나의 표시에 대한 상기 대상체의 감정 변화를 판단하고, 상기 결정된 피드백 감정 및 상기 대상체의 감정 변화에 기초하여 상기 신경망을 갱신할 수 있다.

사용자의 피부와 접착하는 접착부, 상기 사용자의 생체 신호를 측정하는 생체 신호 센서 및 디스플레이부를 포함하는 피부 부착형 장치를 포함하는 일 실시예에 따른 전자 장치의 제어 방법은, 상기 생체 신호 센서로부터 획득된 생체 신호에 기초하여 상기 사용자의 감정을 판단하고; 상기 판단된 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하도록 상기 디스플레이부를 제어하는 것;을 포함한다.

상기 디스플레이부를 제어하는 것은, 상기 판단된 감정에 대응하는 색상을 결정하고; 상기 결정된 색상에 대응하는 온도로 발열하도록 상기 발열 회로를 제어하는 것;을 포함할 수 있다.

상기 디스플레이부를 제어하는 것은, 상기 판단된 감정에 대응하는 패턴을 결정하고; 상기 결정된 패턴에 대응하는 영역에서 발열하도록 상기 발열 회로를 제어하는 것;을 포함할 수 있다.

상기 디스플레이부를 제어하는 것은, 상기 판단된 감정에 대응하는 얼굴 표정을 결정하고; 상기 결정된 얼굴 표정에서의 신체 부위 별 특징에 기초하여 신체 부위 각각에 대한 패턴을 결정하고; 상기 결정된 패턴 중 상기 피부 부착형 장치가 부착된 신체 부위에 대응하는 패턴을 표시하도록 상기 디스플레이부를 제어하는 것;을 포함할 수 있다.

상기 전자 장치의 제어 방법은, 상기 영상 데이터 상에 포함된 대상체의 영상 데이터에 기초하여 상기 대상체의 얼굴 표정 및 행동 중 적어도 하나를 판단하고; 상기 판단된 얼굴 표정 및 행동 중 적어도 하나에 기초하여 상기 대상체의 감정을 판단하는 것;을 더 포함할 수 있다.

상기 전자 장치의 제어 방법은, 상기 대상체의 감정에 대응하는 피드백 감정을 결정하고; 상기 결정된 피드백 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하도록 상기 디스플레이부를 제어하는 것;을 더 포함할 수 있다.

상기 피드백 감정을 결정하는 것은, 상기 대상체의 감정에 대해 신경망(neural network)을 통한 연산을 수행하고; 상기 신경망을 통한 연산 수행에 따른 정보에 기초하여 상기 대상체의 감정에 대응하는 피드백 감정을 결정하는 것;을 포함할 수 있다.

상기 전자 장치의 제어 방법은, 상기 대상체의 영상 데이터에 기초하여 상기 결정된 피드백 감정에 대응하는 색상 및 패턴 중 적어도 하나의 표시에 대한 상기 대상체의 감정 변화를 판단하고; 상기 결정된 피드백 감정 및 상기 대상체의 감정 변화에 기초하여 상기 신경망을 갱신하는 것;을 더 포함할 수 있다.

일 측면에 따른 전자 장치 및 그 제어 방법에 따르면, 사용자의 피부에 부착되어 측정된 생체 신호에 기초하여 사용자의 감정을 판단하고, 판단된 감정에 대응하는 영상을 표시함으로써, 사용자의 감정을 보다 명확하게 표시할 수 있는 전자 장치 및 그 제어 방법을 제공한다.

도 1은 일 실시예에 따른 전자 장치의 제어블록도이다.
도 2는 일 실시예에 따른 전자 장치의 외관도이다.
도 3은 일 실시예에 따른 디스플레이부의 분해도이다.
도 4는 일 실시예에 따른 생체 신호와 감정 인자 간의 상관관계 정보를 나타내는 도면이다.
도 5는 일 실시예에 따른 얼굴 표정과 감정 인자 간의 상관관계 정보를 나타내는 도면이다.
도 6은 일 실시예에 따른 감정 모델을 나타내는 도면이다.
도 7은 일 실시예에 따른 감정에 대응하는 색상 및 패턴에 대한 정보를 나타내는 도면이다.
도 8은 일 실시예에 따른 전자 장치가 판단된 사용자의 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하는 경우를 나타내는 도면이다.
도 9는 일 실시예에 따른 전자 장치가 판단된 사용자의 감정에서의 얼굴 표정에 대응하는 패턴을 표시하는 경우를 나타내는 도면이다.
도 10은 일 실시예에 따른 대상체의 감정에 대응하는 피드백 감정에 대한 정보를 나타내는 도면이다.
도 11은 일 실시예에 따른 전자 장치의 제어방법 중 생체 신호에 기초하여 판단된 감정에 대응하는 영상을 표시하는 경우를 도시한 순서도이다.
도 12는 일 실시예에 따른 전자 장치의 제어방법 중 대상체의 감정에 기초하여 피드백 감정에 대응하는 영상을 표시하는 경우를 도시한 순서도이다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.

또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.

또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 상기 용어들은 FPGA(field-programmable gate array) / ASIC(application specific integrated circuit) 등 적어도 하나의 하드웨어, 메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다.

각 단계들에 붙여지는 부호는 각 단계들을 식별하기 위해 사용되는 것으로 이들 부호는 각 단계들 상호 간의 순서를 나타내는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.

이하에서는 첨부된 도면을 참조하여 일 측면에 따른 전자 장치 및 그 제어 방법에 관한 실시예를 상세하게 설명하도록 한다.

도 1은 일 실시예에 따른 전자 장치의 제어블록도이고, 도 2는 일 실시예에 따른 전자 장치의 외관도이고, 도 3은 일 실시예에 따른 디스플레이부의 분해도이다.

도 1을 참조하면, 일 실시예에 따른 전자 장치(10)는, 사용자의 피부에 부착되어 사용자의 생체 신호를 측정하고, 영상을 출력할 수 있는 피부 부착형 장치(110), 사용자의 주변을 촬영할 수 있는 카메라(120) 및 생체 신호에 기초하여 사용자의 감정을 판단하고, 판단된 감정에 대응하는 영상을 출력하도록 피부 부착형 장치(110)를 제어하는 제어부(130)를 포함할 수 있다.

일 실시예에 따른 전자 장치(10)는, 도 2에 도시된 바와 같이, 피부 부착형 장치(110) 및 제어부(130)가 별도의 모듈로 마련될 수 있다.

구체적으로, 피부 부착형 장치(110)는, 적어도 하나로 마련되어, 피부에 부착될 수 있다.

또한, 제어부(130)는, 피부 부착형 장치(110)와 별도로 마련된 본체에 포함될 수 있으며, 사용자가 착용할 수 있는 웨어러블 디바이스(wearable device)에 마련될 수 있다. 예를 들어, 제어부(130)의 본체는, 사용자의 머리에 착용될 수 있는 머리핀의 형태 및 사용자가 착용할 수 있는 안경의 형태 등으로 마련될 수 있다.

즉, 제어부(130)는, 일종의 제어 장치에 해당할 수 있으며, 피부 부착형 장치(110)로부터 수신된 정보를 수집하여 처리하는 프로세서(131) 및 프로세서(131)의 처리에 필요한 각종 정보 및 처리 결과를 저장하는 메모리(132)를 포함할 수 있다.

이 때, 제어부(130)는, 통신 모듈을 통하여, 적어도 하나의 피부 부착형 장치(110)와 유선 통신 또는 무선 통신을 수행할 수 있으며, 이를 통해, 상호 간에 데이터를 송수신할 수 있다.

이를 위해, 피부 부착형 장치(110) 및 제어부(130)는, 도1에 도시된 구성 외에 통신 모듈을 더 포함할 수 있다. 이 때, 피부 부착형 장치(110)에 포함된 통신 모듈은, 필름(Film) 형태로 마련될 수 있다.

통신 모듈은, 무선 통신을 위하여, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, GNSS 모듈, NFC 모듈 및 RF 모듈 등을 포함할 수 있다. 또한, 피부 부착형 장치(110) 및 제어부(130) 각각의 통신 모듈은, 유선 통신을 위하여, 통신 케이블을 통하여 연결될 수도 있다.

일 실시예에 따른 피부 부착형 장치(110)는, 도 1 및 도 2에 도시된 바와 같이, 사용자의 피부와 접착하는 접착부(111), 사용자의 생체 신호를 측정하는 생체 신호 센서(112) 및 제어부(130)의 제어에 따라 영상을 출력하는 디스플레이부(113)를 포함한다.

접착부(111), 생체 신호 센서(112) 및 디스플레이부(113)는, 각각 필름형으로 마련되며, 피부 부착형 장치(110)에 포함되어 상호간에 층을 형상할 수 있다.

구체적으로, 피부 부착형 장치(110)는, 접착부(111)를 포함하는 층, 접착부(111)를 포함하는 층 상에 마련되는 생체 신호 센서(112)를 포함하는 층 및 생체 신호 센서(112)를 포함하는 층 상에 마련되는 디스플레이부(113)를 포함하는 층을 포함할 수 있다.

일 실시예에 따른 접착부(111)는, 사용자의 피부에 직접 접촉하여 사용자의 피부에 접착하는 접착 물질을 포함할 수 있다. 즉, 접착부(111)는, 사용자의 피부에 탈부착이 가능한 접착제 필름에 해당할 수 있다.

예를 들어, 접착부(111)는, 실크 고분자를 이용한 실크 전도성 접착제 필름에 해당할 수 있다. 다만, 접착부(111)가 상기 예에 한정되는 것은 아니며, 사용자의 피부에 탈부착이 가능한 물질로 구성된 접착제 필름에 해당하면 접착부(111)에 제한없이 포함될 수 있다.

일 실시예에 따른 생체 신호 센서(112)는, 사용자의 땀분비량에 따라 달라지는 피부 전기 전도도를 측정하는 전기 피부 반응(galvanic skin response, GSR) 센서, 사용자의 피부 온도를 측정하는 피부 온도(skin temperature) 센서, 사용자의 심장 박동수를 측정하는 심장 박동(heart rate, HR) 센서, 사용자의 뇌파를 측정하는 뇌파(electroencephalogram, EEG) 센서, 사용자의 음성 신호를 측정하는 음성 인식 센서 및 사용자의 혈압을 측정하는 혈압 측정 센서 중 적어도 하나를 포함할 수 있다.

이 때, 생체 신호 센서(112)는, 접착부(111)를 포함하는 층 상에 적층되는 또 다른 층에 포함될 수 있으며, 필름 형태로 마련될 수 있다.

또한, 생체 신호 센서(112)에 포함될 수 있는 센서가 위 센서들로 한정되는 것은 아니며, 사람의 생체 신호를 측정 또는 수집할 수 있는 센서들이 제한없이 포함될 수 있다.

일 실시예에 따른 디스플레이부(113)는, 생체 신호 센서(112)를 포함하는 층 상에 적층되는 또 다른 층에 포함될 수 있으며, 필름 형태로 마련될 수 있다. 즉, 디스플레이부(113)는, 피부에 부착될 수 있는 스킨 디스플레이(skin display)에 해당할 수 있다. 또한, 디스플레이부(113)는, 제어부(130)의 제어에 따라 디스플레이부(113)에 포함된 구성을 제어함으로써 의도하는 영상이 출력되도록 하는 프로세서 및 메모리를 더 포함할 수 있다.

일 실시예에 따른 디스플레이부(113)는, 복수의 LED(light emitting diode)를 포함하며, 복수의 LED는, 어레이를 형성하여 배열될 수 있다. LED는, 예를 들어, 마이크로 LED(micro LED)에 해당할 수 있으며, LED 어레이는, 디스플레이부(113)를 포함하는 층을 형성하는 얇은 고무 시트 상에 임베디드될 수 있다. 이 때, 디스플레이부(113)는, R(red) 발광 소자, G(green) 발광 소자 및 B(blue) 발광 소자를 모두 포함하여, 다양한 색상을 표시할 수 있다.

일 실시예에 따른 디스플레이부(113)는, 도 3에 도시된 바와 같이, 절연층(113-1), 발열 회로(113-2) 및 시온 안료층(113-3)을 포함하여 구성될 수도 있다. 즉, 디스플레이부(113)는, 절연층(113-1), 절연층(113-1) 상에 적층된 발열 회로(113-2)를 포함하는 층 및 발열회로(113-2)를 포함하는 층 상에 적층된 시온 안료층(113-3)을 포함할 수 있다.

이 때, 절연층(113-1)은, 발열 회로(113-2)로부터 출력되는 열이 생체 신호 센서(112) 및 접착부(111)로 전달되는 것을 막으며, 최종적으로 사용자의 피부에 열이 전달되는 것을 막을 수 있다. 이를 위해, 절연층(113-1)은, 절연 물질을 포함할 수 있다.

또한, 발열 회로(113-2)는, 제어부(130)의 제어에 따라, 흐르는 전류에 따라 다양한 온도로 발열할 수 있으며, 발열 회로(113-2) 상의 위치 별로 서로 다른 온도로 발열할 수 있다. 이를 위해, 발열 회로(113-2)는, 위치 별로 서로 개방되어 있는 복수의 회로로 구성될 수 있다.

또한, 시온 안료층(113-3)은, 온도에 따라 색상을 달리하는 시온 안료가 포함될 수 있다. 이 때, 시온 안료층(113-3)은, 기준 온도가 다른 적어도 하나의 시온 안료를 포함하고 있어, 온도에 따라 다양한 색상으로 변할 수 있다. 즉, 시온 안료층(113-3)은, 발열 회로(113-2)의 온도 변화에 기초하여, 다양한 색상 및 패턴을 표시할 수 있다.

이 때, 시온 안료는, 기준 온도를 기준으로 색상이 변하는 마이크로 캡슐을 포함하며, 가역성을 갖고 있다. 구체적으로, 마이크로 캡슐은, 고체 용매를 포함하며, 고체 용매 상에 색을 나타내는 두 물질이 결합되어 있다. 온도가 올라가는 경우, 마이크로 캡슐 상의 고체 용매가 녹아 액체 용매가 되며, 이 경우, 색을 나타내는 두 물질이 분리되어 다른 색상을 나타낼 수 있다. 또한, 기준 온도 이하로 온도가 떨어지는 경우, 마이크로 캡슐 상의 액체 용매가 다시 고체화되어, 색을 나타내는 두 물질이 결합함에 따라 원래 색상으로 돌아올 수 있다.

일 실시예에 따른 카메라(120)는, 사용자의 주변에 대한 영상 데이터를 획득할 수 있다. 이 때, 영상 데이터는, 사용자와 대화를 나누고 있는 상대방 즉, 대상체에 대한 영상 데이터를 포함할 수 있다.

카메라(120)는 복수의 렌즈들 및 이미지 센서를 포함할 수 있다. 이미지 센서는 광을 전기 신호로 변환하는 복수의 포토 다이오드들을 포함할 수 있으며, 복수의 포토 다이오드들이 2차원 매트릭스로 배치될 수 있다.

또한, 카메라(120)는, 실시예에 따라, 제어부(130)가 마련되는 본체 상에 마련될 수 있으며, 실시예에 따라, 별도의 웨어러블 디바이스 상에 마련될 수도 있다. 카메라(120)는, 제어부(130)와 통신 모듈을 통하여 무선 통신 또는 유선 통신을 수행할 수 있으며, 카메라(120)를 통하여 획득된 영상 데이터는, 제어부(130)에 전달될 수 있다.

일 실시예에 따른 제어부(130)는, 생체 신호 센서(112)로부터 획득된 생체 신호에 기초하여 사용자의 감정을 판단하고, 판단된 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하도록 디스플레이부(113)를 제어할 수 있다.

앞서 살펴본 바와 같이, 제어부(130)는, 피부 부착형 장치(110)로부터 수신된 정보를 수집하여 처리하는 프로세서(131) 및 프로세서(131)의 처리에 필요한 각종 정보 및 처리 결과를 저장하는 메모리(132)를 포함할 수 있다.

일 실시예에 따른 프로세서(131)는, 생체 신호 센서(112)로부터 획득된 생체 신호에 기초하여 사용자의 감정을 판단할 수 있다. 생체 신호에 기초하여 사용자의 감정을 판단하는 구성에 대하여는 뒤에서 다시 자세하게 설명하도록 한다.

일 실시예에 따른 프로세서(131)는, 판단된 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하도록 디스플레이부(113)를 제어할 수 있다.

이를 위해, 메모리(132)는, 감정에 대응하는 색상 및 패턴에 대한 정보를 저장하고 있을 수 있으며, 해당 정보는, 설계 단계에서 설정될 수 있다. 예를 들어, 감정에 대응하는 색상 및 패턴에 대한 정보는, 우울에 해당하는 감정에 대응하는 색상 및 패턴 각각이 파란색 및 강우를 형상화한 패턴에 대응함을 나타내는 정보를 포함할 수 있다.

일 실시예에 따른 디스플레이부(113)는, 앞서 살펴본 바와 같이, 복수의 LED로 구성될 수 있다. 이 경우, 디스플레이부(113)는, 프로세서(131)의 제어 신호에 기초하여 복수의 LED 각각을 제어함으로써, 판단된 감정에 대응하는 색상 및 패턴 중 적어도 하나를 출력할 수 있다.

또한, 일 실시예에 따른 디스플레이부(113)는, 앞서 살펴본 바와 같이, 절연층(113-1), 발열 회로(113-2) 및 시온 안료층(113-3)으로 구성될 수 있다.

이 경우, 프로세서(131)는, 판단된 감정에 대응하는 색상을 결정하고, 결정된 색상에 대응하는 온도로 발열하도록 발열 회로(113-2)를 제어할 수 있다.

이를 통해, 발열 회로(113-2) 상의 시온 안료층(113-3)이 결정된 색상으로 변함으로써, 결정된 색상이 디스플레이부(113) 상에 표시될 수 있다.

또한, 프로세서(131)는, 판단된 감정에 대응하는 패턴을 결정하고, 결정된 패턴에 대응하는 영역에서 발열하도록 발열 회로(113-2)를 제어할 수 있다.

이를 통해, 발열 회로(113-2) 상의 시온 안료층(113-3)이 결정된 패턴에 대응하는 영역에서만 변색함으로써, 결정된 패턴이 디스플레이부(113) 상에 표시될 수 있다.

또한, 판단된 감정에 대응하는 패턴은, 실시예에 따라, 판단된 감정에 대응하는 얼굴 표정에 해당할 수 있다.

즉, 일 실시예에 따른 프로세서(131)는, 판단된 감정에 대응하는 얼굴 표정을 결정하고, 결정된 얼굴 표정에서의 신체 부위 별 특징에 기초하여 신체 부위 각각에 대한 패턴을 결정하고, 결정된 패턴 중 피부 부착형 장치(110)가 부착된 신체 부위에 대응하는 패턴을 표시하도록 디스플레이부(113)를 제어할 수 있다.

구체적으로, 프로세서(131)는, 판단된 감정에 기초하여 해당 감정에서의 얼굴 표정을 결정할 수 있다. 이 때, 프로세서(131)는, 메모리(132)에 저장된 감정 및 얼굴 표정 사이의 상관관계에 대한 정보를 이용할 수 있다.

이후, 프로세서(131)는, 얼굴 움직임 부호화 시스템(facial action coding system, FACS)에 기초하여 결정된 얼굴 표정에서의 신체 부위(예: 입, 눈, 눈썹, 눈썹 사이, 이마, 코, 턱 등) 별 특징을 판단하고, 신체 부위 별 특징을 나타내도록 신체 부위 각각에 대한 패턴을 결정할 수 있다.

예를 들어, 사용자의 감정이 우울에 해당하는 감정에 해당하는 것으로 판단된 경우, 프로세서(131)는, 판단된 감정에 대응하는 얼굴 표정이 우울한 얼굴 표정(울상인 얼굴 표정)에 해당하는 것으로 결정할 수 있으며, 결정된 우울한 얼굴 표정에서의 신체 부위 별 특징(예: 입꼬리가 내려감)에 기초하여 신체 부위 각각에 대한 패턴(예: 입꼬리가 내려가는 모습을 형상화한 패턴)을 결정할 수 있다.

이후, 프로세서(131)는, 신체 부위 각각에 대한 패턴 중 피부 부착형 장치(110)가 부착된 신체 부위에 대응하는 패턴을 표시하도록 디스플레이부(113)를 제어할 수 있다.

예를 들어, 프로세서(131)는, 피부 부착형 장치(110)가 입꼬리 주변에 부착된 경우, 신체 부위 각각에 대한 패턴 중 입꼬리에 대응하는 패턴을 표시하도록 피부 부착형 장치(110)의 디스플레이부(113)를 제어할 수 있다.

실시예에 따라, 피부 부착형 장치(110)는, 복수로 마련되어, 사용자의 신체의 다양한 위치에 부착될 수 있다. 이 경우, 각각의 피부 부착형 장치(110)는, 제어부(130)와 통신하여 데이터를 송수신할 수 있다.

프로세서(131)는, 신체 부위 각각에 대한 패턴 중 각각의 피부 부착형 장치(110)가 부착된 신체 부위에 대응하는 패턴을 표시하도록 각각의 피부 부착형 장치(110)의 디스플레이부(113)를 제어할 수 있다.

또한, 일 실시예에 따른 제어부(130)는, 카메라(120)를 통하여 획득된 대상체의 영상 데이터에 기초하여 대상체의 감정을 판단하고, 판단된 감정에 대응하는 피드백 감정을 결정하고, 결정된 피드백 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하도록 피부 부착형 장치(110)를 제어할 수 있다.

이 때, 대상체는, 전자 장치(10)의 사용자와 대화를 주고받는 상대방에 해당할 수 있다.

구체적으로, 프로세서(131)는, 영상 데이터 상에 포함된 대상체의 영상 데이터에 기초하여 대상체의 얼굴 표정 및 행동 중 적어도 하나를 판단하고, 판단된 얼굴 표정 및 행동 중 적어도 하나에 기초하여 대상체의 감정을 판단할 수 있다. 이 때, 프로세서(131)는, 메모리(132)에 저장된 얼굴 표정과 감정 인자 간의 상관관계 정보 및 행동과 감정 인자 간의 상관관계 정보 중 적어도 하나를 이용할 수 있다.

이후, 프로세서(131)는, 대상체의 감정에 대응하는 피드백 감정을 결정할 수 있다. 이 때, 피드백 감정은, 일반적으로 사람이 상대방의 감정에 대응하여 느낄 수 있는 감정에 해당할 수 있으며, 보다 원활한 대화를 위해 표현되어야 할 감정에 해당할 수 있다.

예를 들어, 피드백 감정은, 상대방의 감정이 화남에 해당하는 경우, 미안함의 감정에 해당할 수 있으며, 상대방의 감정이 기쁨에 해당하는 경우, 공감에 따른 기쁨의 감정에 해당할 수 있다.

이를 통해, 전자 장치(10)는, 대화 상대방의 감정에 기초하여 피드백 감정을 결정하고, 이에 대응하는 영상을 제공함으로써, 대화 상대방과의 보다 원활한 대화를 유도할 수 있다. 예를 들어, 감정의 표현에 어려움을 겪는 장애인 또는 어린이 등이 전자 장치(10)를 사용하는 경우, 대화 상대방은, 보다 공감을 느끼며 전자 장치(10)의 사용자와 대화할 수 있다.

이를 위해, 프로세서(131)는, 실시예에 따라, 메모리(132)에 저장된 감정에 따른 피드백 감정에 대한 정보를 이용할 수 있다. 이 경우, 프로세서(131)는, 판단된 대상체의 감정에 기초하여 대응하는 피드백 감정을 결정할 수 있다.

또한, 프로세서(131)는, 실시예에 따라, 신경망을 통하여 피드백 감정을 결정할 수 있다. 구체적으로, 프로세서(131)는, 대상체의 감정에 대해 신경망(neural network)을 통한 연산을 수행하고, 신경망을 통한 연산 수행에 따른 정보에 기초하여 대상체의 감정에 대응하는 피드백 감정을 결정할 수 있다.

이 때, 신경망을 통한 연산 수행에 따른 정보는, 대상체의 감정에 대응하는 피드백 감정에 대한 정보를 포함할 수 있다.

전술한 신경망은 딥 러닝(deep learning)을 수행할 수 있는 신경 구조를 형상화한 기계 학습을 지칭하므로, 신경망의 구성에 해당하는 가중치(weight) 및 바이어스(bias)가 계속적으로 변화하면서 학습의 신뢰도를 향상시킨다.

구체적으로, 전자 장치(10)는, 피드백 감정 및 피드백 감정에 따른 대상체의 감정 변화에 대한 정보에 기초하여 신경망에 포함된 가중치(weight), 바이어스(bias) 및 전달함수(activation function)를 계속적으로 갱신시킴으로써, 신경망의 추론(inference) 결과를 향상시킬 수 있다.

즉, 프로세서(131)는, 대상체의 영상 데이터에 기초하여 결정된 피드백 감정에 대응하는 색상 및 패턴 중 적어도 하나의 표시에 대한 대상체의 감정 변화를 판단하고, 결정된 피드백 감정 및 대상체의 감정 변화에 기초하여 신경망을 갱신할 수 있다.

다시 말해, 전자 장치(10)는, 피드백 감정을 결정하는 경우마다, 결정된 피드백 감정 및 피드백 감정에 따른 대상체의 감정 변화에 대한 정보를 저장할 수 있으며, 저장된 피드백 감정 및 대상체의 감정 변화에 대한 정보에 기초하여 저장된 신경망을 지속적으로 갱신할 수 있다.

한편, 신경망은, 복수의 피드백 감정 및 각 피드백 감정에 따른 대상체의 감정 변화에 대한 정보에 기초하여 학습된 상태로 전자 장치(10)에 전달될 수 있으며, 전자 장치(10)가 외부 서버로부터 복수의 피드백 감정 및 각 피드백 감정에 따른 대상체의 감정 변화에 대한 정보를 수신하고, 수신된 정보에 기초하여 신경망을 학습시킬 수도 있다.

이 때, 신경망은, 컴퓨터 프로그램 형태로 메모리(132)에 저장될 수 있다. 이하에서는 컴퓨터 프로그램의 코딩 형태로 신경망이 처리하는 연산 수행을 설명하지만, 반드시 신경망이 저장된 컴퓨터 프로그램에 한정되는 것은 아니다.

한편, 신경망은, 피드백 감정 및 피드백 감정에 따른 대상체의 감정 변화에 대한 정보를 컨볼루션(convolution)하여 출력되는 특징 맵(features map)을 생성하고, 상기 특징 맵을 신경망으로 입력시키는 CNN(convolution neural network)를 포함할 수 있으나, 이에 한정되는 것은 아니며, RNN(Recurrent Neural Networks)을 포함한 다른 딥 러닝의 알고리즘으로 수행될 수도 있다.

이후, 일 실시예에 따른 프로세서(131)는, 결정된 피드백 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하도록 피부 부착형 장치(110)의 디스플레이부(113)를 제어할 수 있다. 이 때, 프로세서(131)는, 메모리(132)에 저장된 감정에 대응하는 색상 및 패턴에 대한 정보를 이용할 수 있으며, 실시예에 따라, 패턴이 대응하는 감정에서의 얼굴 표정을 나타낼 수 있음을 물론이다.

이와 같이, 제어부(130)는, 전술한 동작 및 후술하는 동작을 수행하는 프로그램이 저장된 적어도 하나의 메모리(132) 및 저장된 프로그램을 실행시키는 적어도 하나의 프로세서(131)를 포함할 수 있다. 메모리(132)와 프로세서(131)가 복수인 경우에, 이들이 하나의 칩에 집적되는 것도 가능하고, 물리적으로 분리된 위치에 마련되는 것도 가능하다.

또한, 메모리(132)는, 각종 정보를 저장하기 위해 캐쉬, ROM(read only memory), PROM(programmable ROM), EPROM(erasable programmable ROM), EEPROM(electrically erasable programmable ROM) 및 플래쉬 메모리(flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(random access memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(hard disk drive, HDD), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나, 이에 한정되지는 않는다.

이하에서는, 전자 장치(10)가, 생체 신호 센서(112)로부터 획득된 생체 신호에 기초하여 사용자의 감정을 판단하는 것 및 카메라(120)로부터 획득된 대상체의 영상 데이터에 기초하여 대상체의 감정을 판단하는 것에 대하여 자세하게 설명하도록 한다.

도 4는 일 실시예에 따른 생체 신호와 감정 인자 간의 상관관계 정보를 나타내는 도면이고, 도 5는 일 실시예에 따른 얼굴 표정과 감정 인자 간의 상관관계 정보를 나타내는 도면이고, 도 6은 일 실시예에 따른 감정 모델을 나타내는 도면이다.

도 4를 참조하면, 일 실시예에 따른 생체 신호와 감정 인자 간의 상관관계 정보(400)는, 전기 피부 반응(GSR) 및 뇌파(EEG)와 감정 인자간의 상관관계 정보를 포함할 수 있다.

도 4에 도시된 바와 같이, GSR 신호는 혐오스러운(Disgust) 감정 인자나 화난(Anger) 감정 인자와의 상관관계 값이 각각 0.875, 0.775로, 혐오스러운 감정 인자나 화난 감정 인자와 높은 관련성을 갖는 것을 알 수 있다. 따라서, GSR 센서에 의해 수집된 사용자의 생체 신호는, 사용자의 감정이 화난 감정 또는 혐오스러운 감정이라고 판단할 수 있는 기초가 된다.

즐거운(Joy) 감정 인자의 경우 GSR 신호와의 상관 관계 값이 상대적으로 낮은 값(0.353)이므로, 즐거운 감정 인자는 GSR 신호와 관련성이 적다고 할 수 있다.

EEG 신호는, 화난 감정 인자나 두려운(Fear) 감정 인자와의 상관관계 값이 각각 0.864, 0.878로, 다른 감정 인자보다 화난 감정 인자나 두려운 감정 인자와 높은 관련성을 가지고 있음을 알 수 있다. 따라서, EEG 센서에 의해 수집된 생체 신호는, 사용자의 감정이 화난 감정이나 두려운 감정이라고 판단할 수 있는 기초가 된다.

이와 같이, 제어부(130)의 프로세서(131)는, 생체 신호와 감정 인자 간 상관관계 정보(400)를 이용하여 사용자 각각의 감정 상태에 대한 정보를 획득할 수 있다. 도 4에 도시된 정보들은 실험에 의해 나타난 결과일 뿐이므로, 실험 환경에 따라 다양하게 나타날 수 있다.

또한, 도 4는, 전기 피부 반응(GSR) 및 뇌파(EEG)와 감정 인자간의 상관관계 정보만을 도시하였으나, 생체 신호와 감정 인자 간 상관관계 정보(400)는 전자 장치(10)에 마련되는 센서로부터 측정되는 생체 신호의 종류에 따라 각 생체 신호와 감정 인자 간 상관관계 정보를 포함할 수 있다.

도 5을 참조하면, 일 실시예에 따른 제어부(130)는, 카메라(120)에 의해 촬영된 대상체의 영상에 나타내는 대상체의 얼굴 표정을 판단할 수 있으며, 대상체 각각의 얼굴 표정에 얼굴 움직임 부화화 시스템(facial action coding system, FACS)을 적용하여 대상체의 감정에 대한 정보를 획득할 수 있다.

구체적으로, 제어부(130)의 프로세서(131)는, 대상체의 얼굴에서 특징점을 추출하고, 추출된 특징점을 이용하여 복수의 얼굴요소를 추출할 수 있다. 복수의 얼굴요소는 눈썹, 눈, 코, 입 등을 포함할 수 있다. 프로세서(131)는, 추출된 복수의 얼굴요소 각각에 대한 패턴을 조합하고, 조합된 패턴을 메모리(132)에 저장된 얼굴 표정과 감정 인자 간의 상관관계 정보(500)와 비교할 수 있다. 얼굴 표정과 감정 인자 간의 상관관계 정보(500)는 얼굴 표정과 감정과의 관계를 나타내는 정보에 해당한다.

프로세서(131)는, 얼굴 표정과 감정 인자 간의 상관관계 정보(500) 중 대상체의 조합된 패턴과 동일한 패턴 또는 가장 유사한 패턴에 대응하는 얼굴 표정을 대상체의 얼굴 표정으로 판단할 수 있다.

또한, 프로세서(131)는, 판단된 대상체의 얼굴 표정에 대한 얼굴 표정과 감정 인자 간의 상관관계 정보(500) 상의 상관관계 값을 고려하여 대상체의 감정에 대한 정보를 획득할 수 있다.

예를 들어, 프로세서(131)는, 대상체의 판단된 표정이 얼굴 표정과 감정 인자 간의 상관관계 정보(500) 상의 표정 2에 해당하는 경우 상관관계 값이 가장 높은 즐거운 감정이 대상체의 감정에 해당하는 것으로 판단할 수 있다.

도 5에 도시된 얼굴 표정과 감정 인자 간의 상관관계 정보(500)는, 표정 1, 표정 2 및 표정 3만을 도시하고 있으나, 대상체의 감정을 분류할 수 있는 얼굴 표정이면 제한 없이 포함할 수 있다.

또한, 프로세서(131)는, 판단된 대상체의 행동 및 메모리(132)에 저장된 행동과 감정 인자 간의 상관관계 정보(미도시) 상의 상관관계 값을 고려하여 대상체의 감정에 대한 정보를 획득할 수 있다.

이와 같이, 제어부(130)는 카메라(120)로 촬영된 대상체의 영상 데이터를 분석하여 사용자의 대화 상대방에 해당하는 대상체의 얼굴 표정 및 행동 중 적어도 하나를 판단하고, 판단된 얼굴 표정 및 행동 중 적어도 하나에 기초하여 대상체의 감정을 판단할 수 있다.

도 6을 참조하면, 감정 모델(600)은, 사용자에 대한 생체 신호에 따라 나타나는 사용자의 감정 및 대상체에 대한 영상 데이터에 따라 나타내는 대상체의 감정을 그래프 상에 분류해 놓은 것이다.

감정 모델(600)은, 미리 설정된 감정축을 기준으로 사용자 또는 대상체의 감정을 분류한다. 감정축은 대상체에 대한 영상 데이터 또는 사용자의 생체 신호에 의해 측정된 감정을 기준으로 정해질 수 있다. 예를 들면, 감정축1은 사용자의 음성으로 측정 가능한 긍정도 또는 부정도가 될 수 있고, 감정축2는 GSR이나 EEG로 측정 가능한 흥분도 또는 활성도가 될 수 있다.

사용자 또는 대상체의 감정이 높은 긍정도와 높은 흥분도를 갖는 경우, 해당 감정은 감정1 또는 감정2로 분류될 수 있다. 반대로 사용자 또는 대상체의 감정이 음(-)의 긍정도 즉, 부정도를 갖고 높은 흥분도를 갖는 경우, 해당 감정은 감정3 또는 감정4로 분류될 수 있다.

이러한 감정 모델은 러셀(Russell)의 감정 모델일 수 있다. 러셀(Russell)의 감정 모델은, x축과 y축 기반의 2차원 그래프로 표시되며, 기쁨(0도), 흥분(45도), 각성(90도), 고통(135도), 불쾌(180 도), 우울(225도), 졸림(270도), 이완(315도) 위치의 8개 영역으로 감정을 구분한다. 또한, 8개 영역은 총 28개 감정으로 구분되어 있으며 8개 영역에 속하는 유사 감정들로 분류되어 있다.

이와 같이, 프로세서(131)는, 사용자에 대한 생체 신호, 대상체에 대한 영상 데이터, 생체 신호와 감정 인자 간 상관관계 정보(400), 얼굴 표정과 감정 인자 간의 상관관계 정보(500) 및 감정 모델(600)을 이용하여 사용자 또는 대상체의 감정을 판단할 수 있다.

이하에서는, 일 실시예에 따른 전자 장치(10)가, 판단된 사용자의 감정에 기초하여 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하도록 디스플레이부(113)를 제어하는 경우에 대하여 자세하게 설명한다.

도 7은 일 실시예에 따른 감정에 대응하는 색상 및 패턴에 대한 정보를 나타내는 도면이고, 도 8은 일 실시예에 따른 전자 장치(10)가 판단된 사용자의 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하는 경우를 나타내는 도면이고, 도 9는 일 실시예에 따른 전자 장치(10)가 판단된 사용자의 감정에서의 얼굴 표정에 대응하는 패턴을 표시하는 경우를 나타내는 도면이다.

도 7을 참조하면, 일 실시예에 따른 메모리(132)는, 감정에 대응하는 색상 및 패턴에 대한 정보를 포함할 수 있다. 이 때, 감정에 대응하는 색상 및 패턴은, 대응하는 감정을 나타내는 색상 및 패턴에 해당할 수 있다.

예를 들어, 감정에 대응하는 색상 및 패턴에 대한 정보는, 도 7에 도시된 바와 같이, 우울에 해당하는 감정에 대응하는 색상 및 패턴 각각이 파란색 및 강우를 형상화한 패턴에 대응함을 나타내는 정보를 포함할 수 있으며, 기쁨에 해당하는 감정에 대응하는 색상 및 패턴 각각이 핑크색 및 꽃을 형상화한 패턴에 대응함을 나타내는 정보를 포함할 수 있다.

다만, 도 7에 도시된 감정에 대응하는 색상 및 패턴에 대한 정보는, 일 예에 불과하며, 사용자가 느낄 수 있는 감정 각각에 대한 색상 및 패턴에 대한 정보가 포함될 수 있으며, 각각의 색상 및 패턴에 대한 정보는, 전자 장치(10)의 설계 단계에서 정해질 수 있다.

일 실시예에 따른 프로세서(131)는, 이러한 감정에 대응하는 색상 및 패턴에 대한 정보에 기초하여 판단된 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하도록 디스플레이부(113)를 제어할 수 있다.

즉, 프로세서(131)는, 생체 신호 센서(112)를 통하여 측정된 생체 신호에 기초하여 사용자의 감정을 판단하고, 감정에 대응하는 색상 및 패턴에 대한 정보에 기초하여 판단된 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하도록 피부 부착형 장치(110)의 디스플레이부(113)를 제어할 수 있다.

예를 들어, 피부 부착형 장치(110)는, 도 8에 도시된 바와 같이, 복수로 마련될 수 있으며, 프로세서(131)의 제어에 따라, 하나의 피부 부착형 장치(110-1)는, 감정에 대응하는 색상을 표시할 수 있으며, 하나의 피부 부착형 장치(110-2)는, 감정에 대응하는 패턴(예: 강우를 형상화한 패턴)을 표시할 수 있다.

또한, 판단된 감정에 대응하는 패턴은, 실시예에 따라, 판단된 감정에 대응하는 얼굴 표정에 해당할 수 있다. 구체적으로, 감정에 대응하는 색상 및 패턴에 대한 정보는, 도 7에 도시된 바와 같이, 우울에 해당하는 감정에 대응하는 패턴이 우울한 표정을 나타내는 패턴에 대응함을 나타내는 정보를 포함하고, 기쁨에 해당하는 감정에 대응하는 패턴이 기쁜 표정을 나타내는 패턴에 대응함을 나타내는 정보를 포함할 수 있다.

이 경우, 프로세서(131)는, 신체 부위 각각에 대한 패턴 중 각각의 피부 부착형 장치(110)가 부착된 신체 부위에 대응하는 패턴을 표시하도록 각각의 피부 부착형 장치(110)의 디스플레이부(113)를 제어할 수 있다.

예를 들어, 피부 부착형 장치(110)는, 도 9에 도시된 바와 같이, 왼쪽 입꼬리 주변, 오른쪽 입꼬리 주변 및 눈썹 사이에 각각 부착될 수 있다.

이 경우, 프로세서(131)는, 판단된 감정이 우울에 해당하여 우울한 얼굴 표정에 대응하는 신체 부위 각각에 대한 패턴을 결정한 경우, 도 9에 도시된 바와 같이, 입꼬리 주변에 부착된 피부 부착형 장치(110-1, 110-2)가 입꼬리가 내려가는 모습을 형상화한 패턴을 표시하도록 제어하며, 눈썹 사이에 부착된 피부 부착형 장치(110-3)가 눈살이 찡그려진 모습을 형상화한 패턴을 표시하도록 제어할 수 있다.

이와 같이, 전자 장치(10)는, 생체 신호에 기초하여 판단된 감정에 대응하는 영상(예: 색상 및 패턴 중 적어도 하나)를 표시함으로써, 감정 표현이 어려운 사용자(예: 환자, 장애인, 어린이 또는 노약자 등)의 감정 표현을 도울 수 있으며, 대화 상대방으로 하여금 보다 수월하게 사용자의 감정을 파악할 수 있도록 한다. 또한, 전자 장치(10)는, 판단된 감정을 영상으로 표시함으로써, 생체 신호에 기초한 감정 판단의 정확도를 판단하는데 이용될 수도 있다.

이하에서는, 일 실시예에 따른 전자 장치(10)가, 카메라(120)를 통하여 획득한 대상체의 영상 데이터에 기초하여 대상체의 감정을 판단하고, 대상체의 감정에 대응하는 피드백 감정을 결정하여 피드백 감정에 대응하는 영상을 출력하는 경우에 대하여 자세하게 설명한다.

도 10은 일 실시예에 따른 대상체의 감정에 대응하는 피드백 감정에 대한 정보를 나타내는 도면이다.

일 실시예에 따른 제어부(130)는, 카메라(120)를 통하여 획득된 대상체의 영상 데이터에 기초하여 대상체의 감정을 판단하고, 판단된 감정에 대응하는 피드백 감정을 결정하고, 결정된 피드백 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하도록 피부 부착형 장치(110)를 제어할 수 있다.

구체적으로, 프로세서(131)는, 영상 데이터 상에 포함된 대상체의 영상 데이터에 기초하여 대상체의 얼굴 표정 및 행동 중 적어도 하나를 판단하고, 판단된 얼굴 표정 및 행동 중 적어도 하나에 기초하여 대상체의 감정을 판단할 수 있다. 이 때, 프로세서(131)는, 메모리(132)에 저장된 얼굴 표정과 감정 인자 간의 상관관계 정보(500) 및 행동과 감정 인자 간의 상관관계 정보(미도시) 중 적어도 하나를 이용할 수 있다.

이를 위해, 프로세서(131)는, 실시예에 따라, 메모리(132)에 저장된 감정에 따른 피드백 감정에 대한 정보를 이용할 수 있다. 감정에 따른 피드백 감정에 대한 정보는, 도 10에 도시된 바와 같이, 대상체의 감정이 화남에 해당하는 경우, 피드백 감정이 미안함의 감정에 해당함을 나타내는 정보를 포함할 수 있으며, 상대방의 감정이 기쁨에 해당하는 경우, 피드백 감정이 공감에 따른 기쁨의 감정에 해당함을 나타내는 정보를 포함할 수 있다.

다만, 도 10에 도시된 감정에 따른 피드백 정보는, 일 예에 불과할 뿐, 대상체의 다양한 감정에 대응하는 피드백 감정이 설계 단계에서 설정되어 메모리(132) 상에 저장될 수 있다.

이 경우, 프로세서(131)는, 판단된 대상체의 감정에 기초하여 대응하는 피드백 감정을 결정할 수 있다.

이하, 일 실시예에 따른 전자 장치(10)의 제어방법을 설명하기로 한다. 후술하는 전자 장치(10)의 제어방법에는 전술한 실시예에 따른 전자 장치(10)가 적용될 수 있다. 따라서, 앞서 도 1 내지 도 10을 참조하여 설명한 내용은 특별한 언급이 없더라도 일 실시예에 따른 전자 장치(10)의 제어방법에도 동일하게 적용 가능하다.

도 11은 일 실시예에 따른 전자 장치(10)의 제어방법 중 생체 신호에 기초하여 판단된 감정에 대응하는 영상을 표시하는 경우를 도시한 순서도이다.

도 11을 참조하면, 일 실시예에 따른 전자 장치(10)는, 생체 신호 센서(112)로부터 획득된 생체 신호에 기초하여 사용자의 감정을 판단할 수 있다(1110). 생체 신호에 기초하여 사용자의 감정을 판단하는 것은, 앞서 설명한 바와 동일한 바 생략하도록 한다.

일 실시예에 따른 전자 장치(10)는, 판단된 감정에 대응하는 색상 및 패턴 중 적어도 하나를 결정할 수 있다(1120).

일 실시예에 따른 메모리(132)는, 감정에 대응하는 색상 및 패턴에 대한 정보를 포함할 수 있다. 이 때, 감정에 대응하는 색상 및 패턴은, 대응하는 감정을 나타내는 색상 및 패턴에 해당할 수 있다.

일 실시예에 따른 프로세서(131)는, 이러한 감정에 대응하는 색상 및 패턴에 대한 정보에 기초하여 판단된 감정에 대응하는 색상 및 패턴 중 적어도 하나를 결정할 수 있다.

일 실시예에 따른 전자 장치(10)는, 결정된 색상 및 패턴 중 적어도 하나를 표시할 수 있다(1130).

도 12는 일 실시예에 따른 전자 장치(10)의 제어방법 중 대상체의 감정에 기초하여 피드백 감정에 대응하는 영상을 표시하는 경우를 도시한 순서도이다.

도 12를 참조하면, 일 실시예에 따른 전자 장치(10)는, 사용자의 주변에 대한 영상 데이터에 기초하여 대상체의 얼굴 표정 및 행동 중 적어도 하나를 판단할 수 있다(1210).

구체적으로, 프로세서(131)는, 카메라(120)를 통하여 촬영된 사용자의 주변에 대한 영상 데이터 상에 포함된 대상체의 영상 데이터에 기초하여 대상체의 얼굴 표정 및 행동 중 적어도 하나를 판단할 수 있다.

일 실시예에 따른 전자 장치(10)는, 판단된 얼굴 표정 및 행동 중 적어도 하나에 기초하여 대상체의 감정을 판단할 수 있다(1220).

구체적으로, 프로세서(131)는, 판단된 얼굴 표정 및 행동 중 적어도 하나에 기초하여 대상체의 감정을 판단할 수 있다. 이 때, 프로세서(131)는, 메모리(132)에 저장된 얼굴 표정과 감정 인자 간의 상관관계 정보(500) 및 행동과 감정 인자 간의 상관관계 정보(미도시) 중 적어도 하나를 이용할 수 있다.

이후, 일 실시예에 따른 전자 장치(10)는, 대상체의 감정에 대응하는 피드백 감정을 결정할 수 있다(1230).

즉, 프로세서(131)는, 대상체의 감정에 대응하는 피드백 감정을 결정할 수 있다. 이 때, 피드백 감정은, 일반적으로 사람이 상대방의 감정에 대응하여 느낄 수 있는 감정에 해당할 수 있으며, 보다 원활한 대화를 위해 표현되어야 할 감정에 해당할 수 있다.

이후, 일 실시예에 따른 전자 장치(10)는, 결정된 피드백 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시할 수 있다(1240).

즉, 프로세서(131)는, 결정된 피드백 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하도록 피부 부착형 장치(110)의 디스플레이부(113)를 제어할 수 있다. 이 때, 프로세서(131)는, 메모리(132)에 저장된 감정에 대응하는 색상 및 패턴에 대한 정보를 이용할 수 있으며, 실시예에 따라, 패턴이 대응하는 감정에서의 얼굴 표정을 나타낼 수 있음을 물론이다.

한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.

컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(read only memory), RAM(random access memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

10: 전자 장치 110: 피부 부착형 장치
111: 접착부 112: 생체 신호 센서
113: 디스플레이부 120: 카메라
130: 제어부 131: 프로세서
132: 메모리

Claims

사용자의 피부와 접착하는 접착부, 상기 사용자의 생체 신호를 측정하는 생체 신호 센서 및 디스플레이부를 포함하는 피부 부착형 장치; 및
상기 피부 부착형 장치와 연결되고, 상기 생체 신호 센서로부터 획득된 생체 신호에 기초하여 상기 사용자의 감정을 판단하고, 상기 판단된 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 전자 장치.
제1항에 있어서,
상기 디스플레이부는,
발열 회로; 및
상기 발열 회로 상에 마련되며 적어도 하나의 시온 안료를 포함하는 시온 안료층;을 포함하는 전자 장치.
제2항에 있어서,
상기 제어부는,
상기 판단된 감정에 대응하는 색상을 결정하고, 상기 결정된 색상에 대응하는 온도로 발열하도록 상기 발열 회로를 제어하는 전자 장치.
제2항에 있어서,
상기 제어부는,
상기 판단된 감정에 대응하는 패턴을 결정하고, 상기 결정된 패턴에 대응하는 영역에서 발열하도록 상기 발열 회로를 제어하는 전자 장치.
제1항에 있어서,
상기 제어부는,
상기 판단된 감정에 대응하는 얼굴 표정을 결정하고, 상기 결정된 얼굴 표정에서의 신체 부위 별 특징에 기초하여 신체 부위 각각에 대한 패턴을 결정하고, 상기 결정된 패턴 중 상기 피부 부착형 장치가 부착된 신체 부위에 대응하는 패턴을 표시하도록 상기 디스플레이부를 제어하는 전자 장치.
제5항에 있어서,
상기 피부 부착형 장치는,
복수로 마련되어 각각 서로 다른 신체 부위에 부착되는 전자 장치.
제1항에 있어서,
상기 전자 장치는,
상기 사용자의 주변에 대한 영상 데이터를 획득하는 카메라;를 더 포함하는 전자 장치.
제7항에 있어서,
상기 제어부는,
상기 영상 데이터 상에 포함된 대상체의 영상 데이터에 기초하여 상기 대상체의 얼굴 표정 및 행동 중 적어도 하나를 판단하고, 상기 판단된 얼굴 표정 및 행동 중 적어도 하나에 기초하여 상기 대상체의 감정을 판단하는 전자 장치.
제8항에 있어서,
상기 제어부는,
상기 대상체의 감정에 대응하는 피드백 감정을 결정하고, 상기 결정된 피드백 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하도록 상기 디스플레이부를 제어하는 전자 장치.
제9항에 있어서,
상기 제어부는,
상기 대상체의 감정에 대해 신경망(neural network)을 통한 연산을 수행하고, 상기 신경망을 통한 연산 수행에 따른 정보에 기초하여 상기 대상체의 감정에 대응하는 피드백 감정을 결정하는 전자 장치.
제10항에 있어서,
상기 제어부는,
상기 대상체의 영상 데이터에 기초하여 상기 결정된 피드백 감정에 대응하는 색상 및 패턴 중 적어도 하나의 표시에 대한 상기 대상체의 감정 변화를 판단하고, 상기 결정된 피드백 감정 및 상기 대상체의 감정 변화에 기초하여 상기 신경망을 갱신하는 전자 장치.
사용자의 피부와 접착하는 접착부, 상기 사용자의 생체 신호를 측정하는 생체 신호 센서 및 디스플레이부를 포함하는 피부 부착형 장치를 포함하는 전자 장치의 제어 방법에 있어서,
상기 생체 신호 센서로부터 획득된 생체 신호에 기초하여 상기 사용자의 감정을 판단하고;
상기 판단된 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하도록 상기 디스플레이부를 제어하는 것;을 포함하는 전자 장치의 제어 방법.
제12항에 있어서,
상기 디스플레이부는,
발열 회로; 및
상기 발열 회로 상에 마련되며 적어도 하나의 시온 안료를 포함하는 시온 안료층;을 포함하는 전자 장치의 제어 방법.
제13항에 있어서,
상기 디스플레이부를 제어하는 것은,
상기 판단된 감정에 대응하는 색상을 결정하고;
상기 결정된 색상에 대응하는 온도로 발열하도록 상기 발열 회로를 제어하는 것;을 포함하는 전자 장치의 제어 방법.
제13항에 있어서,
상기 디스플레이부를 제어하는 것은,
상기 판단된 감정에 대응하는 패턴을 결정하고;
상기 결정된 패턴에 대응하는 영역에서 발열하도록 상기 발열 회로를 제어하는 것;을 포함하는 전자 장치의 제어 방법.
제12항에 있어서,
상기 디스플레이부를 제어하는 것은,
상기 판단된 감정에 대응하는 얼굴 표정을 결정하고;
상기 결정된 얼굴 표정에서의 신체 부위 별 특징에 기초하여 신체 부위 각각에 대한 패턴을 결정하고;
상기 결정된 패턴 중 상기 피부 부착형 장치가 부착된 신체 부위에 대응하는 패턴을 표시하도록 상기 디스플레이부를 제어하는 것;을 포함하는 전자 장치의 제어 방법.
제16항에 있어서,
상기 피부 부착형 장치는,
복수로 마련되어 각각 서로 다른 신체 부위에 부착되는 전자 장치의 제어 방법.
제12항에 있어서,
상기 전자 장치는,
상기 사용자의 주변에 대한 영상 데이터를 획득하는 카메라;를 더 포함하는 전자 장치의 제어 방법.
제18항에 있어서,
상기 영상 데이터 상에 포함된 대상체의 영상 데이터에 기초하여 상기 대상체의 얼굴 표정 및 행동 중 적어도 하나를 판단하고;
상기 판단된 얼굴 표정 및 행동 중 적어도 하나에 기초하여 상기 대상체의 감정을 판단하는 것;을 더 포함하는 전자 장치의 제어 방법.
제19항에 있어서,
상기 대상체의 감정에 대응하는 피드백 감정을 결정하고;
상기 결정된 피드백 감정에 대응하는 색상 및 패턴 중 적어도 하나를 표시하도록 상기 디스플레이부를 제어하는 것;을 더 포함하는 전자 장치의 제어 방법.
제20항에 있어서,
상기 피드백 감정을 결정하는 것은,
상기 대상체의 감정에 대해 신경망(neural network)을 통한 연산을 수행하고;
상기 신경망을 통한 연산 수행에 따른 정보에 기초하여 상기 대상체의 감정에 대응하는 피드백 감정을 결정하는 것;을 포함하는 전자 장치의 제어 방법.
제21항에 있어서,
상기 대상체의 영상 데이터에 기초하여 상기 결정된 피드백 감정에 대응하는 색상 및 패턴 중 적어도 하나의 표시에 대한 상기 대상체의 감정 변화를 판단하고;
상기 결정된 피드백 감정 및 상기 대상체의 감정 변화에 기초하여 상기 신경망을 갱신하는 것;을 더 포함하는 전자 장치의 제어 방법.