KR101984410B1 - A method and apparatus for lighting therapy based on emotianal state - Google Patents

A method and apparatus for lighting therapy based on emotianal state Download PDF

Info

Publication number
KR101984410B1
KR101984410B1 KR1020170175426A KR20170175426A KR101984410B1 KR 101984410 B1 KR101984410 B1 KR 101984410B1 KR 1020170175426 A KR1020170175426 A KR 1020170175426A KR 20170175426 A KR20170175426 A KR 20170175426A KR 101984410 B1 KR101984410 B1 KR 101984410B1
Authority
KR
South Korea
Prior art keywords
emotion
color
color combination
rti
feature vector
Prior art date
Application number
KR1020170175426A
Other languages
Korean (ko)
Inventor
김은이
고은정
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020170175426A priority Critical patent/KR101984410B1/en
Application granted granted Critical
Publication of KR101984410B1 publication Critical patent/KR101984410B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/06—Radiation therapy using light
    • A61N5/0613—Apparatus adapted for a specific treatment
    • A61N5/0618—Psychological treatment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V23/00—Arrangement of electric circuit elements in or on lighting devices
    • F21V23/04—Arrangement of electric circuit elements in or on lighting devices the elements being switches
    • F21V23/0442—Arrangement of electric circuit elements in or on lighting devices the elements being switches activated by means of a sensor, e.g. motion or photodetectors
    • G06K9/00302—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/06—Radiation therapy using light
    • A61N2005/0626—Monitoring, verifying, controlling systems and methods

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Psychology (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Anesthesiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Hematology (AREA)
  • Computing Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Pain & Pain Management (AREA)
  • Artificial Intelligence (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Image Analysis (AREA)

Abstract

A lighting therapy method and apparatus based on an emotional state are disclosed. A lighting therapy method in accordance with an embodiment comprises the steps of detecting a face of the object from an image of the object; estimating the emotion of the object based on the expression of the face; generating a color combination using machine learning based on the emotion; and controlling lighting based on the color combination.

Description

감정 상태에 기반한 조명 테라피 방법 및 장치{A METHOD AND APPARATUS FOR LIGHTING THERAPY BASED ON EMOTIANAL STATE}FIELD OF THE INVENTION [0001] The present invention relates to a method and apparatus for emotionally based illumination therapy,

아래 실시예들은 감정 상태에 기반한 조명 테라피 방법 및 장치에 관한 것이다.The following embodiments relate to an emotion state based illumination therapy method and apparatus.

최근 몇 년 동안, 조명 테라피는 유망한 치료법으로 떠오르고 있다. 일반적으로 빛은 수면에 영향을 미치고, 암, 상처 치유 및 감염 증상에 중요한 영향을 미친다.In recent years, lighting therapy has emerged as a promising therapy. In general, light affects sleep and has a significant impact on cancer, wound healing and infection symptoms.

조명의 색을 이용한 컬러 테라피는 인테리어, 섬유, 인터페이스 디자인 등 다양한 산업 분야에 사용되고 있다. 이러한, 컬러 테라피는 심리 지식 및 시장 조사에 의해 정의된 색만을 권장한다. 따라서, 치료 대상에게 제공되는 색상이 제한적일 수 있다.Color therapy using color of light is used in various industrial fields such as interior, textile, and interface design. These color therapies only recommend colors defined by psychological knowledge and market research. Therefore, the color provided to the subject to be treated may be limited.

기존의 치료 대상의 감정을 인식하는 방법은 치료 대상자가 작성한 설문지의 내용을 분석하거나, 치료 대상자가 작성하거나 업로드한 텍스트 및 이미지를 분석하는 방법을 사용하였다. 이러한 방법들은 특정 시점에서의 감정 상태만 인식하고 시간 변화에 따른 감정 상태의 변화를 추정하는 것이 어렵다.
사용자의 상태에 따라 테라피를 제공하는 기술에 연관된 선행 문헌으로는 등록 특허 공보 KR10-1772218 B1이 있다.The method of recognizing the emotions of the existing treatment subjects was a method of analyzing the contents of the questionnaire prepared by the treatment subjects or analyzing texts and images prepared or uploaded by the treatment subjects. These methods recognize only the emotion state at a specific point in time and it is difficult to estimate the change of the emotion state with time.
A prior art related to the technology of providing therapies according to the state of the user is the registered patent publication No. KR10-1772218 B1.

실시예들은 객체의 감정 상태에 기반하여 조명 테라피를 수행하는 기술을 제공할수 있다.Embodiments may provide techniques for performing illumination therapy based on an emotional state of an object.

일 실시예에 따른 조명 테라피 방법은, 객체의 이미지로부터 상기 객체의 얼굴을 검출하는 단계와, 상기 얼굴의 표정에 기초하여 상기 객체의 감정을 추정하는 단계와, 상기 감정에 기초하여 기계 학습을 이용해 컬러 조합을 생성하는 단계와, 상기 컬러 조합에 기초하여 조명을 제어하는 단계를 포함한다.The illumination therapy method according to an embodiment includes the steps of: detecting a face of the object from an image of an object; estimating an emotion of the object based on the facial expression; and using machine learning Generating a color combination, and controlling the illumination based on the color combination.

상기 검출하는 단계는, 아다부스트(Adaboost) 알고리즘을 이용하여 상기 얼굴을 검출하는 단계를 포함할 수 있다.The detecting may comprise detecting the face using an Adaboost algorithm.

상기 추정하는 단계는, 합성곱 신경망(Convolutional Neural Network)을 통해 상기 감정을 추정하는 단계를 포함할 수 있다.The estimating step may include estimating the emotion through a Convolutional Neural Network.

상기 감정은, 분노(anger), 역겨움(disgust), 두려움(fear), 행복(happy), 슬픔(sad), 놀람(surprise), 무감정(neutral)을 포함할 수 있다.The emotions may include anger, disgust, fear, happiness, sad, surprise, and neutral.

상기 생성하는 단계는, 학습 이미지 및 감성 모델에 의해 정의된 시각 사전(visual dictionary)에 기초하여 컬러 특징 벡터를 생성하는 단계와, 기계 학습을 이용하여 상기 컬러 특징 벡터와 상기 감성 모델 간의 상관관계를 추정하는 단계와, 상기 상관관계 및 상기 감성 모델에 기초한 가중치를 이용하여 컬러 조합을 생성하는 단계를 포함할 수 있다.Wherein the generating comprises: generating a color feature vector based on a visual dictionary defined by a learning image and an emotion model; and generating a color feature vector based on a correlation between the color feature vector and the emotion model using machine learning And generating a color combination using the weight based on the correlation and the emotion model.

상기 컬러 특징 벡터를 생성하는 단계는, 상기 학습 이미지를 양자화(quantize)하는 단계와, 양자화된 학습 이미지를 분할하여 분할 영역을 생성하는 단계와, 상기 분할 영역의 중요도를 계산하여 중요 영역을 선택하는 단계와, 상기 중요 영역과 상기 중요 영역의 인접 영역에 대응되는 인접 컬러 조합을 생성하는 단계와, 상기 시각 사전에서 상기 인접 컬러 조합과 유사한 컬러 조합을 검색하여 유사도를 계산하는 단계와, 상기 중요도 및 상기 유사도를 이용하여 상기 중요 영역에 대한 발생 값(occurrence value)을 계산하는 단계와, 상기 발생 값을 누적하고, 정규화(normalization)함으로써 컬러 특징 벡터를 생성하는 단계를 포함할 수 있다.The step of generating the color feature vector may include the steps of quantizing the learning image, generating a divided area by dividing the quantized training image, calculating importance of the divided area, Generating a color combination that is similar to the adjacent color combination in the time dictionary and calculating a similarity degree; Calculating an occurrence value for the important region using the similarity; and generating a color feature vector by accumulating and normalizing the generated value.

상기 상관관계를 추정하는 단계는, pLSA(Probabilistic Latent Semantic Analysis) 학습을 이용하여 상기 컬러 특징 벡터와 상기 감성 모델 간의 상관관계를 추정하는 단계를 포함할 수 있다.The step of estimating the correlation may include estimating a correlation between the color feature vector and the emotion model using Probabilistic Latent Semantic Analysis (pLSA) learning.

상기 감성 모델은, 고바야시(Kobayashi) 감성 모델을 포함할 수 있다.The emotion model may include a Kobayashi emotion model.

상기 제어하는 단계는, 상기 컬러 조합에 포함되는 복수의 컬러를 복수의 조명으로 동시에 출력하는 단계와, 상기 컬러 조합에 포함되는 복수의 컬러를 상이한 시점에 조명으로 출력하는 단계를 포함할 수 있다.The controlling step may include a step of simultaneously outputting a plurality of colors included in the color combination into a plurality of lights, and outputting a plurality of colors included in the color combination to the illumination at different points in time.

상기 제어하는 단계는, 블루투스 통신을 이용하여 상기 조명을 제어하는 단계를 포함할 수 있다.The controlling may comprise controlling the illumination using Bluetooth communication.

일 실시예에 따른 조명 테라피 장치는, 객체의 이미지를 수신하는 수신기와, 상기 이미지로부터 상기 객체의 얼굴을 검출하고, 상기 얼굴의 표정에 기초하여 상기 객체의 감정을 추정하고, 상기 감정에 기초하여 기계 학습을 이용해 컬러 조합을 생성하고, 상기 컬러 조합에 기초하여 조명을 제어하는 컨트롤러를 포함하고, 상기 컨트롤러는, 객체의 얼굴을 검출하는 얼굴 검출기와, 상기 얼굴의 표정에 기초하여 상기 객체의 감정을 추정하는 감정 추정기와, 상기 감정에 기초하여 기계 학습을 이용해 컬러 조합을 생성하는 컬러 조합 생성기와, 상기 컬러 조합에 기초하여 조명을 제어하는 조명 제어기를 포함한다.According to one embodiment, a lighting therapy apparatus includes a receiver for receiving an image of an object, a processor for detecting a face of the object from the image, estimating an emotion of the object based on the expression of the face, And a controller for controlling the illumination based on the color combination, wherein the controller comprises: a face detector for detecting a face of the object; and an emotion detector for detecting an emotion of the object based on the expression of the face A color combination generator for generating a color combination using machine learning based on the emotion, and an illumination controller for controlling illumination based on the color combination.

상기 얼굴 검출기는, 아다부스트(Adaboost) 알고리즘을 이용하여 상기 얼굴을 검출할 수 있다.The face detector may detect the face using an Adaboost algorithm.

상기 감정 추정기는, 합성곱 신경망(Convolutional Neural Network)을 통해 상기 감정을 추정할 수 있다.The emotion estimator may estimate the emotion through a Convolutional Neural Network.

상기 감정은, 분노(anger), 역겨움(disgust), 두려움(fear), 행복(happy), 슬픔(sad), 놀람(surprise), 무감정(neutral)을 포함할 수 있다.The emotions may include anger, disgust, fear, happiness, sad, surprise, and neutral.

상기 컬러 조합 생성기는, 학습 이미지 및 감성 모델에 의해 정의된 시각 사전(visual dictionary)에 기초하여 컬러 특징 벡터를 생성하는 특징 벡터 생성기와, 기계 학습을 이용하여 상기 컬러 특징 벡터와 상기 감성 모델 간의 상관관계를 추정하는 상관관계 추정기와, 상기 상관관계 및 상기 감성 모델에 기초한 가중치를 이용하여 컬러 조합을 생성하는 컬러 조합 정렬기를 포함할 수 있다.Wherein the color combination generator comprises: a feature vector generator for generating a color feature vector based on a visual dictionary defined by the learning image and the emotion model; and a correlation between the color feature vector and the emotion model using machine learning A correlation estimator for estimating a relationship and a color combination sorter for generating a color combination using the correlation and the weight based on the emotion model.

상기 특징 벡터 생성기는, 상기 학습 이미지를 양자화(quantize)하고, 양자화된 학습 이미지를 분할하여 분할 영역을 생성하고, 상기 분할 영역의 중요도를 계산하여 중요 영역을 선택하고, 상기 중요 영역과 상기 중요 영역의 인접 영역에 대응되는 인접 컬러 조합을 생성하고, 상기 시각 사전에서 상기 인접 컬러 조합과 유사한 컬러 조합을 검색하여 유사도를 계산하고, 상기 중요도 및 상기 유사도를 이용하여 상기 중요 영역에 대한 발생 값(occurrence value)을 계산하고, 상기 발생 값을 누적하고, 정규화(normalization)함으로써 컬러 특징 벡터를 생성할 수 있다.Wherein the feature vector generator quantizes the learning image, generates a divided area by dividing the quantized learning image, calculates a degree of importance of the divided area to select a significant area, , Calculating similarity by searching for a color combination similar to the adjacent color combination in the time dictionary, and using the importance and the similarity to calculate an occurrence value for the important region value, accumulate the occurrence value, and normalize the color feature vector.

상기 상관관계 추정기는, pLSA(Probabilistic Latent Semantic Analysis) 학습을 이용하여 상기 컬러 특징 벡터와 상기 감성 모델 간의 상관관계를 추정할 수 있다.The correlation estimator may estimate a correlation between the color feature vector and the emotion model using Probabilistic Latent Semantic Analysis (pLSA) learning.

상기 감성 모델은, 고바야시(Kobayashi) 감성 모델을 포함할 수 있다.The emotion model may include a Kobayashi emotion model.

상기 조명 제어기는, 상기 컬러 조합에 포함되는 복수의 컬러를 복수의 조명으로 동시에 출력하거나 상기 컬러 조합에 포함되는 복수의 컬러를 상이한 시점에 조명으로 출력할 수 있다.The illumination controller may simultaneously output a plurality of colors included in the color combination to a plurality of lights, or output a plurality of colors included in the color combination at an illumination at different points in time.

상기 조명을 제어기는, 블루투스 통신을 이용하여 상기 조명을 제어할 수 있다.The lighting controller can control the lighting using Bluetooth communication.

도 1은 일 실시예에 따른 조명 테라피 장치의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 컨트롤러의 개략적인 블록도를 나타낸다.
도 3a는 도 2에 도시된 얼굴 검출기의 동작의 일 예를 나타낸다.
도 3b는 도 2에 도시된 얼굴 검출기의 동작의 다른 예를 나타낸다.
도 4a는 도 2에 도시된 감정 추정기의 동작의 일 예를 나타낸다.
도 4b는 도 4a의 도시된 이미지에 대한 감정 추정 결과를 나타낸다.
도 4c는 도 2에 도시된 감정 추정기의 동작의 다른 예를 나타낸다.
도 4d는 도 4c에 도시된 이미지에 대한 감정 추정 결과를 나타낸다.
도 5는 도 2에 도시된 컬러 조합 생성기의 개략적인 블록도를 나타낸다.
도 6은 일 실시예에 따른 특징 벡터 추출 알고리즘의 예를 나타낸다.
도 7은 일 실시예에 따른 컬러 특징 벡터와 감성 모델 간의 상관관계를 시각화한 예를 나타낸다.
도 8은 일 실시예에 따른 컬러 조합 생성 결과의 예를 나타낸다.
도 9는 도 1에 도시된 조명 테라피 장치에 의해 제어되는 조명의 예를 나타낸다.
도 10은 도 1에 도시된 조명 테라피 장치의 동작의 순서도를 나타낸다.Figure 1 shows a schematic block diagram of a lighting therapy device according to one embodiment.
Fig. 2 shows a schematic block diagram of the controller shown in Fig.
FIG. 3A shows an example of the operation of the face detector shown in FIG. 2. FIG.
3B shows another example of the operation of the face detector shown in Fig.
4A shows an example of the operation of the emotion estimator shown in FIG.
FIG. 4B shows the emotion estimation result for the image shown in FIG. 4A.
Fig. 4C shows another example of the operation of the emotion estimator shown in Fig.
FIG. 4D shows the emotion estimation result for the image shown in FIG. 4C.
FIG. 5 shows a schematic block diagram of the color combination generator shown in FIG. 2. FIG.
FIG. 6 shows an example of a feature vector extraction algorithm according to an embodiment.
FIG. 7 shows an example of visualizing the correlation between the color feature vector and the emotion model according to an embodiment.
Fig. 8 shows an example of a color combination creation result according to an embodiment.
Fig. 9 shows an example of illumination controlled by the illumination therapy apparatus shown in Fig.
Fig. 10 shows a flow chart of the operation of the illumination therapy apparatus shown in Fig.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.It is to be understood that the specific structural or functional descriptions of embodiments of the present invention disclosed herein are presented for the purpose of describing embodiments only in accordance with the concepts of the present invention, May be embodied in various forms and are not limited to the embodiments described herein.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Embodiments in accordance with the concepts of the present invention are capable of various modifications and may take various forms, so that the embodiments are illustrated in the drawings and described in detail herein. However, it is not intended to limit the embodiments according to the concepts of the present invention to the specific disclosure forms, but includes changes, equivalents, or alternatives falling within the spirit and scope of the present invention.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.The terms first, second, or the like may be used to describe various elements, but the elements should not be limited by the terms. The terms may be named for the purpose of distinguishing one element from another, for example without departing from the scope of the right according to the concept of the present invention, the first element being referred to as the second element, Similarly, the second component may also be referred to as the first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Expressions that describe the relationship between components, for example, "between" and "immediately" or "directly adjacent to" should be interpreted as well.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms " comprises ", or " having ", and the like, are used to specify one or more of the features, numbers, steps, operations, elements, But do not preclude the presence or addition of steps, operations, elements, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the meaning of the context in the relevant art and, unless explicitly defined herein, are to be interpreted as ideal or overly formal Do not.

본 명세서에서의 모듈(module)은 본 명세서에서 설명되는 각 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예를 들어 프로세서 또는 마이크로 프로세서를 의미할 수 있다.A module in this specification may mean hardware capable of performing the functions and operations according to the respective names described in this specification and may mean computer program codes capable of performing specific functions and operations , Or an electronic recording medium, e.g., a processor or a microprocessor, equipped with computer program code capable of performing certain functions and operations.

다시 말해, 모듈이란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.In other words, a module may mean a functional and / or structural combination of hardware for carrying out the technical idea of the present invention and / or software for driving the hardware.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, the scope of the patent application is not limited or limited by these embodiments. Like reference symbols in the drawings denote like elements.

도 1은 일 실시예에 따른 조명 테라피 장치의 개략적인 블록도를 나타낸다.Figure 1 shows a schematic block diagram of a lighting therapy device according to one embodiment.

도 1을 참조하면, 조명 테라피 장치(10)는 객체의 감정 상태(emotional state)를 지속적으로 모니터링하고 이를 기반으로 테라피 효과를 가지는 컬러 조합을 출력하도록 조명을 제어하여 객체에게 테라피를 제공할 수 있다.Referring to FIG. 1, the lighting therapy apparatus 10 may continuously monitor an emotional state of an object and provide therapy to an object by controlling lighting to output a color combination having a therapy effect based on the monitored emotional state .

조명 테라피 장치(10)는 기존의 문장 및 트윗 단위의 무드 분석 시스템과 달리 객체의 표정 변화를 모니터링하여 감정상태를 분석할 수 있다.The illumination therapy apparatus 10 can analyze the emotion state by monitoring the change of the facial expression of the object, unlike the conventional sentence and tweet mood analysis system.

조명 테라피 장치(10)는 새로운 영상 기반의 감정 인식 방법을 제공할 수 있다. 조명 테라피 장치(10)는 미리 정의된 수동적인 테라피 컬러 선정 데이터를 감정과 컬러 조합 간의 상관관계를 기계 학습한 스케일(scale)과 매핑함으로써 컬러 조합을 추천할 수 있다.The illumination therapy apparatus 10 can provide a new image-based emotion recognition method. The lighting therapy apparatus 10 may recommend a color combination by mapping predefined passive therapy color selection data to a machine-learned scale that correlates emotional and color combinations.

조명 테라피 장치(10)는 블루투스 기반의 효율적인 조명 제어 기술을 제공할 수 있다. 조명 테라피 장치(10)는 기존의 서베이 기반이 아닌, 객체의 표정 변화로부터 감정 상태를 자동으로 인식하는 모니터링 환경을 제공함으로써 보다 정확한 예측이 가능하게 하여 조명 테라피 성능을 향상시킬 수 있다.The lighting therapy apparatus 10 can provide an efficient lighting control technique based on Bluetooth. The illumination therapy apparatus 10 can improve the illumination therapy performance by providing a monitoring environment for automatically recognizing the emotion state from the change of the expression of the object rather than the existing survey basis, thereby enabling more accurate prediction.

조명 테라피 장치(10)는 헬스케어, 빅데이터 큐레이션, 정치, 경제, 비지니스 모델에 적용되는 데이터 마이닝에 적용될 수 있다. 예를 들어, 조명 테라피 장치(10)는 산후우울증이나 병역 생활 중 정신 질환과 같은 정신 질환을 앓고 있는 사람들에 대하여 정신 질환을 예측하고, 적합한 조명 테라피를 제공할 수 있다.The lighting therapy apparatus 10 can be applied to data mining applied to health care, big data curation, politics, economy, and business models. For example, the lighting therapy device 10 can predict mental illness and provide appropriate lighting therapy for people suffering from mental illnesses such as postpartum depression or mental illness during military service life.

조명 테라피 장치(10)는 사용자의 연령과 성별, SNS(Social Network Service) 데이터 기술과 결합되어 감성을 자동으로 예측한 후 다수의 장소 및 생활 서비스를 하나의 문맥으로 엮어 스토리 형식으로 추천하는 서비스를 제공할 수 있다.The illumination therapy apparatus 10 is a service that automatically predicts emotions in combination with the user's age, sex, and social network service (SNS) data technology and then recommends a plurality of places and living services in a single context .

조명 테라피 장치(10)는 개인 단위의 무드 분석뿐만 아니라 CCTV에 활용되어 다수 군집의 공통된 무드 및 행위를 분석하여 데모 또는 테로와 같은 위험 상황을 자동으로 인식하는데 도움을 줄 수 있다.The lighting therapy device 10 can be used in CCTV as well as individual mood analysis to analyze common moods and behaviors of multiple communities to help automatically recognize danger situations such as demos or teros.

조명 테라피 장치(10)는 수신기(100) 및 컨트롤러(200)를 포함한다.The illumination therapy apparatus 10 includes a receiver 100 and a controller 200. [

수신기(100)는 객체의 이미지를 수신할 수 있다. 객체는 감정을 가진 모든 대상을 포함할 수 있다. 예를 들어, 객체는 사람일 수 있다.The receiver 100 may receive an image of the object. An object can contain all objects with emotions. For example, the object may be a person.

수신기(100)는 객체의 이미지를 촬영할 수 있는 장치를 포함할 수 있다. 수신기(100)는 웹 캠, 카메라, CCTV(Closed-Circuit TeleVision) 등을 포함할 수 있다. 예를 들어, 수신기(100)는 Logitech C930e 모델을 포함할 수 있다.The receiver 100 may include an apparatus capable of capturing an image of an object. The receiver 100 may include a web cam, a camera, a closed-circuit television (CCTV), and the like. For example, the receiver 100 may include a Logitech C930e model.

수신기(100)가 수신하는 이미지는 객체의 정적 사진, 객체의 영상을 포함할 수 있다. 객체의 영상은 스트리밍 영상을 포함할 수 있다. 수신기(100)는 수신한 이미지를 컨트롤러(200)로 출력할 수 있다.The image received by the receiver 100 may include a static picture of the object, an image of the object. The image of the object may include a streaming image. The receiver 100 may output the received image to the controller 200.

수신기(100)는 복수의 촬영 장치를 포함할 수 있다. 예를 들어, 수신기(100)는 복수의 스트리밍 영상을 수신할 수 있다.The receiver 100 may comprise a plurality of imaging devices. For example, the receiver 100 may receive a plurality of streaming images.

컨트롤러(200)는 이미지로부터 상기 객체의 얼굴을 검출하고, 얼굴의 표정에 기초하여 상기 객체의 감정을 추정할 수 있다. 컨트롤러(200)는 객체의 감정에 기초하여 기계 학습을 이용해 컬러 조합을 생성하고, 컬러 조합에 기초하여 조명을 제어할 수 있다.The controller 200 may detect the face of the object from the image and estimate the emotion of the object based on the facial expression. The controller 200 may use machine learning to generate a color combination based on the emotion of the object, and may control the illumination based on the color combination.

도 2는 도 1에 도시된 컨트롤러의 개략적인 블록도를 나타낸다.Fig. 2 shows a schematic block diagram of the controller shown in Fig.

도 2를 참조하면, 컨트롤러(200)는 얼굴 검출기(210), 감정 추정기(230), 컬러 조합 생성기(250) 및 조명 제어기(270)를 포함할 수 있다.Referring to FIG. 2, the controller 200 may include a face detector 210, an empirical estimator 230, a color combination generator 250, and a lighting controller 270.

얼굴 검출기(210)는 객체의 얼굴을 검출할 수 있다. 얼굴 검출기(210)는 기계 학습 알고리즘을 이용하여 객체의 얼굴을 검출할 수 있다. 예를 들어, 얼굴 검출기(210)는 아다부스트(Adaboost) 알고리즘을 이용하여 얼굴을 검출할 수 있다. 얼굴 검출기(210)는 검출한 얼굴에 관한 정보를 감정 추정기(230)로 출력할 수 있다.The face detector 210 may detect the face of the object. The face detector 210 may detect the face of the object using a machine learning algorithm. For example, the face detector 210 may detect a face using an Adaboost algorithm. The face detector 210 may output information on the detected face to the emotion estimator 230.

감정 추정기(230)는 객체의 얼굴의 표정에 기초하여 객체의 감정을 추정할 수 있다. 감정 추정기(230)는 인공 신경망(neural network)을 학습시킴으로써 객체의 감정을 추정할 수 있다. 예를 들어, 감정 추정기(230)는 합성곱 신경망(Convolutional Neural Network, CNN)을 통해 객체의 감정을 추정할 수 있다. The emotion estimator 230 may estimate the emotion of the object based on the facial expression of the object. The emotion estimator 230 can estimate the emotion of an object by learning an artificial neural network. For example, the emotion estimator 230 may estimate the emotion of an object through a Convolutional Neural Network (CNN).

감정 추정기(230)는 얼굴 표정으로부터 인식할 수 있는 다양한 감정들을 추정할 수 있다. 예를 들어, 감정 추정기(230)가 추정하는 감정은 분노(anger), 역겨움(disgust), 두려움(fear), 행복(happy), 슬픔(sad), 놀람(surprise), 무감정(neutral)을 포함할 수 있다.The emotion estimator 230 may estimate various emotions that can be recognized from facial expressions. For example, the emotion estimator 230 estimates anger, disgust, fear, happiness, sad, surprise, and neutral. .

감정 추정기(230)는 추정한 감정에 관한 정보를 컬러 조합 생성기(250)로 출력할 수 있다.The emotion estimator 230 may output information on the estimated emotion to the color combination generator 250. [

컬러 조합 생성기(250)는 객체의 감정에 기초하여 기계 학습을 이용해 컬러 조합을 생성할 수 있다. 컬러 조합 생성기(250)는 생성한 컬러 조합에 관한 정보를 조명 제어기(270)로 출력할 수 있다.The color combination generator 250 may generate a color combination using machine learning based on the emotion of the object. The color combination generator 250 may output information on the generated color combination to the lighting controller 270. [

컬러 조합 생성기(25)는 기존의 단일 컬러 정보를 제공하는 일반 컬러 테라피와 차별화하기 위해, pLSA(Probabilistic Latent Semantic Analysis)이용하여 감성 라벨을 가지는 웹 영상에서 추출한 컬러 조합과 감성 클래스 간의 상관관계(또는 스케일(scale))를 분석하여 다양한 컬러 조합을 제공할 수 있다.In order to differentiate from the general color therapy providing conventional single color information, the color combination generator 25 calculates a correlation (or a correlation) between the color combination extracted from the web image having the emotional label using the probabilistic latent semantic analysis (pLSA) Scale) can be analyzed to provide a variety of color combinations.

컬러 조합 생성기(250)의 동작은 도 5를 참조하여 자세하게 설명할 것이다.The operation of the color combination generator 250 will be described in detail with reference to FIG.

조명 제어기(270)는 컬러 조합에 기초하여 조명을 제어할 수 있다. 조명 제어기(270)는 컬러 조합에 포함되는 복수의 컬러를 복수의 조명으로 동시에 출력하거나 컬러 조합에 포함되는 복수의 컬러를 상이한 시점에 조명으로 출력할 수 있다.The illumination controller 270 may control the illumination based on the color combination. The illumination controller 270 may simultaneously output a plurality of colors included in the color combination to a plurality of lights or output a plurality of colors included in the color combination to the illumination at different points in time.

조명 제어기(270)는 컬러가 출력되는 시간을 제어할 수 있고, 복수의 조명을 선택적으로 온/오프할 수 있다.The illumination controller 270 can control the time at which the color is output, and can selectively turn on / off a plurality of lights.

조명 제어기(270)는 유선 및 무선통신을 이용하여 조명을 제어할 수 있다. 예를 들어, 블루투스 통신을 이용하여 조명을 제어할 수 있다. 조명 제어기(270)는 조명의 밝기 또는 컬러를 제어할 수 있다.The illumination controller 270 can control illumination using wired and wireless communications. For example, the lighting can be controlled using Bluetooth communication. The illumination controller 270 may control the brightness or color of the illumination.

조명 제어기(270)는 API(Application Programming Interface)를 통해서 조명을 제어할 수 있다. 예를 들어, 필립스 휴에서 제공하는 API를 이용하여 HTTP(HyperText Transfer Protocol) 패킷(packet)을 브리지에 전송하고, 지그비(zigbee) 연결을 통해 필립스 휴 스마트 전구들의 색상을 동시에 제어할 수 있다.The illumination controller 270 can control illumination through an API (Application Programming Interface). For example, you can use the API provided by Philips Hugh to send Hypertext Transfer Protocol (HTTP) packets to bridges and control the colors of Philips Hugh Smart bulbs simultaneously via a zigbee connection.

조명 제어기(270)가 제어하는 조명은 백열등, 삼파장 전구, 형광등 및 LED(Light Emitting Diode)를 포함할 수 있다.The illumination controlled by the illumination controller 270 may include an incandescent lamp, a three-wavelength lamp, a fluorescent lamp, and an LED (Light Emitting Diode).

도 3a는 도 2에 도시된 얼굴 검출기의 동작의 일 예를 나타내고, 도 3b는 도 2에 도시된 얼굴 검출기의 동작의 다른 예를 나타낸다.Fig. 3A shows an example of the operation of the face detector shown in Fig. 2, and Fig. 3B shows another example of the operation of the face detector shown in Fig.

도 3a 및 도 3b를 참조하면, 얼굴 검출기(210)는 객체의 얼굴을 검출할 수 있다. 얼굴 검출기(210) 도 3a 및 도 3b에 사각형으로 표시된 부분을 객체의 얼굴로 인식하여 검출할 수 있다. 얼굴 검출기(210)는 다양한 각도의 얼굴을 검출할 수 있다.Referring to FIGS. 3A and 3B, the face detector 210 may detect a face of an object. The face detector 210 can recognize a portion indicated by a rectangle in FIGS. 3A and 3B as a face of the object. The face detector 210 can detect faces of various angles.

얼굴 검출기(210)는 기계 학습 알고리즘을 이용하여 얼굴을 검출할 수 있다. 예를 들어, 얼굴 검출기(210) 아다부스트 알고리즘을 이용하여 얼굴을 검출할 수 있다.The face detector 210 may detect a face using a machine learning algorithm. For example, the face detector 210 may detect a face using the AdaBoost algorithm.

도 4a는 도 2에 도시된 감정 추정기의 동작의 일 예를 나타내고, 도 4b는 도 4a의 도시된 이미지에 대한 감정 추정 결과를 나타내고, 도 4c는 도 2에 도시된 감정 추정기의 동작의 다른 예를 나타내고, 도 4d는 도 4c에 도시된 이미지에 대한 감정 추정 결과를 나타낸다.FIG. 4A shows an example of the operation of the emotion estimator shown in FIG. 2, FIG. 4B shows the emotion estimation result for the image shown in FIG. 4A, and FIG. 4C shows another example of the operation of the emotion estimator shown in FIG. And Fig. 4D shows the emotion estimation result for the image shown in Fig. 4C.

도 4a 내지 도 4d를 참조하면, 감정 추정기(230)는 객체의 얼굴로부터 객체의 감정을 추정할 수 있다. 감정 추정기(230)는 도 4의 사각형으로 표시된 얼굴로부터 객체의 감정을 추정할 수 있다. 감정 추정기(230)는 인공 신경망을 학습시킴으로써 객체의 감정을 추정할 수 있다. 4A through 4D, the emotion estimator 230 may estimate the emotion of an object from the face of the object. The emotion estimator 230 may estimate the emotion of the object from the face represented by the rectangle in Fig. The emotion estimator 230 can estimate the emotion of the object by learning the artificial neural network.

예를 들어, 감정 추정기(230)는 합성곱 신경망을 학습시켜 객체의 감정을 추정할 수 있다. 감정 추정기(230)는 카시아 웹페이스 데이터 베이스(CASIA WebFace DB)를 이용하여 파인 튜닝(Fine-tuning)한 알렉스 넷 CNN(AlexNet CNN)을 이용하여 객체의 감정을 추정할 수 있다.For example, the emotion estimator 230 can estimate the emotion of an object by learning a compound neural network. The emotion estimator 230 can estimate the emotion of the object using the fine-tuned Alexnet CNN using the CASIA WebFace DB.

도 4b에 나타난 바와 같이 감정 추정기(230)가 도 4a로부터 행복(happy)이라는 감정을 추정할 수 있다. 마찬가지로, 감정 추정기(230)는 도 4c에 나타난 얼굴로부터 도 4d와 같이 놀람(surprise)이라는 감정을 추정할 수 있다.As shown in FIG. 4B, the emotion estimator 230 may estimate the feeling of being happy from FIG. 4A. Similarly, the emotion estimator 230 may estimate emotion from the face shown in FIG. 4C as surprise as shown in FIG. 4d.

감정 추정기(230)는 추정된 감정을 누적시켜 최근 K 개의 프레임(frame)에서 높은 횟수로 나타나는 감정으로 객체의 감정을 추정할 수 있다.The emotion estimator 230 can estimate the emotion of the object by accumulating the estimated emotion and emotion appearing at a high frequency in the recent K frames.

도 5는 도 2에 도시된 컬러 조합 생성기의 개략적인 블록도를 나타낸다.FIG. 5 shows a schematic block diagram of the color combination generator shown in FIG. 2. FIG.

컬러 조합 생성기(250)는 특징 벡터 생성기(251), 상관관계 추정기(253) 및 컬러 조합 정렬기(255)를 포함할 수 있다.The color combination generator 250 may include a feature vector generator 251, a correlation estimator 253, and a color combination sorter 255.

특징 벡터 생성기(251)는 학습 이미지 및 감성 모델(affective model)에 의해 정의된 시각 사전(visual dictionary)에 기초하여 컬러 특징 벡터를 생성할 수 있다. 특징 벡터 생성기(251)가 사용하는 감성 모델은 고바야시(Kobayashi) 감성 모델을 포함할 수 있다.The feature vector generator 251 may generate a color feature vector based on a learning dictionary and a visual dictionary defined by an affective model. The emotion model used by the feature vector generator 251 may include a Kobayashi emotion model.

고바야시 감성 모델은 웹 디자인, 섬유, 패션등에 다양하게 응용될 수 있다. 고바야시 감성 모델은 다양한 감성 단어들로 구성될 수 있다. 고바야시 감성 단어와 그에 대응되는 컬러 테라피 효과는 표 1과 같이 나타낼 수 있다.Kobayashi's emotional model can be applied to web design, textile, and fashion. The Kobayashi emotion model can be composed of various emotional words. The Kobayashi emotional word and its corresponding color therapy effect can be shown in Table 1.

컬러 효과Color effect 맵핑된 감성들Mapped emotions 분노(anger)Anger 넓은 마음(broad mind), 해방(liberation)Broad mind, liberation, 차분한(cool), 모던한(modern)Cool, modern, 역겨움(disgust)Disgust 평화(peace), 안정(stability), 고요(calmness)Peace, stability, calmness, 차분한(cool), 자연스러운(natural)Cool, natural, 두려움(fear)Fear 강화(reinforcement), 밝음(bright), 조화(harmony)Reinforcement, bright, harmony, 예쁜(pretty), 로맨틱한(romantic)Pretty, romantic, 행복(happy)Happy 편안함(comfort), 자연(nature), 젊음(young)Comfort, nature, young, 순수한(pure), 로맨틱한(romantic)Pure, romantic, 슬픔(sadness)Sadness 회복(recovery), 활기(bounce), 따뜻함(warm)Recovery, bounce, warm, 역동적인(dynamic), 아주 멋진(gorgeous)Dynamic, very gorgeous, 놀람(surprise)Surprise 안정(stability), 이완(relax), 고요(calmness)Stability, relax, calmness, 차분한(cool), 조용한(quiet)Cool, quiet, 무감정(neutral)Neutral 지혜(wisdom), 심미적(aesthetic)Wisdom, aesthetic, 자연스러운(natural)Natural

고바야시 감성 모델은 시장 조사를 통해 감성 단어와 컬러들의 관계가 정의된 것일 수 있다.The Kobayashi emotion model may be defined as the relationship between emotional words and colors through market research.

특징 벡터 생성기(251)는 학습 이미지를 양자화(quantize)하고, 양자화된 학습 이미지를 분할하여 분할 영역을 생성할 수 있다. 특징 벡터 생성기(251)는 생성한 분할 영역의 중요도를 계산하여 중요 영역을 선택하고, 중요 영역과 중요 영역의 인접 영역에 대응되는 인접 컬러 조합을 생성할 수 있다.The feature vector generator 251 may quantize the training image and generate a divided area by dividing the quantized training image. The feature vector generator 251 can calculate the importance of the generated divided region to select the important region and generate the adjacent color combination corresponding to the adjacent region of the important region and the important region.

특징 벡터 생성기(251)는 시각 사전에서 인접 컬러 조합과 유사한 컬러 조합을 검색하여 유사도를 계산하고, 중요도 및 유사도를 이용하여 중요 영역에 대한 발생 값(occurrence value)을 계산할 수 있다.The feature vector generator 251 may calculate a similarity by searching a color combination similar to the adjacent color combination in the time dictionary, and calculate an occurrence value for the important region using the importance and the similarity.

특징 벡터 생성기(251)는 계산된 발생 값을 누적하고, 정규화(normalization)함으로써 컬러 특징 벡터를 생성할 수 있다. 특징 벡터 생성기(251)는 컬러 특징 벡터를 상관관계 추정기(253)로 출력할 수 있다.The feature vector generator 251 may accumulate the calculated occurrence values and normalize them to generate color feature vectors. The feature vector generator 251 may output the color feature vector to the correlation estimator 253.

상관관계 추정기(253)는 기계 학습을 이용하여 컬러 특징 벡터와 감성 모델 간의 상관관계를 추정할 수 있다. 상관관계 추정기(253)는 pLSA(Probabilistic Latent Semantic Analysis) 학습을 이용하여 컬러 특징 벡터와 감성 모델 간의 상관관계를 추정할 수 있다.The correlation estimator 253 can estimate the correlation between the color feature vector and the emotion model using machine learning. The correlation estimator 253 can estimate the correlation between the color feature vector and the emotion model using Probabilistic Latent Semantic Analysis (pLSA) learning.

컬러 조합 정렬기(255)는 상관관계 및 감성 모델에 기초한 가중치를 이용하여 컬러 조합을 생성할 수 있다.The color combination sorter 255 may generate color combinations using weights based on the correlation and emotion models.

도 6은 일 실시예에 따른 특징 벡터 추출 알고리즘의 예를 나타낸다.FIG. 6 shows an example of a feature vector extraction algorithm according to an embodiment.

도 6을 참조하면, 특징 벡터 생성기(251)는 고바야시의 컬러 이미지 스케일(color image sclae)에 따라 정의된 시각 사전(visual dictionary)를 사용할 수 있다. 시각 사전은 592개의 컬러 조합을 포함할 수 있다. 특징 벡터 생성기(251)는 복수의 RGB 컬러 이미지를 학습 이미지로 사용할 수 있다.Referring to FIG. 6, the feature vector generator 251 may use a visual dictionary defined according to Kobayashi's color image sclae. The visual dictionary may contain 592 color combinations. The feature vector generator 251 can use a plurality of RGB color images as learning images.

RGB 컬러 이미지는 224개의 컬러를 표현할 수 있다. 특징 벡터 생성기(251)는 이러한 RGB 컬러 이미지를 130 개의 컬러로 구성된 이미지로 양자화할 수 있다.An RGB color image can represent 2 24 colors. The feature vector generator 251 can quantize the RGB color image into an image composed of 130 colors.

특징 벡터 생성기(251)는 양자화된 학습 이미지를 민 쉬프트 클러스터링(mean-shift clustering)을 이용하여 분할함으로써 분할 영역을 생성할 수 있다.The feature vector generator 251 may generate the segmented region by dividing the quantized training image using mean-shift clustering.

특징 벡터 생성기(251)는 분할된 각 영역 Ri에 대해서 영역의 넓이(area)를 계산하고, 학습 이미지의 크기로 나누어 정규화하여 A(Ri)를 계산할 수 있다. 특징 벡터 생성기(251)는 분할 영역의 중심좌표 (d)와 학습 이미지의 중심 좌표 (μ) 간의 가우시간 거리 G(Ri)를 계산할 수 있다.The feature vector generator 251 can calculate A (R i ) by calculating the area of each region R i , dividing the area by the size of the learning image, and normalizing the area. The feature vector generator 251 can calculate the go ahead time distance G (R i ) between the center coordinate (d) of the divided area and the center coordinate (μ) of the learning image.

특징 벡터 생성기(251)는 수학식 1과 같이 A(Ri)와 G(Ri)를 곱하여 분할된 영역의 중요도(significant value) Φ(Ri)를 계산할 수 있다.The feature vector generator 251 can calculate a significant value? (R i ) of the divided region by multiplying A (R i ) by G (R i ) as shown in Equation (1).

Figure 112017126701010-pat00001
Figure 112017126701010-pat00001

특징 벡터 생성기(251)는 중요도에 따라 분할 영역을 정렬하고, 중요도가 큰 순서로 M개의 중요 영역을 선택할 수 있다.The feature vector generator 251 can arrange the divided regions according to the importance and select M important regions in order of importance.

특징 벡터 생성기(251)는 중요 영역에 대응하는 컬러와 중요 영역의 인접 영역에 대응하는 컬러를 이용하여 인접 컬러 조합을 생성할 수 있다. 특징 벡터 생성기(251)는 시각 사전에서 인접 컬러 조합과 가장 유사한 컬러 조합을 찾아 유사도를 계산할 수 있다.The feature vector generator 251 can generate an adjacent color combination using the color corresponding to the important region and the color corresponding to the adjacent region of the important region. The feature vector generator 251 can calculate the similarity by finding a color combination most similar to the adjacent color combination in the time dictionary.

특징 벡터 생성기(251)는 중요도와 유사도를 곱하여 발생 값(occurrence value)을 계산하고, 계산된 발생 값을 발생 벡터(occurrence vector)에 누적시킬 수 있다. 특징 벡터 생성기(251)는 발생 값이 누적된 발생 벡터를 정규화함으로써 컬러 특징 벡터(또는 발생 값이 누적된 발생 벡터) λi를 생성할 수 있다. 예를 들어, 특징 벡터 생성기(251)는 L1 표준화 방법을 사용하여 컬러 특징 벡터를 생성할 수 있다.The feature vector generator 251 may multiply importance and similarity to calculate an occurrence value, and accumulate the generated occurrence value in a occurrence vector. The feature vector generator 251 may generate a color feature vector (or an occurrence vector of accumulated occurrences) [lambda] i by normalizing the generated occurrence vector. For example, the feature vector generator 251 may generate a color feature vector using the L1 normalization method.

도 7은 일 실시예에 따른 컬러 특징 벡터와 감성 모델 간의 상관관계를 시각화한 예를 나타낸다.FIG. 7 shows an example of visualizing the correlation between the color feature vector and the emotion model according to an embodiment.

도 7을 참조하면, 상관관계 추정기(253)는 용어(term)-문서(document) 행렬을 전제조건으로 계산하여 pLSA 모델을 학습시킬 수 있다. n(di, wj)는 이미지 di에 나타난 시각 특징(visual feature) wj의 수를 의미할 수 있다. 이미지 di에 대한 컬러 특징 벡터(또는 발생 벡터)는 (n(di, w1), n(di, w2), ..., n(di, wj))와 같이 나타낼 수 있다. 컬러 특징 벡터는 표준화된 벡터를 의미할 수 있다. 예를 들어, 컬러 특징 벡터는 L1 표준화된 벡터를 의미할 수 있다.Referring to FIG. 7, the correlation estimator 253 may learn the pLSA model by calculating a term-document matrix as a precondition. n (d i , w j ) may refer to the number of visual features w j in the image d i . Color feature vector for the image d i (or generating vector) is expressed as (n (d i, w 1 ), n (d i, w 2), ..., n (d i, w j)) have. The color feature vector may mean a normalized vector. For example, the color feature vector may mean an L1 normalized vector.

상관관계 추정기(253)는 기댓값 최대화(Expectation Maximization, EM) 알고리즘을 이용하여 pLSA 모델을 학습시킬 수 있다. 상관관계 추정기(253)는 이미지에 대한 스케일(scale)인 감정 확률 P(wj|zk)과 이미지에 대한 기반 진실(ground truth) P(zk|di)를 추정하기 위해 pLSA를 학습시킬 수 있다.The correlation estimator 253 can learn the pLSA model using the Expectation Maximization (EM) algorithm. The correlation estimator 253 calculates the pLSA in order to estimate the emotion probability P (w j | z k ), which is a scale for the image, and the ground truth P (z k | d i ) .

상관관계 추정기(253)는 추정된 모델 파라미터인 스케일과 기반 진실을 이용해서 관찰된 감정 확률을 수학식 2와 같이 계산할 수 있다.The correlation estimator 253 can calculate the observed emotion probability using the estimated model parameter scale and the base truth as Equation (2).

Figure 112017126701010-pat00002
Figure 112017126701010-pat00002

상관관계 추정기(253)는 P(wj|zk)과, P(zk|di)를 수학식 3 및 수학식 4에 따라 새로운 기댓값 P(zk|dj, wj)을 이용하여 업데이트할 수 있다.Correlation estimator 253 P (w j | z k), and, P (z k | d i) new expected value P according to Equation 3 and Equation 4 (z k | d j, w j) using the Can be updated.

Figure 112017126701010-pat00003
Figure 112017126701010-pat00003

Figure 112017126701010-pat00004
Figure 112017126701010-pat00004

상관관계 추정기(253)는 pLSA를 나누어 학습시킴으로써, 컬러 조합에 대한 스케일 및 SIFT 기반 특징에 대한 스케일을 각각 생성할 수 있다. 도 7의 도면은 pLSA 학습에 따라 생성된 스케일들을 나타낸다.The correlation estimator 253 may separately generate a scale for the color combination and a scale for the SIFT-based characteristic by learning the pLSA separately. The diagram of FIG. 7 shows the scales generated in accordance with the pLSA learning.

도 7의 x 축은 592 개의 컬러 조합들로부터 추출한 시각 특징을 의미할 수 있고, y 축은 고바야시 감성을 의미할 수 있다. 밝은 셀은 시각 특징이 고바야시 감성과 높은 상관 관계를 가짐을 의미할 수 있다.The x-axis in FIG. 7 may mean a visual feature extracted from 592 color combinations, and the y-axis may mean Kobayashi's sensibility. A bright cell can mean that visual characteristics have a high correlation with Kobayashi sensitivity.

도 8은 일 실시예에 따른 컬러 조합 생성 결과의 예를 나타낸다.Fig. 8 shows an example of a color combination creation result according to an embodiment.

도 8을 참조하면, 컬러 조합 정렬기(255)는 추정된 상관관계와 감성 모델의 감성을 매핑할 수 있다. 컬러 조합 정렬기(255)는 표 1의 모델을 이용하여 감성을 매핑할 수 있다.Referring to FIG. 8, the color combination sorter 255 can map the emotion of the emotion model to the estimated correlation. The color combination sorter 255 may map emotions using the model of Table 1.

컬러 조합 정렬기(255)는 상관관계에 기초하여 컬러 조합들의 가중치를 계산할 수 있다. 컬러 조합 정렬기(255)는 가중치에 따라 컬러 조합을 정렬시킬 수 있다. 컬러 조합 정렬기(255)는 높은 상관 관계를 가지는 컬러 조합을 조명 제어기(270)로 출력할 수 있다.The color combination sorter 255 may calculate the weight of the color combinations based on the correlation. The color combination sorter 255 can sort the color combinations according to the weights. The color combination sorter 255 may output a color combination having a high correlation to the lighting controller 270. [

컬러 조합 정렬기(255)는 도 8에서와 같이 3개의 컬러로 구성된 컬러 조합을 가중치에 따라 상위 20개 정렬하였지만, 하나의 컬러 조합에 포함되는 컬러의 수와 전체 컬러 조합의 개수는 이에 한정되지 않으며 도 8의 예시보다 많거나 적을 수 있다.The color combination aligner 255 arranges the color combinations composed of the three colors in the top 20 according to the weights as shown in FIG. 8, but the number of colors included in one color combination and the number of the whole color combinations are not limited thereto And may be more or less than the example of FIG.

도 9는 도 1에 도시된 조명 테라피 장치에 의해 제어되는 조명의 예를 나타낸다.Fig. 9 shows an example of illumination controlled by the illumination therapy apparatus shown in Fig.

조명 제어기(270)는 컬러 조합에 대응하는 컬러를 조명으로 출력하도록 제어신호를 생성할 수 있다. 조명 제어기(270)는 도 9와 같이 하나의 조명에서 시간차를 두고 컬러 조합의 컬러들을 순차적으로 출력하게 할 수도 있지만, 복수의 조명에서 컬러 조합에 포함되는 복수의 컬러를 동시에 출력할 수도 있다.The illumination controller 270 may generate a control signal to output the color corresponding to the color combination to the illumination. The illumination controller 270 may sequentially output the colors of the color combination at a time difference in one illumination as shown in FIG. 9, but may simultaneously output a plurality of colors included in the color combination in the plurality of lights.

도 10은 도 1에 도시된 조명 테라피 장치의 동작의 순서도를 나타낸다.Fig. 10 shows a flow chart of the operation of the illumination therapy apparatus shown in Fig.

도 10을 참조하면, 수신기(100)는 객체의 이미지를 수신할 수 있다. 예를 들어, 수신기(100)는 스트리밍 영상을 수신할 수 있다. 얼굴 검출기(210)는 수신한 감정 추정기(230)는 얼굴 검출기(210)가 검출한 얼굴의 표정으로부터 객체의 감정을 추출할 수 있다(S110). 감정 추정기(230)는 합성곱 인경신경망을 학습시켜 객체의 감정을 추정할 수 있다. 감정 추정기(230)는 추정한 감정 중 지배적 감정을 컬러 조합 생성기(250)로 출력할 수 있다.Referring to FIG. 10, the receiver 100 may receive an image of an object. For example, the receiver 100 may receive streaming video. The facial detector 210 can extract the emotion of the object from the facial expression detected by the facial detector 210 in step S110. The emotion estimator 230 can estimate the emotion of the object by learning the composite multipath neural network. The emotion estimator 230 may output the dominant emotion among the estimated emotions to the color combination generator 250.

컬러 조합 생성기(250)는 객체의 감정에 기초하여 컬러 조합을 추천할 수 있다(S130). 특징 벡터 생성기(251)는 객체의 감정에 기초하여 시각 사전에서 인접 컬러 조합과 유사한 컬러 조합을 검색하여 유사도를 계산하고, 중요도 및 유사도를 이용하여 중요 영역에 대한 발생 값(occurrence value)을 계산할 수 있다. 특징 벡터 생성기(251)는 계산된 발생 값을 누적하고, 정규화(normalization)함으로써 컬러 특징 벡터를 생성할 수 있다.The color combination generator 250 may recommend a color combination based on the emotion of the object (S130). The feature vector generator 251 calculates the similarity by searching for a color combination similar to the adjacent color combination in the time dictionary based on the emotion of the object, and calculates the occurrence value for the important region using the importance and the similarity have. The feature vector generator 251 may accumulate the calculated occurrence values and normalize them to generate color feature vectors.

상관관계 추정기(253)는 기계 학습을 이용하여 컬러 특징 벡터와 감성 모델 간의 상관관계를 추정할 수 있다. 상관관계 추정기(253)는 pLSA(Probabilistic Latent Semantic Analysis) 학습을 이용하여 컬러 특징 벡터와 감성 모델 간의 상관관계를 추정할 수 있다. 컬러 조합 정렬기(255)는 상관관계 및 감성 모델에 기초한 가중치를 이용하여 컬러 조합을 생성할 수 있다.The correlation estimator 253 can estimate the correlation between the color feature vector and the emotion model using machine learning. The correlation estimator 253 can estimate the correlation between the color feature vector and the emotion model using Probabilistic Latent Semantic Analysis (pLSA) learning. The color combination sorter 255 may generate color combinations using weights based on the correlation and emotion models.

조명 제어기(270)는 생성된 컬러 조합을 출력하도록 조명을 제어할 수 있다(S150). 조명 제어기(270)는 블루투스 통신을 이용하여 조명을 제어할 수 있다. 조명 제어기(270)가 제어하는 조명은 스마트 전구를 포함할 수 있다. 예를 들어, 스마트 전구는 벌브톤(blubtone) 전구를 포함할 수 있다.The illumination controller 270 may control the illumination to output the generated color combination (S150). The lighting controller 270 may control the lighting using Bluetooth communication. The illumination controlled by the illumination controller 270 may include a smart bulb. For example, a smart light bulb may include a blubtone light bulb.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA) , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (20)

객체의 이미지로부터 상기 객체의 얼굴을 검출하는 단계;
상기 얼굴의 표정에 기초하여 상기 객체의 감정을 추정하는 단계;
상기 감정에 기초하여 기계 학습을 이용해 컬러 조합을 생성하는 단계; 및
상기 컬러 조합에 기초하여 조명을 제어하는 단계
를 포함하는 조명 테라피 장치 제어 방법.
Detecting a face of the object from an image of the object;
Estimating an emotion of the object based on the facial expression;
Generating a color combination using machine learning based on the emotion; And
Controlling the illumination based on the color combination
≪ / RTI >
제1항에 있어서,
상기 검출하는 단계는,
아다부스트(Adaboost) 알고리즘을 이용하여 상기 얼굴을 검출하는 단계
를 포함하는 조명 테라피 장치 제어 방법.
The method according to claim 1,
Wherein the detecting comprises:
Detecting the face using an Adaboost algorithm
≪ / RTI >
제1항에 있어서,
상기 추정하는 단계는,
합성곱 신경망(Convolutional Neural Network)을 통해 상기 감정을 추정하는 단계
를 포함하는 조명 테라피 장치 제어 방법.
The method according to claim 1,
Wherein the estimating step comprises:
Estimating the emotion through a Convolutional Neural Network
≪ / RTI >
제1항에 있어서,
상기 감정은,
분노(anger), 역겨움(disgust), 두려움(fear), 행복(happy), 슬픔(sad), 놀람(surprise), 무감정(neutral)
을 포함하는 조명 테라피 장치 제어 방법.
The method according to claim 1,
The emotion,
Anger, disgust, fear, happiness, sad, surprise, neutral,
And a control unit for controlling the lighting therapy device.
제1항에 있어서,
상기 생성하는 단계는,
학습 이미지 및 감성 모델에 의해 정의된 시각 사전(visual dictionary)에 기초하여 컬러 특징 벡터를 생성하는 단계;
기계 학습을 이용하여 상기 컬러 특징 벡터와 상기 감성 모델 간의 상관관계를 추정하는 단계; 및
상기 상관관계 및 상기 감성 모델에 기초한 가중치를 이용하여 컬러 조합을 생성하는 단계
를 포함하는 조명 테라피 장치 제어 방법.
The method according to claim 1,
Wherein the generating comprises:
Generating a color feature vector based on a visual dictionary defined by a learning image and an emotional model;
Estimating a correlation between the color feature vector and the emotion model using machine learning; And
Generating a color combination using the correlation and a weight based on the emotional model;
≪ / RTI >
제5항에 있어서,
상기 컬러 특징 벡터를 생성하는 단계는,
상기 학습 이미지를 양자화(quantize)하는 단계;
양자화된 학습 이미지를 분할하여 분할 영역을 생성하는 단계;
상기 분할 영역의 중요도를 계산하여 중요 영역을 선택하는 단계;
상기 중요 영역과 상기 중요 영역의 인접 영역에 대응되는 인접 컬러 조합을 생성하는 단계;
상기 시각 사전에서 상기 인접 컬러 조합과 유사한 컬러 조합을 검색하여 유사도를 계산하는 단계;
상기 중요도 및 상기 유사도를 이용하여 상기 중요 영역에 대한 발생 값(occurrence value)을 계산하는 단계; 및
상기 발생 값을 누적하고, 정규화(normalization)함으로써 컬러 특징 벡터를 생성하는 단계
를 포함하는 조명 테라피 장치 제어 방법.
6. The method of claim 5,
Wherein the generating of the color feature vector comprises:
Quantizing the training image;
Dividing a quantized learning image into a divided area;
Calculating an importance degree of the divided region and selecting an important region;
Generating an adjacent color combination corresponding to the important area and the adjacent area of the important area;
Retrieving a color combination similar to the adjacent color combination in the time dictionary and calculating the similarity;
Calculating an occurrence value for the critical region using the importance and the similarity; And
Accumulating the occurrence values, and normalizing the color feature vectors to generate color feature vectors
≪ / RTI >
제5항에 있어서,
상기 상관관계를 추정하는 단계는,
pLSA(Probabilistic Latent Semantic Analysis) 학습을 이용하여 상기 컬러 특징 벡터와 상기 감성 모델 간의 상관관계를 추정하는 단계
를 포함하는 조명 테라피 장치 제어 방법.
6. The method of claim 5,
Wherein the estimating the correlation comprises:
estimating a correlation between the color feature vector and the emotion model using probabilistic latent semantic analysis (pLSA) learning
≪ / RTI >
제5항에 있어서,
상기 감성 모델은,
고바야시(Kobayashi) 감성 모델
을 포함하는 조명 테라피 장치 제어 방법.
6. The method of claim 5,
In the emotion model,
Kobayashi Sensibility Model
And a control unit for controlling the lighting therapy device.
제1항에 있어서,
상기 제어하는 단계는,
상기 컬러 조합에 포함되는 복수의 컬러를 복수의 조명으로 동시에 출력하는 단계; 또는
상기 컬러 조합에 포함되는 복수의 컬러를 상이한 시점에 조명으로 출력하는 단계
를 포함하는 조명 테라피 장치 제어 방법.
The method according to claim 1,
Wherein the controlling comprises:
Simultaneously outputting a plurality of colors included in the color combination to a plurality of lights; or
Outputting a plurality of colors included in the color combination as lights at different points in time;
≪ / RTI >
제1항에 있어서,
상기 제어하는 단계는,
블루투스 통신을 이용하여 상기 조명을 제어하는 단계
를 포함하는 조명 테라피 장치 제어 방법.
The method according to claim 1,
Wherein the controlling comprises:
Controlling the light using Bluetooth communication
≪ / RTI >
객체의 이미지를 수신하는 수신기; 및
상기 이미지로부터 상기 객체의 얼굴을 검출하고, 상기 얼굴의 표정에 기초하여 상기 객체의 감정을 추정하고, 상기 감정에 기초하여 기계 학습을 이용해 컬러 조합을 생성하고, 상기 컬러 조합에 기초하여 조명을 제어하는 컨트롤러
를 포함하고,
상기 컨트롤러는,
객체의 얼굴을 검출하는 얼굴 검출기;
상기 얼굴의 표정에 기초하여 상기 객체의 감정을 추정하는 감정 추정기;
상기 감정에 기초하여 기계 학습을 이용해 컬러 조합을 생성하는 컬러 조합 생성기; 및
상기 컬러 조합에 기초하여 조명을 제어하는 조명 제어기
를 포함하는 조명 테라피 장치.
A receiver for receiving an image of an object; And
Detecting a face of the object from the image; estimating an emotion of the object based on the facial expression; generating a color combination using machine learning based on the emotion; Controller
Lt; / RTI >
The controller comprising:
A face detector for detecting a face of the object;
An emotion estimator for estimating an emotion of the object based on a facial expression;
A color combination generator for generating a color combination using machine learning based on the emotion; And
A light controller for controlling illumination based on the color combination;
≪ / RTI >
제11항에 있어서,
상기 얼굴 검출기는,
아다부스트(Adaboost) 알고리즘을 이용하여 상기 얼굴을 검출하는
조명 테라피 장치.
12. The method of claim 11,
Wherein the face detector comprises:
The face is detected using the Adaboost algorithm
Lighting therapy devices.
제11항에 있어서,
상기 감정 추정기는,
합성곱 신경망(Convolutional Neural Network)을 통해 상기 감정을 추정하는
조명 테라피 장치.
12. The method of claim 11,
The emotion estimator includes:
The emotion is estimated through the Convolutional Neural Network
Lighting therapy devices.
제11항에 있어서,
상기 감정은,
분노(anger), 역겨움(disgust), 두려움(fear), 행복(happy), 슬픔(sad), 놀람(surprise), 무감정(neutral)
을 포함하는 조명 테라피 장치.
12. The method of claim 11,
The emotion,
Anger, disgust, fear, happiness, sad, surprise, neutral,
≪ / RTI >
제11항에 있어서,
상기 컬러 조합 생성기는,
학습 이미지 및 감성 모델에 의해 정의된 시각 사전(visual dictionary)에 기초하여 컬러 특징 벡터를 생성하는 특징 벡터 생성기;
기계 학습을 이용하여 상기 컬러 특징 벡터와 상기 감성 모델 간의 상관관계를 추정하는 상관관계 추정기; 및
상기 상관관계 및 상기 감성 모델에 기초한 가중치를 이용하여 컬러 조합을 생성하는 컬러 조합 정렬기
를 포함하는 조명 테라피 장치.
12. The method of claim 11,
Wherein the color combination generator comprises:
A feature vector generator for generating a color feature vector based on a visual dictionary defined by a learning image and an emotion model;
A correlation estimator for estimating a correlation between the color feature vector and the emotion model using machine learning; And
A color combination sorter for generating a color combination using the correlation and a weight based on the emotion model,
≪ / RTI >
제15항에 있어서,
상기 특징 벡터 생성기는,
상기 학습 이미지를 양자화(quantize)하고, 양자화된 학습 이미지를 분할하여 분할 영역을 생성하고, 상기 분할 영역의 중요도를 계산하여 중요 영역을 선택하고, 상기 중요 영역과 상기 중요 영역의 인접 영역에 대응되는 인접 컬러 조합을 생성하고, 상기 시각 사전에서 상기 인접 컬러 조합과 유사한 컬러 조합을 검색하여 유사도를 계산하고, 상기 중요도 및 상기 유사도를 이용하여 상기 중요 영역에 대한 발생 값(occurrence value)을 계산하고, 상기 발생 값을 누적하고, 정규화(normalization)함으로써 컬러 특징 벡터를 생성하는
를 포함하는 조명 테라피 장치.
16. The method of claim 15,
Wherein the feature vector generator comprises:
A quantization step of quantizing the learning image, generating a divided area by dividing the quantized learning image, calculating a degree of importance of the divided area to select a significant area, Calculating a similarity by searching for a color combination similar to the adjacent color combination in the time dictionary, calculating an occurrence value for the important region using the importance and the similarity, Accumulates the generated values, and normalizes them to generate color feature vectors
≪ / RTI >
제15항에 있어서,
상기 상관관계 추정기는,
pLSA(Probabilistic Latent Semantic Analysis) 학습을 이용하여 상기 컬러 특징 벡터와 상기 감성 모델 간의 상관관계를 추정하는
조명 테라피 장치.
16. The method of claim 15,
Wherein the correlation estimator comprises:
a correlation between the color feature vector and the emotion model is estimated using probabilistic latent semantic analysis (pLSA) learning
Lighting therapy devices.
제15항에 있어서,
상기 감성 모델은,
고바야시(Kobayashi) 감성 모델
을 포함하는 조명 테라피 장치.
16. The method of claim 15,
In the emotion model,
Kobayashi Sensibility Model
≪ / RTI >
제11항에 있어서,
상기 조명 제어기는,
상기 컬러 조합에 포함되는 복수의 컬러를 복수의 조명으로 동시에 출력하거나 상기 컬러 조합에 포함되는 복수의 컬러를 상이한 시점에 조명으로 출력하는
조명 테라피 장치.
12. The method of claim 11,
The illumination controller includes:
A plurality of colors included in the color combination are simultaneously output as a plurality of lights, or a plurality of colors included in the color combination are output as lights at different points in time
Lighting therapy devices.
제11항에 있어서,
상기 조명 제어기는,
블루투스 통신을 이용하여 상기 조명을 제어하는
를 포함하는 조명 테라피 장치.
12. The method of claim 11,
The illumination controller includes:
Controlling the light using Bluetooth communication
≪ / RTI >
KR1020170175426A 2017-12-19 2017-12-19 A method and apparatus for lighting therapy based on emotianal state KR101984410B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170175426A KR101984410B1 (en) 2017-12-19 2017-12-19 A method and apparatus for lighting therapy based on emotianal state

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170175426A KR101984410B1 (en) 2017-12-19 2017-12-19 A method and apparatus for lighting therapy based on emotianal state

Publications (1)

Publication Number Publication Date
KR101984410B1 true KR101984410B1 (en) 2019-05-30

Family

ID=66675463

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170175426A KR101984410B1 (en) 2017-12-19 2017-12-19 A method and apparatus for lighting therapy based on emotianal state

Country Status (1)

Country Link
KR (1) KR101984410B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110237372A (en) * 2019-07-24 2019-09-17 南阳医学高等专科学校第一附属医院 Children's Intelligent Atomizer
CN111023030A (en) * 2019-12-24 2020-04-17 广州海虹园林景观工程有限公司 Colorful luminous artificial tree for night landscape
CN112487980A (en) * 2020-11-30 2021-03-12 深圳市广信安科技股份有限公司 Micro-expression-based treatment method, device, system and computer-readable storage medium
KR102268804B1 (en) * 2021-02-16 2021-06-25 최현수 Method and apparatus for providing lighting and music according to sleep conditions using artificial intelligence
KR20210120464A (en) * 2020-03-27 2021-10-07 주식회사 네모엘텍 Therapy lighting apparatus and lighting system using machine learning recommendation
WO2022173386A1 (en) * 2021-02-12 2022-08-18 Yaşar Üni̇versi̇tesi̇ Digital fashion taste meter system
KR20220117545A (en) * 2021-02-17 2022-08-24 연세대학교 산학협력단 Apparatus and Method for Recommending Emotional Color Scheme based on Image Search

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348872A (en) * 2004-06-09 2005-12-22 Nippon Hoso Kyokai <Nhk> Feeling estimation device and feeling estimation program
KR20160023264A (en) * 2014-08-22 2016-03-03 아주대학교산학협력단 System and method for providing therapy based on smart space
KR20170007890A (en) * 2015-07-13 2017-01-23 (주)모스트비주얼 Led lighting system for providing smart therapy

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348872A (en) * 2004-06-09 2005-12-22 Nippon Hoso Kyokai <Nhk> Feeling estimation device and feeling estimation program
KR20160023264A (en) * 2014-08-22 2016-03-03 아주대학교산학협력단 System and method for providing therapy based on smart space
KR20170007890A (en) * 2015-07-13 2017-01-23 (주)모스트비주얼 Led lighting system for providing smart therapy

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110237372A (en) * 2019-07-24 2019-09-17 南阳医学高等专科学校第一附属医院 Children's Intelligent Atomizer
CN110237372B (en) * 2019-07-24 2021-11-09 南阳医学高等专科学校第一附属医院 Intelligent atomizer for children
CN111023030A (en) * 2019-12-24 2020-04-17 广州海虹园林景观工程有限公司 Colorful luminous artificial tree for night landscape
KR20210120464A (en) * 2020-03-27 2021-10-07 주식회사 네모엘텍 Therapy lighting apparatus and lighting system using machine learning recommendation
KR102439836B1 (en) * 2020-03-27 2022-09-02 주식회사 네모엘텍 Therapy lighting apparatus and lighting system using machine learning recommendation
CN112487980A (en) * 2020-11-30 2021-03-12 深圳市广信安科技股份有限公司 Micro-expression-based treatment method, device, system and computer-readable storage medium
WO2022173386A1 (en) * 2021-02-12 2022-08-18 Yaşar Üni̇versi̇tesi̇ Digital fashion taste meter system
KR102268804B1 (en) * 2021-02-16 2021-06-25 최현수 Method and apparatus for providing lighting and music according to sleep conditions using artificial intelligence
KR102344875B1 (en) * 2021-02-16 2021-12-28 최현수 Method and apparatus for determining a frequency band and illuminance according to the sleeping state, and providing music according to the determined frequency band and lighting according to the illuminance
KR20220117545A (en) * 2021-02-17 2022-08-24 연세대학교 산학협력단 Apparatus and Method for Recommending Emotional Color Scheme based on Image Search
KR102560276B1 (en) 2021-02-17 2023-07-26 연세대학교 산학협력단 Apparatus and Method for Recommending Emotional Color Scheme based on Image Search

Similar Documents

Publication Publication Date Title
KR101984410B1 (en) A method and apparatus for lighting therapy based on emotianal state
US20210378554A1 (en) Method and system for privacy-preserving health monitoring
Jovanovic et al. Building interpretable predictive models for pediatric hospital readmission using Tree-Lasso logistic regression
Sangineto et al. We are not all equal: Personalizing models for facial expression analysis with transductive parameter transfer
CN112381011B (en) Non-contact heart rate measurement method, system and device based on face image
CN110211690A (en) Disease risks prediction technique, device, computer equipment and computer storage medium
CN106295313B (en) Object identity management method and device and electronic equipment
Hasan et al. SmartHeLP: Smartphone-based hemoglobin level prediction using an artificial neural network
Ghosh et al. Automatic group affect analysis in images via visual attribute and feature networks
KR20190081243A (en) Method and apparatus of recognizing facial expression based on normalized expressiveness and learning method of recognizing facial expression
Ruminski et al. Interactions with recognized patients using smart glasses
Calero et al. Embedded emotion recognition within cyber-physical systems using physiological signals
US11717467B2 (en) Automated generation of control signals for sexual stimulation devices
CN110689030A (en) Attribute recognition device and method, and storage medium
TWI525574B (en) Collaborative face annotation method and collaborative face annotation system
Samadiani et al. A multiple feature fusion framework for video emotion recognition in the wild
Kumar et al. Robotic Attendance Scheme in the Classroom Using Artificial Intelligence and Internet of Things
CN116916504A (en) Intelligent control method, device and equipment for dimming panel and storage medium
Uddin et al. An indoor human activity recognition system for smart home using local binary pattern features with hidden markov models
Bhat et al. Evaluation of deep learning model for human activity recognition
Sahy et al. Detection of the patient with COVID-19 relying on ML technology and FAST algorithms to extract the features
CN109117800A (en) Face gender identification method and system based on convolutional neural networks
Zhang et al. Automatic construction and extraction of sports moment feature variables using artificial intelligence
Zhou IYOLO-NL: An improved you only look once and none left object detector for real-time face mask detection
Hwooi et al. Monitoring application-driven continuous affect recognition from video frames

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant