WO2018164298A1 - 공간 및 시간 정보를 기반으로 하는 감성 정보 제공 장치 - Google Patents

공간 및 시간 정보를 기반으로 하는 감성 정보 제공 장치 Download PDF

Info

Publication number
WO2018164298A1
WO2018164298A1 PCT/KR2017/002562 KR2017002562W WO2018164298A1 WO 2018164298 A1 WO2018164298 A1 WO 2018164298A1 KR 2017002562 W KR2017002562 W KR 2017002562W WO 2018164298 A1 WO2018164298 A1 WO 2018164298A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
emotion
time
environment
users
Prior art date
Application number
PCT/KR2017/002562
Other languages
English (en)
French (fr)
Inventor
이양우
황민철
김삼이
Original Assignee
상명대학교서울산학협력단
(주)브라이트테크
이양우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교서울산학협력단, (주)브라이트테크, 이양우 filed Critical 상명대학교서울산학협력단
Priority to PCT/KR2017/002562 priority Critical patent/WO2018164298A1/ko
Publication of WO2018164298A1 publication Critical patent/WO2018164298A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising

Definitions

  • the present invention relates to an emotional information providing apparatus based on spatial and temporal information, and more particularly, to an emotional information providing apparatus based on spatial and temporal information for enhancing accessibility and utilization of emotional information.
  • An object of the present invention is to provide an emotion information providing apparatus based on space and time information for improving accessibility and utilization of emotion information.
  • the emotional information providing apparatus is environmental information, including temperature, humidity, illuminance, and noise information around a plurality of users, image information and a plurality of images of the environment surrounding the plurality of users
  • An input unit for receiving emotion information of a user of the controller, a controller for matching spatial information and time information in which the environment information, image information and emotion information are generated with the environment information, image information and emotion information, and the spatial information and time information
  • a database generator for storing a matched environment information, image information, and emotion information to generate a database
  • an information output unit for analyzing the database according to search information received from a user terminal and outputting an analysis result.
  • the emotion information is generated by comparing the bio-signal measurement data, behavioral measurement data, and environmental measurement data with respective reference values or using a vocabulary of web content usage data, wherein the emotional information includes a pleasant-discomfort axis and an awakening-relaxation axis. Can be categorized according to dimensional sensitivity.
  • the controller may match an area and time at which the environment information and image information are generated with the environment information and image information, and match a generation area and time of data used to generate the emotion information with the emotion information. .
  • the information output unit may calculate and output at least one of a total average value and a total change amount of each category of the database according to at least one of a local unit and a time unit included in the search information.
  • the information output unit calculates at least one of an average value and a change amount for each category of the database according to at least one of a plurality of local units and a plurality of time units included in the search information, and then calculates the calculated total average value and total change amount. At least one of the comparison results may be generated and output.
  • the user can grasp the objective feelings felt by people in a specific event or phenomenon.
  • the user can use this information for marketing or as an objective data for research analysis.
  • FIG. 1 is a block diagram of an emotion information providing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram for describing two-dimensional emotion information according to the pleasant-discomfort axis and the arousal-relaxation axis according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a method of providing emotion information according to an embodiment of the present invention.
  • FIG. 4 is a diagram for describing search information according to an embodiment of the present invention.
  • FIG. 5 is a view for explaining a method of outputting an analysis result according to an exemplary embodiment of the present invention.
  • FIG. 1 is a block diagram of an emotion information providing apparatus according to an embodiment of the present invention.
  • the emotion information providing apparatus 100 includes an input unit 110, a controller 120, a database generator 130, and an information output unit 140.
  • the input unit 110 receives environment information including temperature, humidity, illuminance, and noise information around a plurality of users, image information photographing a plurality of user surroundings, and emotion information about a plurality of users.
  • the input unit 110 includes environmental information and an image including data about temperature, humidity, illuminance, noise, and gas around the user from a sensor such as a temperature measuring instrument, a humidity measuring instrument, an illuminance measuring instrument, a noise measuring instrument, a gas measuring instrument, and a camera. Receive information in real time. The input unit 110 receives the emotion information from the user terminal.
  • the emotional information is generated by comparing biosignal measurement data, behavioral measurement data, and environmental measurement data with respective reference values or using a vocabulary of using web content usage data, and includes two-dimensional axes including a pleasant-discomfort axis and an awakening-relaxation axis. Categorized according to emotion.
  • the controller 120 matches the spatial information and time information in which the environment information, the image information, and the emotion information are generated with the environment information, the image information, and the emotion information.
  • the controller 120 matches the region and time at which the environment information and the image information are generated to the environment information and the image information, and the generation region and time of the data used to generate the emotion information to the emotion information.
  • the database generator 130 generates a database by storing environment information, image information, and emotion information matched with spatial information and time information.
  • the information output unit 140 analyzes the database according to the search information received from the user terminal and outputs the analysis result.
  • the information output unit 140 calculates and outputs at least one of the total average value and the total change amount for each category of the database according to at least one of the region unit and the time unit included in the search information.
  • the information output unit 140 calculates at least one of the average value and the change amount of each category of data for the user according to at least one of a plurality of local units and a plurality of time units included in the search information, and then calculates the total The result of comparison with at least one of the average value and the total change amount is generated and output.
  • the information output unit 140 may categorize and output sensory stimuli according to environmental information and image information according to two-dimensional emotion.
  • FIG. 2 is a diagram for describing two-dimensional emotion information according to the pleasant-discomfort axis and the arousal-relaxation axis according to an embodiment of the present invention.
  • the two-dimensional emotion information is classified into a total of nine dimensional emotions according to the two-dimensional coordinate system of the comfort-discomfort axis (x axis) and the awakening-relaxation axis (y axis).
  • space 1 is unpleasant-wake
  • space 2 is awakening
  • space 3 is pleasant-wake
  • space 4 is unpleasant
  • space 5 is neutral
  • space 6 is pleasant
  • 7 Burn space is discomfort-relaxation
  • space eight is relaxation.
  • Space nine is space of pleasure-relaxation.
  • the emotion information may be generated by applying at least one of biometric signal measurement data, behavior measurement data, environmental measurement data, and web content usage data of the subject to an emotion analysis algorithm.
  • the biosignal measurement data, behavior measurement data, environmental measurement data, and web content usage data may be the same data as the environmental information and the image information input by the input unit 110.
  • the emotion analysis algorithm extracts heart rate variability (HRV) by analyzing the user's heart rate (PPG) or ballistocardiogram (BCG), and then averages and coherences the peak values of the heart rate variability. extract the ratio.
  • HRV heart rate variability
  • PPG heart rate
  • BCG ballistocardiogram
  • the emotion analysis algorithm may set any one of nine dimensional emotions for each time slot by comparing the average value and unity ratio of the extracted peak point with a preset reference value.
  • the emotional analysis algorithm will use space 1, that is, the dimensional sensitivity of the discomfort-wake, to the corresponding time slot. It can be set as the dimensional sensitivity of.
  • the emotional analysis algorithm is based on the subject's total moving distance, number of clusters, entropy, periodic movement pattern (transadian), transition time, location diversity from the GPS data. After extracting a variance, a total distance, and the like, the variance and the total distance are compared with each preset reference value, thereby setting any one of nine dimensional emotions for each time slot.
  • the emotion analysis algorithm extracts the color elements (pixel values) constituting the image from the image data, extracts the magnitude of the noise from the noise measurement data, and compares it with each of the preset reference values. Any one can be set.
  • the emotion analysis algorithm extracts the vocabulary of the web content used by the subject from the web content data and compares it with a previously stored database to set any one of nine dimensional emotions for each time slot.
  • FIG. 3 is a flowchart illustrating a method of providing emotion information according to an embodiment of the present invention.
  • the input unit 110 receives environmental information including temperature, humidity, illuminance, and noise information around a plurality of users, image information photographing a plurality of user surroundings, and emotion information about a plurality of users (S310). .
  • control unit 120 matches the spatial information and time information in which the environment information, the image information, and the emotion information are generated with the environment information, the image information, and the emotion information (S320).
  • the controller 120 matches the area and time at which the environment information and the image information are generated to the environment information and the image information, and the generation area and time of the data used to generate the emotion information to the emotion information. That is, the controller 120 tags the region and time information generated in the environment information and the image information.
  • the database generation unit 130 generates a database by storing the environment information, image information and emotion information matched with the spatial information and time information (S230).
  • the information output unit 140 analyzes the database according to the search information received from the user terminal and outputs the analysis result (S240).
  • the information output unit 140 calculates and outputs at least one of the total average value and the total change amount for each category of the database according to at least one of the region unit and the time unit included in the search information.
  • the information output unit 140 calculates at least one of the average value and the change amount for each category of the database according to at least one of the plurality of regional units and the plurality of time units included in the search information, and then calculates the total average value and the total value. A result of comparison with at least one of the amount of change is generated and output.
  • the information output unit 140 may infer sensory stimuli for each category of the database according to at least one of a plurality of local units and a plurality of time units included in the search information.
  • the information output unit 140 compares the average value for each category according to the search information with a preset threshold range, and compares the total value according to the two-dimensional coordinate system of the pleasant-discomfort axis (x-axis) and the awakening-relaxation axis (y-axis). It can be classified into nine sensory stimuli.
  • the government output unit 140 may select the unpleasant-relaxing sensory stimulus by comparing 5 lux with a threshold range.
  • FIG. 4 is a diagram for describing search information according to an embodiment of the present invention.
  • the search information includes local information and date information.
  • the date information includes year, month, day, and time information.
  • the user may input Gangnam as the local information and May 2016 as the date information as the search information.
  • the search information also includes output form information of data to be output by the user.
  • the output form information of the data includes a map data view, an average data view, a change data view, a comparison average data view, and a comparison change data view.
  • FIG. 5 is a view for explaining a method of outputting an analysis result according to an exemplary embodiment of the present invention.
  • the average data view refers to an output form in which an average of data corresponding to local information or date information included in the search information is provided to the user as a graph or a numerical value.
  • search information is inputted using local information as a whole region and date information as a full date. Then, as shown in (a) of FIG. 5, the information output unit 140 calculates an average value for each category of all regions and all date data, and then outputs it as a graph or a numerical value.
  • the comparative average data view refers to an output form in which a mean of data corresponding to a plurality of local information or a plurality of date information included in the search information is provided to the user as a graph or a numerical value.
  • the information output unit 140 calculates the average value for each category of the total region and the total date data and the average value for each category of the data tagged with Gangnam, 1 January 2016 all at 13:00. Then print it out as a graph or numerical value.
  • the map data view refers to an output form in which emotional information is displayed on the map and provided to the user.
  • the information output unit 140 calculates the average value of emotional information tagged with Seoul, January 5, 2017 in each administrative district, and then maps and outputs the color corresponding to the average value on the Seoul map.
  • the change data view refers to an output form that provides a user with a graph or a numerical value of a change in data corresponding to local information or date information included in the search information.
  • the information output unit 140 calculates the average value for each category of the tagged data of Busan, March 5, 2017 for each time zone, and outputs it as a graph or a numerical value.
  • the comparison change data view refers to an output form in which a change trend of data corresponding to a plurality of local information or a plurality of date information included in the search information is provided to the user as a graph or a numerical value.
  • the information output unit 140 calculates the average value for each category of data tagged with Seoul, January 1, 2016 for each time zone, and calculates the average value for each category of data tagged with Seoul January 1, 2017 for each time zone. do.
  • the information output unit 140 outputs the calculated average values in graphs or numerical values, respectively.
  • the user can grasp the objective feelings felt by people in a specific event or phenomenon.
  • the user can use this information for marketing or as an objective data for research analysis.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 공간 및 시간 정보를 기반으로 하는 감성 정보 제공 장치에 관한 것이다. 본 발명에 따르면, 감성 정보 제공 장치는 복수의 사용자 주변의 온도, 습도, 조도 및 소음 정보를 포함하는 환경 정보, 복수의 사용자 주변 환경을 촬영한 영상 정보 및 복수의 사용자에 대한 감성 정보를 입력받는 입력부, 상기 환경 정보, 영상 정보 및 감성 정보가 생성된 공간 정보와 시간 정보를 상기 환경 정보, 영상 정보 및 감성 정보에 매칭하는 제어부, 상기 공간 정보 및 시간 정보가 매칭된 환경 정보, 영상 정보 및 감성 정보를 저장하여 데이터베이스를 생성하는 데이터베이스 생성부, 그리고 사용자 단말로부터 수신한 검색 정보에 따라 상기 데이터베이스를 분석한 후 분석 결과를 출력하는 정보 출력부를 포함한다. 이와 같이 본 발명에 따르면, 지역별 시간별로 사람들이 처한 상황과 이에 따른 감성 정보를 제공할 수 있으므로, 사용자는 특정 사건이나 현상에서 사람들이 느끼는 객관적 감정을 파악할 수 있다. 사용자는 이러한 정보를 마케팅에 활용하거나 연구 분석의 객관적 자료로 활용할 수 있는 장점이 있다.

Description

공간 및 시간 정보를 기반으로 하는 감성 정보 제공 장치
본 발명은 공간 및 시간 정보를 기반으로 하는 감성 정보 제공 장치에 관한 것으로서, 더욱 상세하게는 감성 정보의 접근성과 활용성을 높이기 위한 공간 및 시간 정보를 기반으로 하는 감성 정보 제공 장치에 관한 것이다.
최근 인간의 감성을 비즈니스와 결합하기 위한 다양한 시도가 진행되면서 사람에 대한 감성을 분석하는 연구 개발이 활발하다.
종래에는 사람의 감성을 분석하기 위하여, 설문지 형태의 감성 분석 도구를 사용하였으나, 사람의 감성은 실시간으로 변하는데 반해, 이러한 감성 분석 기술은 실시간으로 획득하기 어렵고 이성적 판단이 결합되어 정확한 감성 정보를 분석하기 어려운 단점이 있었다.
그러나, 사람의 생체 신호나 영상을 획득할 수 있는 센서 장치들이 발달함에 따라, 감성 분석에 기초가 되는 데이터를 손쉽게 획득할 수 있게 되었다. 이에 따라 많은 대학, 기업, 연구기관들에서는 라이프로깅 데이터와 같은 다중 정보들에 빅데이터 분석 기법들을 적용하여 분석하고 있다.
이렇게 분석된 감성 정보들은 데이터량이 방대하고 다양한 분야에서 활용이 되므로, 생성된 감성 빅데이터를 활용할 수 있도록 체계화된 틀에 따라 감성 정보를 제공하는 시스템이 요구되고 있다.
본 발명의 배경이 되는 기술은 한국등록특허 제10-1262922호(2013.05.09. 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 감성 정보의 접근성과 활용성을 높이기 위한 공간 및 시간 정보를 기반으로 하는 감성 정보 제공 장치을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, 감성 정보 제공 장치는 복수의 사용자 주변의 온도, 습도, 조도 및 소음 정보를 포함하는 환경 정보, 복수의 사용자 주변 환경을 촬영한 영상 정보 및 복수의 사용자에 대한 감성 정보를 입력받는 입력부, 상기 환경 정보, 영상 정보 및 감성 정보가 생성된 공간 정보와 시간 정보를 상기 환경 정보, 영상 정보 및 감성 정보에 매칭하는 제어부, 상기 공간 정보 및 시간 정보가 매칭된 환경 정보, 영상 정보 및 감성 정보를 저장하여 데이터베이스를 생성하는 데이터베이스 생성부, 그리고 사용자 단말로부터 수신한 검색 정보에 따라 상기 데이터베이스를 분석한 후 분석 결과를 출력하는 정보 출력부를 포함한다.
상기 감성 정보는, 상기 생체 신호 측정 데이터, 행동 측정 데이터, 환경 측정 데이터를 각각의 기준값과 비교하거나 웹콘텐츠 사용 데이터의 사용 어휘를 이용하여 생성되되, 쾌-불쾌 축과 각성-이완 축을 포함하는 2차원 감성에 따라 범주화될 수 있다.
상기 제어부는, 상기 환경 정보 및 영상 정보에 상기 환경 정보 및 영상 정보가 생성된 지역과 시간을 매칭하고, 상기 감성 정보에 상기 감성 정보의 생성에 이용된 데이터의 생성 지역과 시간을 매칭할 수 있다.
상기 정보 출력부는, 상기 검색 정보에 포함된 지역 단위 및 시간 단위 중 적어도 하나에 따라 상기 데이터베이스의 각 카테고리별 전체 평균값 및 전체 변화량 중 적어도 하나를 산출하여 출력할 수 있다.
상기 정보 출력부는, 상기 검색 정보에 포함된 복수의 지역 단위 및 복수의 시간 단위 중 적어도 하나에 따라 상기 데이터베이스의 각 카테고리별 평균값 및 변화량 중 적어도 하나를 산출한 후, 상기 산출된 전체 평균값 및 전체 변화량 중 적어도 하나의 비교 결과를 생성하여 출력할 수 있다.
이와 같이 본 발명에 따르면, 지역별 시간별로 사람들이 처한 상황과 이에 따른 감성 정보를 제공할 수 있으므로, 사용자는 특정 사건이나 현상에서 사람들이 느끼는 객관적 감정을 파악할 수 있다. 사용자는 이러한 정보를 마케팅에 활용하거나 연구 분석의 객관적 자료로 활용할 수 있는 장점이 있다.
도 1은 본 발명의 실시예에 따른 감성 정보 제공 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 쾌-불쾌 축 및 각성-이완축에 따른 2차원 감성 정보를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 감성 정보 제공 방법의 순서도이다.
도 4는 본 발명의 실시예에 따른 검색 정보를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 분석 결과 출력 방법을 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
우선, 도 1을 통해 본 발명의 실시예에 따른 감성 정보 제공 장치의 구성에 대해 살펴보도록 한다.
도 1은 본 발명의 실시예에 따른 감성 정보 제공 장치의 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 감성 정보 제공 장치(100)는 입력부(110), 제어부(120), 데이터베이스 생성부(130) 및 정보 출력부(140)를 포함한다.
우선, 입력부(110)는 복수의 사용자 주변의 온도, 습도, 조도 및 소음 정보를 포함하는 환경 정보, 복수의 사용자 주변 환경을 촬영한 영상 정보 및 복수의 사용자에 대한 감성 정보를 입력받는다.
구체적으로, 입력부(110)는 온도 측정기, 습도 측정기, 조도 측정기, 소음 측정기, 가스 측정기, 카메라와 같은 센서로부터 사용자 주변의 온도, 습도, 조도, 소음, 가스에 관한 데이터를 포함하는 환경 정보와 영상 정보를 실시간으로 입력받는다. 그리고, 입력부(110)는 사용자 단말로부터 감성 정보를 입력받는다.
여기서, 감성 정보는 생체 신호 측정 데이터, 행동 측정 데이터, 환경 측정 데이터를 각각의 기준값과 비교하거나 웹콘텐츠 사용 데이터의 사용 어휘를 이용하여 생성되되, 쾌-불쾌 축과 각성-이완 축을 포함하는 2차원 감성에 따라 범주화된다.
다음으로, 제어부(120)는 환경 정보, 영상 정보 및 감성 정보가 생성된 공간 정보와 시간 정보를 환경 정보, 영상 정보 및 감성 정보에 매칭한다.
구체적으로, 제어부(120)는 환경 정보 및 영상 정보가 생성된 지역과 시간을 환경 정보 및 영상 정보에 매칭하고, 감성 정보의 생성에 이용된 데이터의 생성 지역과 시간을 감성 정보에 매칭한다.
다음으로, 데이터베이스 생성부(130)는 공간 정보 및 시간 정보가 매칭된 환경 정보, 영상 정보 및 감성 정보를 저장하여 데이터베이스를 생성한다.
그리고, 정보 출력부(140)는 사용자 단말로부터 수신한 검색 정보에 따라 데이터베이스를 분석한 후 분석 결과를 출력한다.
구체적으로, 정보 출력부(140)는 검색 정보에 포함된 지역 단위 및 시간 단위 중 적어도 하나에 따라 데이터베이스의 각 카테고리별 전체 평균값 및 전체 변화량 중 적어도 하나를 산출하여 출력한다.
또한, 정보 출력부(140)는 검색 정보에 포함된 복수의 지역 단위 및 복수의 시간 단위 중 적어도 하나에 따라 사용자에 대한 데이터의 각 카테고리별 평균값 및 변화량 중 적어도 하나를 산출한 후, 산출된 전체 평균값 및 전체 변화량 중 적어도 하나와의 비교 결과를 생성하여 출력한다.
또한, 정보 출력부(140)는 환경 정보 및 영상 정보에 따른 감각자극을 2차원 감성에 따라 범주화한 후 출력할 수 있다.
다음으로, 도 2를 통해 본 발명의 실시예에 따른 감성 정보에 대해 살펴보도록 한다.
도 2는 본 발명의 실시예에 따른 쾌-불쾌 축 및 각성-이완축에 따른 2차원 감성 정보를 설명하기 위한 도면이다.
도 2에 나타난 바와 같이, 2차원 감성 정보는 쾌-불쾌 축(x축) 및 각성-이완축(y축)의 2차원 좌표계에 따라 총 9개의 차원 감성으로 분류된다.
구체적으로 9개의 차원 감성을 살펴보면, 1번 공간은 불쾌-각성, 2번 공간은 각성, 3 번 공간은 쾌-각성, 4번 공간은 불쾌, 5번 공간은 중립, 6번 공간은 쾌, 7번 공간은 불쾌-이완, 8번 공간은 이완 9번 공간은 쾌-이완의 차원 감성을 의미한다.
상기와 같은 감성 정보는 대상자의 생체 신호 측정 데이터, 행동 측정 데이터, 환경 측정 데이터, 웹콘텐츠 사용 데이터 중 적어도 하나를 감성 분석 알고리즘에 적용하여 생성될 수 있다. 이때, 생체 신호 측정 데이터, 행동 측정 데이터, 환경 측정 데이터, 웹콘텐츠 사용 데이터는 입력부(110)가 입력받은 환경 정보 및 영상 정보와 동일한 데이터일 수 있다.
우선, 감성 분석 알고리즘은 사용자의 심박수(photoplethysmogram, PPG)나 심동도(ballistocardiogram, BCG)를 분석하여 심박 변이도(heart rate variability, HRV)를 추출한 후, 심박 변이도의 피크점의 평균값 및 통일성 비율(coherence ratio)을 추출한다. 그리고, 감성 분석 알고리즘는 추출된 피크점의 평균값 및 통일성 비율을 기 설정된 기준값과 비교함으로써 타임슬롯별로 9개의 차원 감성 중 어느 하나를 설정할 수 있다.
예를 들어, 10초에서 11초 사이의 타임슬롯에서, 피크점의 평균값과 통일성 비율이 각각의 기준값 대비 10% 이상 큰 경우 감성 분석 알고리즘는 1번 공간, 즉 불쾌-각성의 차원 감성을 해당 타임슬롯의 차원 감성으로 설정할 수 있다.
다음으로, 감성 분석 알고리즘은 GPS 데이터로부터 대상자의 전체 이동 거리, GPS 데이터의 클러스터 수(number of clusters), 엔트로피(entropy), 주기적 이동 패턴(circadian), 전이 시간(transition time), 위치 다양성(location variance), 전체 이동 거리(total distance) 등을 추출한 후, 이를 각각의 기 설정된 기준값과 비교함으로써 타임슬롯별로 9개의 차원 감성 중 어느 하나를 설정할 수 있다.
다음으로, 감성 분석 알고리즘은 이미지 데이터로부터 영상을 구성하는 칼라 요소(픽셀값)를 추출하고 소음 측정 데이터로부터 소음의 크기를 추출한 후, 이를 각각의 기 설정된 기준값과 비교함으로써 타임슬롯별로 9개의 차원 감성 중 어느 하나를 설정할 수 있다.
그리고, 감성 분석 알고리즘은 웹 콘텐츠 데이터로부터 대상자가 이용한 웹 콘텐츠의 어휘를 추출한 후, 기 저장된 데이터 베이스와 비교함으로써 타임슬롯별로 9개의 차원 감성 중 어느 하나를 설정할 수 있다.
다음으로, 도 3을 통해 본 발명의 실시예에 따른 감성 정보 제공 장치를 이용한 감성 정보 제공 방법에 대해 살펴보도록 한다.
도 3은 본 발명의 실시예에 따른 감성 정보 제공 방법의 순서도이다.
먼저, 입력부(110)는 복수의 사용자 주변의 온도, 습도, 조도 및 소음 정보를 포함하는 환경 정보, 복수의 사용자 주변 환경을 촬영한 영상 정보 및 복수의 사용자에 대한 감성 정보를 입력받는다(S310).
그러면, 제어부(120)는 환경 정보, 영상 정보 및 감성 정보가 생성된 공간 정보와 시간 정보를 환경 정보, 영상 정보 및 감성 정보에 매칭한다(S320).
구체적으로, 제어부(120)는 환경 정보 및 영상 정보에 환경 정보 및 영상 정보가 생성된 지역과 시간을 매칭하고, 감성 정보에 감성 정보의 생성에 이용된 데이터의 생성 지역과 시간을 매칭한다. 즉, 제어부(120)는 환경 정보 및 영상 정보에 생성된 지역과 시간 정보를 태깅(tagging)한다.
예를 들어, 서울시 강남구에서 13시 10분에 A라는 사람에 의해 환경 정보, 영상 정보, 그리고 감성 정보의 생성에 이용된 데이터가 생성된 경우, 환경 정보, 영상 정보 및 감성 정보에 생성 지역으로 서울시 강남구가 태깅되고 생성 시간에 13시 10분이 태깅된다.
다음으로, 데이터베이스 생성부(130)는 공간 정보 및 시간 정보가 매칭된 환경 정보, 영상 정보 및 감성 정보를 저장하여 데이터베이스를 생성한다(S230).
그러면, 정보 출력부(140)는 사용자 단말로부터 수신한 검색 정보에 따라 데이터베이스를 분석한 후 분석 결과를 출력한다(S240).
구체적으로, 정보 출력부(140)는 검색 정보에 포함된 지역 단위 및 시간 단위 중 적어도 하나에 따라 데이터베이스의 각 카테고리별 전체 평균값 및 전체 변화량 중 적어도 하나를 산출하여 출력한다.
또한, 정보 출력부(140)는 검색 정보에 포함된 복수의 지역 단위 및 복수의 시간 단위 중 적어도 하나에 따라 데이터베이스의 각 카테고리별 평균값 및 변화량 중 적어도 하나를 산출한 후, 산출된 전체 평균값 및 전체 변화량 중 적어도 하나와의 비교 결과를 생성하여 출력한다.
한편, 정보 출력부(140)는 검색 정보에 포함된 복수의 지역 단위 및 복수의 시간 단위 중 적어도 하나에 따라 데이터베이스의 각 카테고리별 감각 자극을 추론할 수 있다.
구체적으로, 정보 출력부(140)는 검색 정보에 따른 카테코리별 평균값을 기 설정된 임계 범위와 비교하여, 쾌-불쾌 축(x축) 및 각성-이완축(y축)의 2차원 좌표계에 따라 총 9개의 감각 자극으로 분류할 수 있다.
예를 들어, 조도의 평균값이 5lux인 경우, 정부 출력부(140)는 5lux를 임계 범위와 비교하여 불쾌-이완의 감각 자극을 선택할 수 있다.
이하에서는 도 4 및 도 5를 통해 본 발명의 실시예에 따른 분석 결과 출력 방법에 대해 살펴보도록 한다.
도 4는 본 발명의 실시예에 따른 검색 정보를 설명하기 위한 도면이다.
도 4의 (a)에 나타난 바와 같이, 검색 정보는 지역 정보 및 일자 정보를 포함한다. 이때, 일자 정보는 년, 월, 일, 시간 정보를 포함한다.
예를 들어, 2016년 5월 강남에 있었던 사람들에 대한 감성 정보 등을 확인하고 싶은 경우, 사용자는 지역 정보로 강남, 일자 정보로 2016년 5월을 검색 정보로 입력할 수 있다.
또한, 도 4의 (b)에 나타난 바와 같이, 검색 정보는 사용자가 출력하고자 하는 데이터의 출력 형태 정보도 포함한다. 여기서, 데이터의 출력 형태 정보는 지도 데이터 보기, 평균 데이터 보기, 변화 데이터 보기, 비교 평균 데이터 보기 및 비교 변화 데이터 보기를 포함한다.
도 5는 본 발명의 실시예에 따른 분석 결과 출력 방법을 설명하기 위한 도면이다.
우선, 평균 데이터 보기는 검색 정보에 포함된 지역 정보나 일자 정보에 대응하는 데이터의 평균을 그래프나 수치 등으로 사용자에게 제공하는 출력 형태를 의미한다.
예를 들어, 지역 정보를 전체 지역, 일자 정보를 전체 일자로 하여 검색 정보가 입력되었다고 가정한다. 그러면, 도 5의 (a)에서와 같이, 정보 출력부(140)는 전체 지역, 전체 일자 데이터의 카테고리 별 평균값을 산출한 후, 이를 그래프나 수치로 출력한다.
다음으로, 비교 평균 데이터 보기는 검색 정보에 포함된 복수의 지역 정보나 복수의 일자 정보에 대응하는 데이터의 평균을 그래프나 수치 등으로 사용자에게 제공하는 출력 형태를 의미한다.
예를 들어, 지역 정보를 전체 지역 및 강남, 일자 정보를 전체 일자 및 2016년 1월 전체일 13시로 하여 검색 정보가 입력되었다고 가정한다. 그러면, 정보 출력부(140)는 도 5의 (b)에서와 같이, 전체 지역 및 전체 일자 데이터의 카테고리 별 평균값 및 강남, 2016년 1월 전체일 13시가 태깅된 데이터의 카테고리별 평균값을 각각 산출한 후, 이를 그래프나 수치로 출력한다.
다음으로, 지도 데이터 보기는 지도상에 감성 정보를 표시하여 사용자에게 제공하는 출력 형태를 의미한다.
예를 들어, 지역 정보를 서울, 일자 정보를 2017년 1월 5일로 하여 검색 정보가 입력되었다고 가정한다. 그러면, 정보 출력부(140)는 서울, 2017년 1월 5일이 태깅된 감성 정보의 평균값을 각 행정구 단위로 산출한 후, 평균값에 대응하는 색상을 서울 지도상에 매핑하여 출력한다.
다음으로, 변화 데이터 보기는 검색 정보에 포함된 지역 정보나 일자 정보에 대응하는 데이터의 변화 추이를 그래프나 수치 등으로 사용자에게 제공하는 출력 형태를 의미한다.
예를 들어, 지역 정보를 부산, 일자 정보를 2017년 3월 5일로 하여 검색 정보가 입력되었다고 가정한다. 그러면, 정보 출력부(140)는 부산, 2017년 3월 5일이 태깅된 데이터의 카테고리 별 평균값을 시간대 별로 산출한 후, 이를 그래프나 수치로 출력한다.
다음으로, 비교 변화 데이터 보기는 검색 정보에 포함된 복수의 지역 정보나 복수의 일자 정보에 대응하는 데이터의 변화 추이를 그래프나 수치 등으로 사용자에게 제공하는 출력 형태를 의미한다.
예를 들어, 지역 정보를 서울, 일자 정보를 2016년 1월 1일, 2017년 1월 1일로 하여 검색 정보가 입력되었다고 가정한다. 그러면, 정보 출력부(140)는 서울, 2016년 1월 1일이 태깅된 데이터의 카테고리별 평균값을 시간대별로 산출하고, 서울 2017년 1월 1일이 태깅된 데이터의 카테고리별 평균값을 시간대별로 산출한다. 그리고, 정보 출력부(140)는 각각 산출된 평균값을 그래프나 수치로 출력한다.
본 발명의 실시예에 따르면, 지역별 시간별로 사람들이 처한 상황과 이에 따른 감성 정보를 제공할 수 있으므로, 사용자는 특정 사건이나 현상에서 사람들이 느끼는 객관적 감정을 파악할 수 있다. 사용자는 이러한 정보를 마케팅에 활용하거나 연구 분석의 객관적 자료로 활용할 수 있는 장점이 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (5)

  1. 복수의 사용자 주변의 온도, 습도, 조도 및 소음 정보를 포함하는 환경 정보, 복수의 사용자 주변 환경을 촬영한 영상 정보 및 복수의 사용자에 대한 감성 정보를 입력받는 입력부,
    상기 환경 정보, 영상 정보 및 감성 정보가 생성된 공간 정보와 시간 정보를 상기 환경 정보, 영상 정보 및 감성 정보에 매칭하는 제어부,
    상기 공간 정보 및 시간 정보가 매칭된 환경 정보, 영상 정보 및 감성 정보를 저장하여 데이터베이스를 생성하는 데이터베이스 생성부, 그리고
    사용자 단말로부터 수신한 검색 정보에 따라 상기 데이터베이스를 분석한 후 분석 결과를 출력하는 정보 출력부를 포함하는 감성 정보 제공 장치.
  2. 제1항에 있어서,
    상기 감성 정보는,
    상기 생체 신호 측정 데이터, 행동 측정 데이터, 환경 측정 데이터를 각각의 기준값과 비교하거나 웹콘텐츠 사용 데이터의 사용 어휘를 이용하여 생성되되, 쾌-불쾌 축과 각성-이완 축을 포함하는 2차원 감성에 따라 범주화되는 감성 정보 제공 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 환경 정보 및 영상 정보에 상기 환경 정보 및 영상 정보가 생성된 지역과 시간을 매칭하고, 상기 감성 정보에 상기 감성 정보의 생성에 이용된 데이터의 생성 지역과 시간을 매칭하는 감성 정보 제공 장치.
  4. 제1항에 있어서,
    상기 정보 출력부는,
    상기 검색 정보에 포함된 지역 단위 및 시간 단위 중 적어도 하나에 따라 상기 데이터베이스의 각 카테고리별 전체 평균값 및 전체 변화량 중 적어도 하나를 산출하여 출력하는 감성 정보 제공 장치.
  5. 제4항에 있어서,
    상기 정보 출력부는,
    상기 검색 정보에 포함된 복수의 지역 단위 및 복수의 시간 단위 중 적어도 하나에 따라 상기 데이터베이스의 각 카테고리별 평균값 및 변화량 중 적어도 하나를 산출한 후, 상기 산출된 전체 평균값 및 전체 변화량 중 적어도 하나의 비교 결과를 생성하여 출력하는 감성 정보 제공 장치.
PCT/KR2017/002562 2017-03-09 2017-03-09 공간 및 시간 정보를 기반으로 하는 감성 정보 제공 장치 WO2018164298A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2017/002562 WO2018164298A1 (ko) 2017-03-09 2017-03-09 공간 및 시간 정보를 기반으로 하는 감성 정보 제공 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2017/002562 WO2018164298A1 (ko) 2017-03-09 2017-03-09 공간 및 시간 정보를 기반으로 하는 감성 정보 제공 장치

Publications (1)

Publication Number Publication Date
WO2018164298A1 true WO2018164298A1 (ko) 2018-09-13

Family

ID=63447891

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/002562 WO2018164298A1 (ko) 2017-03-09 2017-03-09 공간 및 시간 정보를 기반으로 하는 감성 정보 제공 장치

Country Status (1)

Country Link
WO (1) WO2018164298A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881348A (zh) * 2020-07-20 2020-11-03 百度在线网络技术（北京）有限公司 信息处理方法、装置、设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100822029B1 (ko) * 2007-01-11 2008-04-15 삼성전자주식회사 모바일 단말기에서의 사용자 히스토리를 이용한 개인화서비스 방법 및 그 시스템
KR20090129707A (ko) * 2008-06-13 2009-12-17 (주)시지웨이브 감성 어휘 의미 구조를 이용한 대표 감성 어휘 추출 방법
KR20120045459A (ko) * 2010-10-29 2012-05-09 아주대학교산학협력단 라이프 케어 서비스 제공 시스템
KR101334894B1 (ko) * 2012-02-15 2013-12-05 상명대학교서울산학협력단 위치 기반 감성 인식 방법 및 이를 적용하는 시스템
KR20160029375A (ko) * 2014-09-05 2016-03-15 삼성전자주식회사 사용자의 생체신호를 모니터링 및 분석하는 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100822029B1 (ko) * 2007-01-11 2008-04-15 삼성전자주식회사 모바일 단말기에서의 사용자 히스토리를 이용한 개인화서비스 방법 및 그 시스템
KR20090129707A (ko) * 2008-06-13 2009-12-17 (주)시지웨이브 감성 어휘 의미 구조를 이용한 대표 감성 어휘 추출 방법
KR20120045459A (ko) * 2010-10-29 2012-05-09 아주대학교산학협력단 라이프 케어 서비스 제공 시스템
KR101334894B1 (ko) * 2012-02-15 2013-12-05 상명대학교서울산학협력단 위치 기반 감성 인식 방법 및 이를 적용하는 시스템
KR20160029375A (ko) * 2014-09-05 2016-03-15 삼성전자주식회사 사용자의 생체신호를 모니터링 및 분석하는 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881348A (zh) * 2020-07-20 2020-11-03 百度在线网络技术（北京）有限公司 信息处理方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
Kalimeri et al. Exploring multimodal biosignal features for stress detection during indoor mobility
Poppe et al. AMAB: Automated measurement and analysis of body motion
Ryu et al. Dynamic digital biomarkers of motor and cognitive function in Parkinson's disease
WO2023003284A1 (ko) 인공지능에 기반한 심리검사 시스템 및 그 동작 방법
David et al. A framework for sensor-based assessment of upper-limb functioning in hemiparesis
WO2019231038A1 (ko) 뷰티 콘텐츠 제공방법
WO2022015043A1 (ko) 신경질환 양방향 모니터링 시스템
WO2018164298A1 (ko) 공간 및 시간 정보를 기반으로 하는 감성 정보 제공 장치
Zou et al. Towards emotionally intelligent buildings: A Convolutional neural network based approach to classify human emotional experience in virtual built environments
WO2012115294A1 (ko) 생체 감성 지표 및 상황 정보로부터 학습 집중도에 관련된 학습 감성 지표를 생성하기 위한 유비쿼터스-러닝용 미들웨어 장치
WO2019168220A1 (ko) 브랜드 퍼스낼리티 맵을 이용한 브랜드 퍼스낼리티 진단 방법 및 장치
Maly et al. An evaluation tool for research of user behavior in a realistic mobile environment
WO2022010149A1 (ko) 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2019199035A1 (ko) 시선 추적 시스템 및 방법
Kray et al. Taming context: A key challenge in evaluating the usability of ubiquitous systems
Plouznikoff et al. Artificial grapheme-color synesthesia for wearable task support
WO2019004511A1 (ko) 감성 동기화 기반의 사회 감성 추론 장치 및 그 방법
Mavritsaki et al. Suppressive effects in visual search: A neurocomputational analysis of preview search
Plazas-Molano et al. Exploring the facial and neurological activation due to predetermined visual stimulus using kinect and emotiv sensors
Ren et al. Research on interactive intent recognition based on facial expression and line of sight direction
Hu et al. Art image complexity measurement based on visual cognition: Evidence from eye-tracking metrics
WO2023249145A1 (ko) 화장품 사용 및 피부 관리 비대면 컨설팅 시스템
WO2023224349A1 (ko) 정신건강 판단 장치 및 방법
Harish et al. ALPHABET RECOGNITION SYSTEM USING SIGN LANGUAGE GESTURES.
WO2023043012A1 (ko) 영상 컨텐츠를 이용한 바이오피드백 방법, 컴퓨터 프로그램 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17899620

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17899620

Country of ref document: EP

Kind code of ref document: A1