KR102023024B1 - 사용자의 상태정보에 따라 피드백을 제공하는 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템 - Google Patents

사용자의 상태정보에 따라 피드백을 제공하는 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템 Download PDF

Info

Publication number
KR102023024B1
KR102023024B1 KR1020180136961A KR20180136961A KR102023024B1 KR 102023024 B1 KR102023024 B1 KR 102023024B1 KR 1020180136961 A KR1020180136961 A KR 1020180136961A KR 20180136961 A KR20180136961 A KR 20180136961A KR 102023024 B1 KR102023024 B1 KR 102023024B1
Authority
KR
South Korea
Prior art keywords
user
virtual reality
unit
content
image
Prior art date
Application number
KR1020180136961A
Other languages
English (en)
Inventor
조진수
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020180136961A priority Critical patent/KR102023024B1/ko
Application granted granted Critical
Publication of KR102023024B1 publication Critical patent/KR102023024B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Psychiatry (AREA)
  • Biomedical Technology (AREA)
  • Neurosurgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Dermatology (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자의 상태정보에 따라 피드백을 제공하는 정서 증진 및 심리파악을 위한 가상현실 시스템에 관한 것으로서, 더욱 상세하게는 사용자의 상태정보를 기초로 사용자가 방정돈을 수행할 수 있는 가상현실 컨텐츠를 제공하고, 사용자의 상태정보를 실시간으로 적용하여 방정돈 가상현실 컨텐츠에 피드백을 제공하고, 이러한 방정돈 가상현실 컨텐츠의 종료 시 사용자의 실행정보를 사용자 및 사용자의 상담자/치료사에게 제공하여 사용자의 진료 및 치료에 도움이 되는, 사용자의 상태정보에 따라 피드백을 제공하는 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템에 관한 것이다.

Description

사용자의 상태정보에 따라 피드백을 제공하는 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템 {Virtual Reality System With Feedback according to User's State Information for User's Perception and Emotion Enhancement and Psychological Understanding}
본 발명은 사용자의 상태정보에 따라 피드백을 제공하는 정서 증진 및 심리파악을 위한 가상현실 시스템에 관한 것으로서, 더욱 상세하게는 사용자의 상태정보를 기초로 사용자가 방정돈을 수행할 수 있는 가상현실 컨텐츠를 제공하고, 사용자의 상태정보를 실시간으로 적용하여 방정돈 가상현실 컨텐츠에 피드백을 제공하고, 이러한 방정돈 가상현실 컨텐츠의 종료 시 사용자의 실행정보를 사용자 및 사용자의 상담자/치료사에게 제공하여 사용자의 진료 및 치료에 도움이 되는, 사용자의 상태정보에 따라 피드백을 제공하는 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템에 관한 것이다.
가상현실 시스템은 가상현실 시스템에 연결된 모듈을 이용하여 사용자가 가상현실 시스템에서 제공되는 다양한 컨텐츠를 체험하면서, 마치 현실에서 체험하는 것과 같은 높은 몰입도와 체험도를 얻을 수 있다. 이러한 특징을 활용하여 현대에는 VR(Virtual Reality)카페 등의 단순히 놀이와 재미의 목적으로 가상현실 시스템을 체험해 볼 수 있는 경우를 많이 볼 수 있다.
하지만 가상현실 시스템은 정신과 영역에서 정신적 장애를 가진 사람들의 치료를 위해 활용할 때, 굉장히 효과적일 수 있다. 정신적 문제로 인한 치료나 상담이 진행될 때, 대부분의 환자는 보통 치료에 필요한 기억이나 상상의 사고를 다른 매체의 도움 없이 혼자 머리 속으로 해야 하는 경우가 많다. 이 때, 환자의 생각이나 상상은 상담자가 원하는 정도의 생각이나 상상을 효과적으로 할 수 없는 경우가 생길 수 있다. 이러한 문제점은 가상현실 시스템을 이용하여 환자 본인이 필요한 상황 속으로 직접 들어가도록 도움을 줌으로써, 개선할 수 있다.
이러한 가상현실 시스템을 통해 단순히 재미를 위한 가상현실 체험을 하는 것뿐만이 아닌, 가상현실을 이용하여 정신적 장애를 가진 사용자들의 치료 목적으로 컨텐츠를 제공할 수 있다. 이는 가상현실 시스템 사용자의 기억력 및 집중도 향상효과를 기대 할 수 있고, 가상현실 컨텐츠를 체험하는 사용자의 뇌파나 맥박 등의 생체 정보를 활용하여 사용자의 현재 심리나 정서상태를 분석해 볼 수 있다. 또한 사용자들은 일반적인 운동 공간 및 시설에서 운동을 하기 어려운 환경이 다수이고, 사용자 본인이 규칙적으로 운동하고자 하는 의지 또한 가지기 어려워한다. 가상현실 시스템은 간단한 장치만으로 공간과 시간에 제약을 받지 않고, 언제 어디서나 가상현실 컨텐츠 체험이 가능하기 때문에 이를 통해, 몸을 움직임에 따라 사용자의 운동기능 향상 효과 또한 기대할 수 있다.
따라서, 이러한 가상현실 시스템을 통해 사용자의 정서 증진을 돕고, 사용자의 심리를 분석 및 파악하여 사용자의 상태를 치료사 또는 상담자에게 제공하고 사용자의 정신적 장애에 대한 치료효과를 얻기 위한 목적의 연구가 진행되게 되었다.
본 발명은 사용자의 상태정보를 기초로 사용자가 방정돈을 수행할 수 있는 가상현실 컨텐츠를 제공하고, 사용자의 상태정보를 실시간으로 적용하여 방정돈 가상현실 컨텐츠에 피드백을 제공하고, 이러한 방정돈 가상현실 컨텐츠의 종료 시 사용자의 실행정보를 사용자 및 사용자의 상담자/치료사에게 제공하여 사용자의 진료 및 치료에 도움이 되는, 사용자의 상태정보에 따라 피드백을 제공하는 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템을 제공하는 것을 목적으로 한다.
본 발명은 상기와 같은 과제를 해결하기 위하여, 사용자의 상태정보에 따라 피드백을 제공하는 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템으로서, 사용자로부터의 체험공간에서의 좌표를 측정하는 위치센서모듈, 사용자의 두부(頭部)에 부착되어 사용자의 뇌파를 측정하는 뇌파측정모듈, 사용자의 손목부위에 부착되어 사용자의 맥박을 측정하는 맥박측정모듈, 및 사용자의 움직임을 측정하는 동작센서모듈을 포함하는 센서부; 사용자가 방정돈을 수행하는 가상현실 컨텐츠를 실행하고, 상기 가상현실 컨텐츠가 실행되는 동안에 상기 센서부로부터 수신되는 상기 뇌파 및 상기 맥박을 실시간으로 적용하여 상기 가상현실 컨텐츠에 피드백을 제공하고, 상기 가상현실 컨텐츠의 수행결과에 대한 평가를 수행하는 VR시스템부; 및 상기 VR시스템부로부터실행되는 가상현실 컨텐츠의 영상 및 음향정보를 수신하여 사용자에게 제공하는 HMD모듈; 을 포함하는 가상현실 시스템을 제공한다.
본 발명의 몇 실시예에서는, 상기 VR시스템부는, 상기 센서부로부터 상기 좌표, 상기 뇌파, 상기 맥박, 상기 움직임을 수신하는 센싱정보수집부; 상기 센싱정보수집부가 수집한 상기 뇌파 및 상기 맥박에 기초하여 사용자상태를 도출하는 사용자상태분석부; 상기 HMD모듈을 착용한 사용자에게 방정돈 가상현실 체험을 할 수 있도록 하는, 상기 뇌파 및 상기 맥박을 실시간으로 적용하여 컨텐츠를 실행하는 방정돈컨텐츠실행부; 상기 방정돈컨텐츠실행부에 의하여 사용자가 방정돈 가상현실 체험을 하는 동안, 사용자의 요청에 의하여 정돈결과에 대한 이미지를 제공하는 정돈결과제공부; 및 상기 방정돈컨텐츠실행부의 실행이 종료하는 경우, 상기 센싱정보수집부로부터 도출된 정보, 상기 사용자상태분석부로부터 도출된 정보, 상기 방정돈컨텐츠실행부로부터 도출된 정보, 상기 정돈결과제공부로부터 도출된 정보에 기초하여, 스코어를 산출하는 스코어산출부; 를 포함할 수 있다.
본 발명의 몇 실시예에서는, 상기 사용자상태분석부는, 상기 뇌파 정보를 수신하는 뇌파정보수신부; 상기 뇌파 정보를 집중도수치로 산출하는 집중도수치산출부;를 포함하는 집중도분석부; 상기 맥박 정보를 수신하는 맥박정보수신부; 상기 맥박 정보를 안정도수치로 산출하는 안정도수치산출부; 를 포함하는 안정도분석부; 를 포함할 수 있다.
본 발명의 몇 실시예에서는, 상기 사용자상태분석부는 상기 뇌파가 SMR파, 미드베타파, 세타파 중 어느 하나에 포함되는 지 여부를 판별하고, 상기 집중도수치산출부는 상기 SMR파 및 상기 미드베타파가 증가함에 따라, 상기 세타파가 감소함에 따라 커지는 집중도산출식을 이용하여 집중도수치를 산출하고,
상기 안정도수치산출부는 상기 맥박의 편차의 차이값에 기초하여 상기 차이값이 작을수록 커지는 안정도산출식; 을 이용하여 안정도수치를 산출할 수 있다.
본 발명의 몇 실시예에서는, 상기 방정돈컨텐츠실행부는, 사용자에게 방해전략이 부여되는 방정돈 가상현실 체험을 할 수 있도록 하는 컨텐츠를 실행하는 단계; 사용자의 입력 혹은 기설정된 판단기준에 따라 상기 컨텐츠의 실행을 종료하는 단계; 및 상기 사용자가 상기 컨텐츠를 실행한 시점에서 종료한 시점까지의 방정돈컨텐츠실행시간(20)을 측정하는 단계; 를 수행할 수 있다.
본 발명의 몇 실시예에서는, 상기 컨텐츠를 실행하는 단계는, 상기 맥박에 기초하여, HMD모듈에서 방해오브젝트가 표시되는 주기를 도출하는 단계; 및 상기 HMD모듈에서 상기 가상현실 컨텐츠가 수행되는 동안, 상기 주기에 따라 방해오브젝트를 상기 가상현실 컨텐츠가 디스플레이 되는 화면에 오버랩하여 디스플레이 하는 단계; 를 포함할 수 있다.
본 발명의 몇 실시예에서는, 상기 정돈결과제공부는, 상기 정돈결과에 대한 이미지를 상기 HMD모듈에서 디스플레이 하는 단계; 상기 맥박에 기초하여 가림오브젝트의 크기를 결정하는 단계; 및 결정된 상기 크기에 따라 상기 HMD모듈에서 가림오브젝트를 상기 정돈결과에 대한 이미지에 오버랩하여 디스플레이 하는 단계; 를 수행할 수 있다.
본 발명의 몇 실시예에서는, 상기 정돈결과제공부는, 상기 맥박이 변동하는 경우에, 상기 가림오브젝트의 크기를 변동시켜 상기 HMD모듈에서 가림오브젝트를 상기 정돈결과에 대한 이미지에 오버랩하여 디스플레이 할 수 있다.
본 발명의 몇 실시예에서는, 상기 정돈결과에 대한 이미지를 상기 HMD모듈에서 디스플레이 하는 단계는, 상기 뇌파에 기초하여 도출된 집중도수치에 따라 선명도를 결정하는 단계; 및 상기 선명도에 기초하여 상기 정돈결과에 대한 이미지의 선명도를 조절하여 상기 HMD모듈에서 디스플레이 하는 단계; 를 포함할 수 있다.
본 발명의 몇 실시예에서는, 상기 정돈결과에 대한 이미지를 상기 HMD모듈에서 디스플레이 하는 단계는, 상기 집중도수치가 변동하는 경우에, 상기 선명도를 변동시켜 상기 정돈결과에 대한 이미지를 디스플레이 할 수 있다.
본 발명의 몇 실시예에서는, 상기 정돈결과제공부는, 사용자의 정돈결과제공요청을 수신하여 상기 뇌파 및 상기 맥박에 기초하여 변형이 되는 정돈결과에 대한 이미지를 제공하고, 일정시간 경과 후 또는 사용자의 입력수신에 따라 상기 정돈결과에 대한 이미지의 제공을 종료하고, 정돈결과제공횟수를 측정할 수 있다.
본 발명의 몇 실시예에서는, 상기 정돈결과제공부는, 상기 맥박에 기초하여 상기 정돈결과에 대한 이미지의 노출정도를 결정하고, 상기 뇌파에 기초하여 상기 정돈결과에 대한 이미지의 선명도를 결정할 수 있다.
상기와 같은 과제를 해결하기 위하여, 사용자의 상태정보에 따라 피드백을 제공하는 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템의 구현방법으로서, 사용자로부터의 체험공간에서의 좌표를 측정하는 위치센서단계, 사용자의 두부(頭部)에 부착된 기기를 이용하여 사용자의 뇌파를 측정하는 뇌파측정단계, 사용자의 손목부위에 부착된 기기를 이용하여 사용자의 맥박을 측정하는 맥박측정단계, 및 사용자의 움직임을 측정하는 동작센서단계를 포함하는 센서단계; 사용자가 방정돈을 수행하는 가상현실 컨텐츠를 실행하고, 상기 가상현실 컨텐츠가 실행되는 동안에 상기 센서단계로부터 수신되는 상기 뇌파 및 상기 맥박을 실시간으로 적용하여 상기 가상현실 컨텐츠에 피드백을 제공하고, 상기 가상현실 컨텐츠의 수행결과에 대한 평가를 수행하는 VR시스템단계; 및 상기 VR시스템단계로부터 실행되는 가상현실 컨텐츠의 영상 및 음향정보를 수신하여 사용자에게 제공하는 HMD모듈단계; 를 포함하는 가상현실 시스템의 구현방법을 제공한다.
본 발명의 몇 실시예에서는, 상기 VR시스템단계는, 상기 센서단계로부터 상기 좌표, 상기 뇌파, 상기 맥박, 상기 움직임을 수신하는 센싱정보수집단계; 상기 센싱정보수집단계가 수집한 상기 뇌파 및 상기 맥박에 기초하여 사용자상태를 도출하는 사용자상태분석단계; 상기 HMD모듈을 착용한 사용자에게 방정돈 가상현실 체험을 할 수 있도록 하는, 상기 뇌파 및 상기 맥박을 실시간으로 적용하여 컨텐츠를 실행하는 방정돈컨텐츠실행단계; 상기 방정돈컨텐츠실행단계에 의하여 사용자가 방정돈 가상현실 체험을 하는 동안, 사용자의 요청에 의하여 정돈결과에 대한 이미지를 제공하는 정돈결과제공단계; 및 상기 방정돈컨텐츠실행단계의 실행이 종료하는 경우, 상기 센싱정보수집단계로부터 도출된 정보, 상기 사용자상태분석단계로부터 도출된 정보, 상기 방정돈컨텐츠실행단계로부터 도출된 정보, 상기 정돈결과제공부로부터 도출된 정보에 기초하여, 스코어를 산출하는 스코어산출단계; 를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 방정돈을 수행하는 가상현실 컨텐츠를 제공함으로써 가상현실 시스템 사용자의 기억력 및 집중도 증가를 통해 정서 안정 및 증진을 유도할 수 있다.
본 발명의 일 실시예에 따르면, 방정돈을 수행하는 가상현실 시스템을 통해 사용자가 직접 사고할 수 있는 환경이 제공됨으로써, 정신적 장애를 가진 사용자에게 기존의 방법보다 효과적인 치료를 제공할 수 있다.
본 발명의 일 실시예에 따르면, 가상현실 시스템 사용자의 상태정보를 기초로 사용자에게 가상현실 컨텐츠를 제공하여 사용자의 상태변화에도 불구하고 안정적으로 가상현실 시스템을 사용할 수 있다.
본 발명의 일 실시예에 따르면, 제공되는 정돈결과에 대한 이미지를 기억하여 방정돈을 수행하기 위해, 두뇌를 사용함으로써 사용자의 기억력 및 집중도의 향상의 효과를 가질 수 있다.
본 발명의 일 실시예에 따르면, 방정돈을 수행하는 동안 사용자의 집중도 수치에 기초하여, 방정돈 컨텐츠의 난이도 조절을 함으로써, 사용자의 몰입도 향상의 효과를 가질 수 있다.
본 발명의 일 실시예에 따르면, 방정돈을 수행하는 동안 사용자의 맥박 수치에 기초하여, 가상현실 컨텐츠 화면에 방해오브젝트를 디스플레이 하여 방정돈 컨텐츠의 난이도 조절을 함으로써, 사용자의 몰입도 향상의 효과를 가질 수 있다.
본 발명의 일 실시예에 따르면, 방정돈을 수행하는 가상현실 시스템을 사용하여 정리한 방에 대한 점수 및 평가를 산출해줌으로써 사용자의 컨텐츠 집중도 및 몰입도 향상의 효과를 가질 수 있다.
본 발명의 일 실시예에 따르면, 방정돈을 수행하는 가상현실 시스템을 체험함으로써, 물건을 정리하고, 옮기면서 몸을 움직임에 따라 사용자의 운동기능 향상 효과를 가질 수 있다.
본 발명의 일 실시예에 따르면, 방정돈을 수행하는 가상현실 시스템 종료 시 사용자의 집중도 정도 및 안정도 정도로 도출한 인지정서정보를 외부로 전달하여 사용자의 진료, 치료, 및 상담데이터로 사용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자의 상태정보에 따라 피드백을 제공하는 사용자의 정서 증진 및 심리파악을 위한 가상현실시스템을 예시적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 사용자의 신체에 착용되는 센서부를 구성하는 모듈들을 예시적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 가상현실 시스템의 체험공간을 예시적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 가상현실 시스템 체험공간을 구성하는 위치센서에 의한 사용자의 위치측정을 예시적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 VR시스템의 내부구성을 예시적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 방정돈컨텐츠의 실행방법을 도시한다.
도 7은 본 발명의 일 실시예에 따른 사용자가 실행중인 방정돈컨텐츠의 실행화면을 예시적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 정돈결과에 대한 이미지 제공방법을 도시한다.
도 9는 본 발명의 일 실시예에 따른 사용자가 제공받는 정돈결과에 대한 이미지를 예시적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 사용자상태분석부의 내부구성을 예시적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 스코어산출부의 스코어 산출방법을 도시한다.
도 12는 본 발명의 일 실시예에 따른 사용자가 실행종료 하고 난 후 스코어가 제공된 방정돈컨텐츠 화면을 예시적으로 도시한다.
도 13은 은 발명의 일 실시예에 따른 사용자상태분석부에서 집중도 정도 및 안정도 정도를 도출하여 사용자상태를 분석한 그래프를 예시적으로 도시한다.
도 14는 본 발명의 일 실시예에 따른 사용자정보전달부에서 사용자 정보를 외부 컴퓨팅장치로 전달하는 과정을 예시적으로 도시한다.
도 15은 본 발명의 일 실시예에 따른 방해전략 실행방법을 도시한다.
도 16은 본 발명의 일 실시예에 따른 방해전략이 디스플레이 된 화면을 예시적으로 도시한다.
도 17은 본 발명의 일 실시예에 따른 가림오브젝트가 디스플레이 된 정돈결과에 대한 이미지의 제공방법을 도시한다.
도 18은 본 발명의 일 실시예에 따른 가림오브젝트가 디스플레이 된 정돈결과에 대한 이미지를 예시적으로 도시한다.
도 19는 본 발명의 일 실시예에 따른 선명도를 디스플레이 한 정돈결과에 대한 이미지 제공방법을 도시한다.
도 20은 본 발명의 일 실시예에 따른 선명도가 디스플레이 된 정돈결과에 대한 이미지를 예시적으로 도시한다.
도 21은 본 발명의 일 실시예에 따른 사용자의 정서 안정을 위한 가상현실 시스템 구현방법을 실행하는 컴퓨팅 장치의 내부구성을 예시적으로 도시한다.
이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 사용자의 정서 증진 및 심리파악을 위한 가상현실시스템을 예시적으로 도시한다.
본 발명은 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템으로서,
사용자로부터의 체험공간에서의 좌표를 측정하는 위치센서모듈(2100), 사용자의 두부(頭部)에 부착되어 사용자의 뇌파를 측정하는 뇌파측정모듈(2200), 사용자의 손목부위에 부착되어 사용자의 맥박을 측정하는 맥박측정모듈(2300), 및 사용자의 움직임을 측정하는 동작센서모듈(2400)을 포함하는 센서부; 상기 센서부로부터 수신되는 정보를 기초로 사용자가 방정돈을 수행하는 가상현실 컨텐츠를 실행하고, 상기 가상현실 컨텐츠의 수행결과에 대한 평가를 수행하는 VR시스템부(1000); 및 상기 VR시스템부(1000)로부터 실행되는 가상현실 컨텐츠의 영상 및 음향정보를 수신하여 사용자에게 제공하는 HMD모듈(3000);을 포함하는 가상현실 시스템을 제공한다.
상기 가상현실 시스템은 상기 센서부(2000), 상기 VR시스템부(1000) 및 상기 HMD모듈(3000)로 구성되어, 상기 가상현실 시스템의 사용자는 상기 가상현실 시스템에서 제공되는 가상공간에서의 체험을 통하여 정서 증진 효과를 얻을 수 있다.
이에 더하여 외상후스트레스장애(PTSD), 공황장애, 경도인지장애, 및 주의력결핍 과잉행동장애(ADHD) 등과 같은 정신적 장애를 가진 사용자가 상기 가상현실 시스템에서 제공되는 가상공간에서의 체험을 통하여 치료효과를 얻을 수 있다.
상기 정신적 장애는 외상후스트레스장애(PTSD)와 같은 상술한 정신적 장애의 종류에 한정되지 않고, 경미한 정신적 장애로부터 중증 정신적 장애에 이르기까지 상기 가상현실 시스템에서 제공되는 가상공간에서의 체험을 통하여 치료효과를 얻을 수 있는 모든 종류의 정신적 장애를 포함할 수 있다.
이와 같이 상기 가상현실 시스템에서 제공되는 가상공간을 체험하기 위하여 상기 가상현실 시스템은 상기 가상공간과 구분되는 체험공간을 필요로 한다. 즉, 상기 가상공간은 상기 가상현실 시스템에서 제공되는 상기 가상현실 컨텐츠를 통하여 만들어 진 실제로 존재하지는 않지만, 사용자가 실제로 체험하는 것과 같이 느낄 수 있도록 제공되는 허구의 공간이고, 상기 체험공간은 사용자가 상기 가상현실 컨텐츠의 상기 가상공간을 체험하기 위하여 사용자가 실제로 움직이고, 이러한 사용자의 움직임이 입력되어 상기 가상공간에서의 동작을 입력할 할 수 있는 공간을 의미한다.
상기 센서부(2000)는 상기 가상현실 시스템의 사용자로부터 상기 생체반응정보 및 체험정보를 측정할 수 있다.
상기 생체반응정보는 뇌파, 맥박, 및 심전도 등과 같이, 상기 센서부(2000)를 구성하는 모듈들의 일부가 상기 가상현실시스템의 사용자의 신체에 부착되어 사용자가 상기 가상현실시스템을 사용하는 동안 사용자의 신체로부터 측정할 수 있는 모든 종류의 생체정보를 의미한다.
상기 체험정보는 사용자가 가상현실 시스템에서 제공되는 가상공간에서의 체험을 하기 위하여 실제로 동작하는 체험공간에서 이동한 거리, 방향, 및 동작 등과 같이, 상기 센서부(2000)를 구성하는 모듈들의 일부를 이용하여 사용자가 상기 가상현실시스템을 사용하는 동안 상기 체험공간에서의 움직임으로부터 측정할 수 있는 모든 종류의 정보를 의미한다.
상기 VR시스템부(1000)은 상기 센서부(2000)로부터 입력되는 정보를 기초로 사용자가 방정돈을 수행하는 가상현실컨텐츠를 실행할 수 있고, 상기 방정돈을 수행하는 가상현실컨텐츠의 수행결과에 대한 평가를 수행할 수 있다.
상기 VR시스템부(1000)에서 실행되는 방정돈을 수행하는 가상현실 컨텐츠는 상술한 바와 같이 사용자의 정서 증진의 목적을 위하여 제공되거나, 혹은 사용자의 심리를 파악하거나, 사용자의 정신적 장애의 치료 목적을 위하여 제공될 수 있다. 사용자는 상기 VR시스템부(1000)에서 실행되는 가상현실 컨텐츠를 사용함으로써 얻는 경험을 통하여 정서적 증진을 얻거나 혹은 정신적 장애의 치료효과를 얻을 수 있다.
상기 HMD(Head Mounted Display)모듈은 상기 VR시스템부(1000)으로부터 상기 실행되는 가상현실 컨텐츠의 영상 및 음향정보를 수신하여 사용자에게 제공한다.
사용자는 상기 가상현실 시스템을 사용하기 위하여 안경을 착용하는 방식으로 상기 HMD모듈(3000)을 착용하고, 상기 HMD모듈(3000)을 통하여 상기 가상현실 컨텐츠의 영상 및 음향정보를 제공받음으로써, 제공되는 상기 방정돈을 수행하는 가상현실 컨텐츠를 실제로 체험하는 것과 같은 높은 체험도를 얻을 수 있다.
도 2는 본 발명의 일 실시예에 따른 사용자의 신체에 착용되는 센서부를 구성하는 모듈들을 예시적으로 도시한다.
상기 실시예에 따르면 상기 센서부(2000)는 사용자의 두부(頭部)에 부착되어 사용자의 뇌파를 측정하는 뇌파측정모듈(2200); 사용자의 손목부위에 부착되어 사용자의 맥박을 측정하는 맥박측정모듈(2300); 및 사용자의 움직임을 측정하는 동작센서모듈(2400); 을 포함할 수 있다.
도 2에 도시된 바와 같이 상기 뇌파측정모듈(2200)은 사용자의 두부(頭部)에 부착되어 사용자의 뇌파를 측정할 수 있다. 즉, 상기 뇌파측정모듈(2200)은 상기 생체반응정보 중의 하나인 사용자의 뇌파를 측정할 수 있다. 상기 뇌파측정모듈(2200)은 상기 생체반응정보 중의 하나인 상기 가상현실 시스템 사용자의 뇌파를 측정할 수 있고, 이와 같이 측정된 사용자의 뇌파는 상기 VR시스템부(1000)에 입력되어, 사용자의 상태를 분석하고 사용자의 심리를 파악하여 사용자의 상담 및 치료가 원활하게 이루어 질 수 있는 용도로 사용될 수 있다.
도 2에 도시된 바와 같이 상기 맥박측정모듈(2300)은 사용자의 손목에 부착되어 사용자의 맥박을 측정할 수 있다. 즉, 상기 맥박측정모듈(2300)은 상기 생체반응정보 중의 하나인 사용자의 맥박을 측정할 수 있다. 상기 맥박측정모듈(2300)은 상기 생체반응정보 중의 하나인 상기 가상현실 시스템 사용자의 맥박을 측정할 수 있고, 이와 같이 측정된 사용자의 맥박은 상기 VR시스템부(1000)에 입력되어, 사용자의 상태를 분석하고 사용자의 심리를 파악하여 사용자의 상담 및 치료가 원활하게 이루어 질 수 있는 용도로 사용될 수 있다.
도 2에 도시된 바와 같이 상기 동작센서모듈(2400)은 사용자의 상기 체험공간에서의 움직임을 측정하여 사용자의 상기 체험공간에서의 동작정보를 얻을 수 있다. 즉 상기 동작센서모듈(2400)은 상기 체험정보 중의 하나인 사용자의 상기 체험공간에서의 동작정보를 측정할 수 있다. 이와 같이 측정된 사용자의 상기 체험공간에서의 동작정보는 상기 VR시스템부(1000)에 입력되어, 상기 가상현실 시스템에서 제공되는 상기 가상현실 컨텐츠를 결정하는데 기초가 되거나, 사용자가 상기 가상현실 시스템에서 제공되는 상기 가상현실 컨텐츠를 체험하는데 사용될 수 있다.
상기 동작센서모듈(2400)은 가속도센서, 혹은 자이로센서 등과 같이 사용자의 몸에 부착되거나 혹은 도 2에 도시된 바와 같이 사용자가 소지하여 사용자의 상기 체험공간에서의 움직임을 측정할 수 있는 센서모듈을 포함하고, 혹은 적외선 센서 혹은 캠코더 등과 같이 사용자의 상기 체험공간에서의 움직임을 영상으로 측정할 수 있는 센서모듈을 포함할 수 있다.
이와 같이 상기 센서부(2000)를 구성하는 상기 뇌파측정모듈(2200), 및 상기 맥박측정모듈(2300)로 측정되는 사용자의 뇌파 및 상기 맥박을 포함하는 상기 생체반응정보가 상기 VR시스템부(1000)에 입력되고, 상기 센서부(2000)를 구성하는 상기 동작센서모듈(2400)로 측정되는 사용자의 상기 체험공간에서의 움직임을 포함하는 상기 체험정보가 상기 VR시스템부(1000)에 입력될 수 있다.
도 3은 본 발명의 일 실시예에 따른 가상현실 시스템의 체험공간을 예시적으로 도시한다.
상기 실시예에 따르면, 상기 센서부(2000)는 상기 가상현실 시스템 사용자의 사용자로부터의 거리를 측정하는 위치센서모듈(2100); 을 더 포함할 수 있다.
도 3에 도시된 바와 같이 상기 위치센서모듈(2100)은 상기 체험공간에 배치되어 상기 동작센서모듈(2400)과 함께 사용자의 상기 체험공간에서의 움직임을 측정할 수 있다. 이와 같은 사용자의 상기 체험공간에서의 움직임이 상기 VR시스템부(1000)에 입력되어 사용자의 상기 가상현실 컨텐츠의 가상공간에서의 체험을 할 수 있도록 한다.
또한 상기 위치센서모듈(2100)은 상기 체험공간에서 사용자로부터의 거리를 측정할 수 있고, 이와 같은 상기 위치센서모듈(2100)은 사용자로부터의 거리를 측정하기 위한 저전력 블루투스를 통한 Beacon, 및 적외선 센서 등을 포함하는 모든 종류의 거리 혹은 위치 측정 센서를 의미한다.
상기 실시예에 따르면, 상기 가상현실 시스템의 체험공간은 복수의 상기 위치센서모듈(2100)을 포함하고, 상기 복수의 위치센서모듈(2100)은 상기 체험공간에 배치되어 사용자의 상기 체험공간에서의 위치에 대한 좌표를 얻을 수 있다.
도 3에 도시된 바와 같이 복수의 상기 위치센서모듈(2100)을 상기 체험공간에 배치하고, 또한 상기 복수의 위치센서모듈(2100)은 상기 체험공간에 배치되어 상기 위치센서모듈(2100)로부터 사용자까지의 거리를 측정하여 상기 체험공간에서의 사용자의 위치좌표를 얻고, 이와 같은 방법으로 얻은 사용자의 위치정보를 상기 VR시스템부(1000)에 입력할 수 있다.
이와 같이 상기 센서부(2000)를 구성하는 상기 위치센서모듈(2100), 및 상기 동작센서모듈(2400)로 측정되는 사용자의 체험공간에서의 위치정보, 및 동작정보가 상기 VR시스템부(1000)에 입력될 수 있다.
도 4는 본 발명의 일 실시예에 따른 가상현실 시스템 체험공간을 구성하는 위치센서에 의한 사용자의 위치측정을 예시적으로 도시한다.
바람직하게는, 상기 복수의 위치센서모듈(2100)은, 각각의 위치센서모듈(2100)이 상기 체험공간의 다른 위치에 배치되고, 상기 각각의 위치센서 모듈로부터 측정된 사용자로부터의 거리를 기초로 사용자의 상기 체험공간에서의 위치에 대한 좌표를 얻을 수 있다.
상기 복수의 위치센서 모듈은 도 4에 도시된 바와 같이 상기 체험공간의 서로 다른 위치에 배치된다. 서로 다른 위치에 배치된 상기 복수의 위치센서 모듈 각각은 상기 체험공간 내의 사용자로부터의 거리를 측정하고, 상기 복수의 위치센서모듈(2100) 각각으로부터 측정된 상기 체험공간 내의 사용자로부터의 거리를 기초로 사용자의 상기 체험공간 내의 위치에 대한 좌표를 얻을 수 있다.
더욱 바람직하게는, 상기 위치센서모듈(2100)로부터 얻은 사용자의 상기 체험공간내의 위치에 대한 좌표를 상기 VR시스템이 실행되는 시간이 지남에 따라 얻은 다수의 좌표로부터 상기 사용자의 상기 체험공간 내의 이동거리 또한 얻을 수 있다.
도 5는 본 발명의 실시예에 따른 VR시스템의 내부구성을 예시적으로 도시한다.
상기 실시예에 따른 상기 VR시스템부(1000)는 프로세서(100), 버스(프로세서, 메모리, 네트워크인터페이스부 사이의 양방향 화살표에 해당), 네트워크 인터페이스(200) 및 메모리(300)를 포함할 수 있다. 메모리(300)는 OS(310), 사용자정보 (320), 프로그램실행코드(330) 등을 포함할 수 있다.
상기 프로세서(100)는 센싱정보수집부(110), 방정돈컨텐츠실행부(120), 정돈결과제공부(130), 사용자상태분석부(140), 스코어산출부(150), 및 사용자정보전달부(160)를 포함할 수 있다. 다른 실시예들에서 상기 VR시스템부(1000)은 도 5의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다.
상기 메모리(300)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리에는 상기 운영체제(310), 상기 사용자정보(320), 및 상기 프로그램 실행코드(330)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 상기 메모리(300)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 상기 네트워크 인터페이스부(200) 를 통해 상기 메모리(300)에 로딩될 수도 있다.
상기 버스는 상기 VR시스템부(1000)의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 상기 버스는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.
상기 네트워크 인터페이스부(200)는 상기 VR시스템부(1000)을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성 요소일 수 있다. 상기 네트워크 인터페이스(B)는 상기 VR시스템부(1000)을 무선 또는 유선 커넥션을 통해 상기 컴퓨터 네트워크에 연결시킬 수 있다. 이와 같은 상기 네트워크 인터페이스부(200)를 통하여 상기 VR시스템부(1000)이 다른 전자장치 등에 무선적 혹은 유선적으로 접속될 수 있다.
상기 프로세서(100)는 기본적인 산술, 로직 및 압축 패키지 파일에 대한 이미지 최적화 방법의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 상기 메모리(300) 또는 상기 네트워크 인터페이스부(200)에 의해, 그리고 상기 버스를 통해 상기 프로세서(100)로 제공될 수 있다. 상기 프로세서(100)는 센싱정보수집부(110), 방정돈컨텐츠실행부(120), 정돈결과제공부(130), 사용자상태분석부(140), 스코어산출부(150), 및 사용자정보전달부(160)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 상기 메모리(300)와 같은 기록 장치에 저장될 수 있다.
상기 프로세서(100)는 센싱정보수집부(110), 방정돈컨텐츠실행부(120), 정돈결과제공부(130), 사용자상태분석부(140), 스코어산출부(150), 및 사용자정보전달부(160)는 이하에서 설명하게 될 상기 VR시스템부(1000)을 구현하기 위해 구성될 수 있다. 상기한 프로세서(100)는 상기 VR시스템부(1000)의 구현하는 방법에 따라 일부 컴포넌트가 생략되거나, 도시되지 않은 추가의 컴포넌트가 더 포함되거나, 2개 이상의 컴포넌트가 결합될 수 있다.
한편, 이와 같은 상기 VR시스템부(1000)은 바람직하게는 개인용 컴퓨터 혹은 서버에 해당하고, 경우에 따라서는 스마트 폰(smart phone)과, 태블릿(tablet)과, 이동 전화기와, 화상 전화기와, 전자책 리더(e-book reader)와, 데스크 탑(desktop) PC와, 랩탑(laptop) PC와, 넷북(netbook) PC와, 개인용 복합 단말기(personal digital assistant: PDA, 이하 'PDA'라 칭하기로 한다)와, 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 'PMP'라 칭하기로 한다)와, 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스와, 카메라와, 웨어러블 디바이스(wearable device)와, 전자 의류와, 전자 팔찌와, 전자 목걸이와, 전자 앱세서리(appcessory)와, 전자 문신, 혹은 스마트 워치(smart watch) 등에 해당할 수 있다.
상기 실시예에 따르면, 상기 VR시스템부(1000)은, 상기 센서부(2000)로부터 상기 좌표, 상기 뇌파, 상기 맥박, 및 상기 움직임을 입력 받는 센싱정보수집부(110); 상기 HMD모듈을 착용한 사용자에게 방정돈 가상현실 체험을 할 수 있도록 하는 컨텐츠를 실행하는 방정돈컨텐츠실행부(120); 상기 방정돈컨텐츠실행부(120)에 의하여 사용자가 방정돈 가상현실 체험을 하는 동안, 사용자의 요청에 의하여 정돈결과에 대한 이미지를 제공하는 정돈결과제공부(130);
상기 센싱정보수집부(110)가 수집한 상기 뇌파 및 상기 맥박에 기초하여 사용자상태를 도출하는 사용자상태분석부(140); 상기 방정돈컨텐츠실행부(120)의 실행이 종료하는 경우, 상기 센싱정보수집부(110)로부터 도출된 정보, 상기 방정돈컨텐츠실행부(120) 로부터 도출된 정보, 상기 정돈결과제공부(130)로부터 도출된 정보, 및 상기 사용자상태분석부(140)로부터 도출된 정보에 기초하여, 스코어(50)를 산출하는 스코어산출부(150); 상기 뇌파 및 상기 맥박에 기초하여 도출된 인지정서정보를 외부의 컴퓨팅 장치로 전달하는 사용자정보전달부(160); 를 포함할 수 있다.
상기 센싱정보수집부(110)는 상기 센서부(2000)로부터 상기 좌표, 상기 뇌파, 상기 맥박, 및 상기 움직임을 수신하여, 이와 같이 수신된 상기 좌표, 상기 뇌파, 상기 맥박, 및 상기 움직임을 상기 VR시스템부(1000)을 구성하는 모듈 중 상기 좌표, 상기 뇌파, 상기 맥박, 혹은 상기 움직임을 기초로 연산을 하거나 동작을 수행하는 모듈로 전송할 수 있다.
바람직하게는, 상기 센서부(2000)의 위치센서모듈(2100)로부터 얻은 사용자의 상기 체험공간내의 위치에 대한 좌표를 상기 VR시스템이 실행되는 시간이 지남에 따라 다수의 좌표로부터 얻은 사용자의 상기 체험공간 내의 이동거리(10) 또한 상기 이동거리(10)를 기초로 연산을 하거나 동작을 수행하는 모듈로 전송할 수 있다.
상기 방정돈컨텐츠실행부(120)는 상기 HMD모듈(3000)을 착용한 사용자에게 방정돈 가상현실 체험을 할 수 있도록 하는 방정돈컨텐츠를 실행한다. 센싱정보수집부(110)로부터 입력된 정보를 기초로 상기 VR시스템부(1000)에서 실행되는 상기 가상현실 컨텐츠를 실행한다.
즉, 상기 방정돈 가상현실을 체험하는 컨텐츠가 방정돈컨텐츠실행부(120)에서 실행되게 되면, 사용자는 HMD모듈(3000)로부터 방정돈을 하는 영상 및 음향정보를 전달 받아 가상현실의 어지럽혀진 방을 정돈하는 체험을 할 수 있다. 상기 방정돈컨텐츠실행부(120)에 의하여 실행되는 상기 가상현실 컨텐츠의 영상정보 및 음향정보는 상기 HMD모듈(3000)에 입력되고, 상기 HMD모듈(3000)에 입력되는 상기 가상현실 컨텐츠의 영상정보 및 음향정보는 상기 HMD모듈(3000)의 디스플레이장치 및 스피커장치에서 영상 및 음향으로 변환되어 사용자에게 제공될 수 있다.
상기 정돈결과제공부(130)는 상기 방정돈컨텐츠실행부(120)에 의하여 상기 방정돈 가상현실을 체험하는 컨텐츠가 실행되면, 사용자가 상기 방정돈 가상현실을 체험을 할 수 있도록 정돈결과에 대한 이미지를 제공받고, 상기 방정돈 가상현실을 체험한다. 혹은 방정돈 가상현실 체험하는 컨텐츠 실행하는 도중에, 사용자의 요청이 수신되었을 때도 정돈결과를 제공해 줄 수 있다.
상기 사용자상태분석부(140)는 상기 센싱정보수집부(110)가 수집한 상기 뇌파 및 맥박에 기초하여 사용자 상태를 도출한다. 사용자는 상기 센서부(2000)에서 센싱 된 사용자의 상기 뇌파 및 상기 맥박정보에 기초하여 상기 뇌파 정보는 사용자가 상기 방정돈 가상현실 체험을 수행하면서 상기 방정돈 가상현실 체험에 얼마나 집중하였는가를 나타내는 집중도를 분석할 수 있고, 또한 상기 맥박 정보는 사용자가 방정돈 가상현실 체험을 수행하면서 사용자가 불안해 하지 않고 얼마나 안정적으로 방정돈을 수행하였는지를 나타내는 안정도를 분석할 수 있다.
상기 스코어산출부(150)는 사용자가 상기 방정돈 가상현실 체험을 수행함으로써 상기 VR시스템부(1000)를 구성하는 모듈에서 상기 좌표, 상기 뇌파, 상기 맥박, 혹은 상기 움직임을 기초로 연산을 하거나 동작을 수행하여 상기 센싱정보수집부(110)로부터 도출된 정보, 상기 방정돈컨텐츠실행부(120)로부터 도출된 정보, 상기 정돈결과제공부(130)로부터 도출된 정보, 및 상기 사용자상태분석부(140)로부터 도출된 정보에 기초하여, 사용자가 상기 방정돈 가상현실 체험을 수행한 결과를 수치로 나타낸 스코어(50)를 산출할 수 있다.
도 6은 본 발명의 일 실시예에 따른 방정돈 가상현실 체험을 하는 컨텐츠의 실행 단계를 예시적으로 도시한다.
상기 방정돈컨텐츠 실행단계는 사용자가 상기 방정돈컨텐츠를 실행하고자 하는 신호를 보내는 경우, 상기 방정돈컨텐츠를 실행하는 단계(S10); 상기 방정돈컨텐츠가 실행되고 나면 사용자가 상기 방정돈컨텐츠를 수행하는 단계(S11); 사용자가 방정돈을 모두 완료하고, 방정돈을 종료하는 단계(S12); 상기 방정돈컨텐츠실행시간을 측정하는 단계(S13); 를 수행할 수 있다.
구체적으로, S10 단계에서는, 상기 방정돈 가상현실 체험을 하는 컨텐츠는 사용자가 VR시스템에 접속하여 신호를 보내는 경우, 방정돈을 체험할 수 있는 방정돈컨텐츠를 실행할 수 있다.
S11 단계에서는, 방정돈컨텐츠를 실행하게 되면, 사용자 임의로 구성할 수 있는, 예를 들어, 방의 크기 및 시간을 선택할 수 있고, 최초의 방정돈을 시작할 수 있고, 혹은 이전에 실행했던 방정돈 데이터를 가져올 수 있다. 즉, 사용자는 기호에 따라 방정돈을 수행할 수 있다.
S12 단계에서는, 사용자가 방정돈을 완료하게 되면, 사용자는 방정돈컨텐츠를 종료하고자 하는 신호를 보낼 수 있고, 상기 방정돈컨텐츠의 실행이 종료된다.
S13 단계에서는, 상기 방정돈컨텐츠를 실행한 시점부터 상기 방정돈컨텐츠의 실행이 종료된 시점까지의 방정돈컨텐츠실행시간을 측정할 수 있다. 측정된 상기 방정돈컨텐츠실행시간은 상기 스코어산출부(150)에서 스코어(50)를 산출하는 경우, 기초가 되는 정보로 사용될 수 있다.
도 7은 본 발명의 일 실시예에 따른 사용자가 실행중인 방정돈컨텐츠의 실행화면을 예시적으로 도시한다.
상기 방정돈컨텐츠를 사용자가 실행하는 경우, 상기 방정돈컨텐츠 사용자가 상기 HMD모듈(3000)을 통해 보게 되는 사용자의 시점에서의 상기 방정돈컨텐츠 화면은 도 7에 도시된 바와 같이 나타난다. 상기 동작센서모듈(2400)에서 받아들인 상기 움직임 정보는, 도 7에 도시된 바와 같이 핸드컨트롤러의 이미지로 나타나게 되고, 상기 방정돈컨텐츠에서 측정된 방정돈컨텐츠실행시간(20), 및 상기 센싱정보수집부(110)에서 측정된 맥박, 등이 상기 방정돈컨텐츠 화면에서 함께 보여질 수 있다.
도 8은 본 발명의 일 실시예에 따른 정돈결과제공부의 정돈결과에 대한 이미지 제공방법을 예시적으로 도시한다.
상기 정돈결과제공부(130)의 정돈결과에 대한 이미지 제공단계는, 사용자가 상기 정돈결과제공요청을 수신하는 단계(S20); 사용자 입력 수신 시 상기 정돈결과를 제공하는 단계(S21); 일정시간 경과 후 혹은 사용자 입력 수신 시 정돈결과 제공을 종료하는 단계(S22); 정돈결과 제공횟수를 측정하는 단계(S23); 를 수행할 수 있다.
구체적으로, 사용자에 의하여 상기 방정돈컨텐츠를 실행하여, 방정돈 수행을 시작하는 경우, S20 단계에서는, 상기 정돈결과제공부(130)는 사용자가 방정돈을 수행하기 전, 상기 정돈결과제공요청을 수신한다.
S21 단계에서는, 사용자가 방정돈을 수행함에 있어서 참고하고 기억할 수 있는 상기 정돈결과에 대한 이미지를 제공할 수 있다. 상기 정돈결과에 대한 이미지를 사용자는 기억하여 방정돈을 수행하는 과정에서, 사용자는 방정돈을 완료할 수 있고, 혹은 사용자가 상기 정돈결과에 대한 이미지가 더 이상 기억 나지 않아, 다시 상기 정돈결과제공요청을 하는 경우, 상기 정돈결과제공부(130)는 다시 상기 정돈결과제공요청을 수신하여 상기 정돈결과에 대한 이미지를 제공할 수 있다.
S22 단계에서는, 상기 방정돈컨텐츠를 처음 실행하는 시점으로부터 기설정된 일정시간이 경과한 후 혹은 기설정된 일정시간 전에 사용자가 방정돈을 모두 끝내고 상기 방정돈컨텐츠를 종료하고자 하는 신호를 요청하면, 상기 정돈결과제공부(130)는 정돈결과제공을 종료할 수 있다.
S23 단계에서는, 상기 방정돈컨텐츠가 종료되면 상기 정돈결과제공부(130)는 사용자의 상기 정돈결과제공요청 횟수를 합산하여 상기 정돈결과제공횟수(30)를 측정할 수 있다. 측정한 상기 정돈결과제공횟수(30)는 상기 스코어산출부(150)에서 스코어(50)를 산출하는 경우, 기초가 되는 정보로 사용될 수 있다.
도 9는 본 발명의 일 실시예에 따른 정돈결과제공부에서 제공하는 정돈결과에 대한 이미지를 예시적으로 도시한다.
상기 방정돈컨텐츠를 사용자가 실행하는 경우, 상기 방정돈컨텐츠 사용자가 상기 HMD모듈(3000)을 통해 보게 되는 사용자의 시점에서의 상기 정돈결과에 대한 이미지는 도9에 도시된 바와 같이 나타난다. 상기 정돈결과제공부(130)는 사용자가 방정돈을 수행하기 전, 방정돈 정돈결과제공요청을 수신하여, 사용자가 방정돈을 수행함에 있어서 참고할 수 있는 상기 정돈결과에 대한 이미지를 제공할 수 있다.
제공되는 정돈결과에 대한 이미지는 예시된 이미지 하나에만 국한되지 않고, 다양한 방 크기, 혹은 방 안에 가구나 물건들의 위치 등이 다른 이미지가 랜덤으로 제공될 수 있다.
도 10은 본 발명의 일 실시예에 따른 사용자상태분석부의 내부구성을 예시적으로 도시한다.
상기 사용자상태분석부(140)는 사용자가 상기 방정돈컨텐츠를 실행하는 경우, 사용자의 집중도를 분석하는 집중도분석부(141); 상기 방정돈컨텐츠를 실행하는 경우 사용자의 안정도를 분석하는 안정도분석부(142); 를 포함할 수 있다. 상기 집중도분석부(141)는 상기 센싱정보수집부(110)에서 입력된 상기 뇌파 정보를 수신하는 뇌파정보수신부(41); 수신된 상기 뇌파 정보에 기초하여 집중도수치를 도출하는 집중도수치산출부(42);를 포함할 수 있다. 상기 안정도분석부(142)는 상기 센싱정보수집부(110)에서 입력된 상기 맥박 정보를 수신하는 맥박정보수신부(43); 수신된 상기 맥박 정보에 기초하여 안정도수치를 도출하는 안정도수치산출부(44); 를 포함할 수 있다.
일 실시예에 따르면, 상기 뇌파정보수신부(41)에서 수신된 상기 뇌파 정보는 다음과 같이, 사용자의 불안 혹은 흥분 상태를 나타내는 감마파, 활동, 스트레스, 혹은 몰입 상태를 나타내는 베타파, 명상, 혹은 문제해결 등의 안정된 상태를 나타내는 알파파, 얕은수면 혹은 졸음상태를 나타내는 세타파, 및 깊은 수면상태를 나타내는 델타파를 포함할 수 있다. 상기 뇌파정보수신부(41)에 수신된 상기 베타파 및 상기 세타파는, 집중하지 않는 보통의 경우, 0~20dB 사이의 값을 나타내고, 집중할 경우, 0dB 이하로 줄어드는 특징이 있다. 상기 집중도수치산출부(42)는 상기 베타파 및 상기 세타파를 활용하여 상기 집중도수치를 산출할 수 있다.
다른 실시예에 따르면, 상기 뇌파정보수신부(41)에 수신된 상기 뇌파 정보는 상기 집중도수치산출부(42)에서 고속 푸리에 변환(FFT, Fast Fourier transform)을 통해 각 주파수 별로 구분하여 SMR파, 미드베타파, 세타파로 분류할 수 있고, 상기 SMR파, 상기 미드베타파, 상기 세타파를 활용하여, 집중도산출식, 집중도= 계수A*(SMR파+미드베타파)/세타파 을 구성할 수 있다. 즉, 상기 집중도는 SMR파 및 미드베타파가 올라갈수록 증가하고, 세타파가 낮아질수록 감소하도록 산출할 수 있다. 본 발명의 실시예에서는, 상기 집중도산출식 등에 기초하여 집중도수치를 산출할 수 있다.
일 실시예에 따르면, 사람의 상기 맥박정보는 심리적인 상태가 불안정한 경우, 스트레스를 받는 경우, 혹은 몸동작에 따라서 증가하거나 혹은 일정하지 못한 특징이 있다. 따라서 상기 맥박정보수신부(43)에서 수신한 상기 맥박정보에 기초하여 상기 안정도수치산출부(44)는 상기 맥박 정보의 최고 맥박수, 최저 맥박수 및 맥박의 평균값을 도출할 수 있고, 상기 맥박에 기초하여 상기 안정도수치를 산출할 수 있다.
바람직하게는, H1 = (최고맥박수-최저맥박수), H2 = 수신한 맥박의 편차, 두 값을 이용하여 안정도산출식 = 계수A/(H1+H2) 를 구성할 수 있다. 즉 상기 안정도는 H1 및 H2 값이 낮아질수록 증가하도록 산출할 수 있다.
산출된 상기 집중도수치 및 상기 안정도수치는 사용자상태(40) 라고 할 수 있고, 상기 사용자상태(40)는 상기 스코어산출부(150)에서 스코어(50)를 산출하는 경우, 기초가 되는 정보로 사용된다. 또한 상기 사용자상태분석부(140)는 상기 집중도분석부(141) 및 상기 안정도분석부(142)로부터 산출된 상기 집중도수치 및 상기 안정도수치에 기초하여 상기 집중도수치에 기반한 상기 안정도수치 변화를 더 분석할 수 있다.
도 11은 본 발명의 일 실시예에 따른 스코어산출부의 스코어 산출방법을 예시적으로 도시한다.
상기 스코어산출부(150)는 상기 방정돈컨텐츠실행부(120)의 실행이 종료된 후, 상기 센싱정보수집부(110)로부터 도출된, 상기 방정돈 가상현실 체험을 하는 동안의 사용자 이동거리(10); 상기 방정돈컨텐츠실행부(120)로부터 도출된, 상기 컨텐츠를 실행한 시점에서 종료한 시점까지의 방정돈컨텐츠실행시간(20); 상기 정돈결과제공부(130)로부터 도출된, 정돈결과에 대한 이미지의 제공횟수에 해당하는 정돈결과제공횟수(30); 및 상기 사용자상태분석부(140)에서, 상기 뇌파에 기초하여 도출된 집중도 및 상기 맥박에 기초하여 도출된 안정도; 에 기초하여 스코어(50)를 산출할 수 있다.
일 실시예에 따르면, 상기 스코어산출부(150)는 다음과 같이 스코어(50) 산출 기준을 설정 할 수 있다. 상기 이동거리(10), 상기 방정돈컨텐츠실행시간(20), 상기 정돈결과제공횟수(30), 및 사용자상태(40)에 기초하여 각각의 결과에서 산출되는 상기 이동거리(10) 스코어, 상기 방정돈컨텐츠실행시간(20) 스코어, 상기 정돈결과제공횟수(30) 스코어, 및 상기 사용자상태(40) 스코어를 도출한다.
상기 이동거리(10) 스코어는 방정돈을 수행하는 최소이동거리를 계산하여, 이를 기준치로 설정하고, 방정돈을 수행한 사용자의 상기 이동거리(10)와 상기 기준치를 비교하여 차잇값이 0에 가까울수록, 상기 이동거리(10) 스코어 최고값에 가까운 스코어를 산출하고, 상기 차잇값이 0보다 커질수록, 상기 이동거리(10) 스코어 최고값보다 작은 스코어를 산출 할 수 있다.
상기 방정돈컨텐츠실행시간(20)스코어는, 상기 방정돈컨텐츠실행시간(20)의 제한시간을 기준치로 설정하고, 방정돈을 수행한 사용자의 상기 방정돈컨텐츠실행시간(20)과 상기 기준치를 비교하여 차잇값이 상기 기준치에 가까울수록, 상기 방정돈컨텐츠실행시간(20) 스코어 최고값에 가까운 스코어를 산출하고, 상기 차잇값이 0에 가까울수록 방정돈컨텐츠실행시간(20) 스코어 최고값보다 작은 스코어를 산출할 수 있다.
상기 정돈결과제공횟수(30)스코어는, 상기 방정돈컨텐츠를 실행 후 처음 제공되는 상기 정돈결과제공횟수(30), 예를 들어, 3회를 기준치로 설정하고, 방정돈을 수행한 사용자의 상기 정돈결과제공횟수(30) 와 상기 기준치를 비교하여 차잇값이 0에 가까울수록, 상기 정돈결과제공횟수(30) 스코어 최고값에 가까운 스코어를 산출하고, 상기 차잇값이 0보다 커질수록, 상기 이동거리(10) 스코어 최고값보다 작은 스코어를 산출 할 수 있다.
상기 사용자상태(40)스코어는 산출된 상기 집중도 수치와 상기 안정도 수치를 기초하여 산출할 수 있다. 바람직하게는, 사용자상태(40)스코어 = 계수A*집중도수치 + 계수B*안정도수치, 의 식으로 구성할 수 있다.
따라서, 상기 스코어산출부(150)는 상기 실시예에 따라 산출된 상기 이동거리(10) 스코어, 상기 방정돈컨텐츠실행시간(20) 스코어, 상기 정돈결과제공횟수(30) 스코어, 및 사용자상태(40)스코어를 합산하여 상기 방정돈컨텐츠를 실행한 최종 스코어(50)를 산출할 수 있다.
바람직하게는, 스코어산출식 = 계수A*이동거리 스코어 + 계수B*방정돈컨텐츠실행시간 스코어 + 계수C*정돈결과제공횟수 스코어 + 계수D*사용자상태 스코어, 의 식으로 구성할 수 있다.
또한, 상기 실시예에 한정되지 않고, 사용자의 상태에 따라 각각 상기 스코어(50)를 산출하는 기준에 있어 중요도를 판단하고, 상기 중요도를 상기 스코어산출식에 적용시켜 개별의 사용자에게 적합한 스코어(50)를 도출해 낼 수 있다.
도 12는 본 발명의 일 실시예에 따른 사용자가 실행종료 하고 난 후 스코어가 제공된 방정돈컨텐츠 화면을 예시적으로 도시한다.
방정돈 수행을 모두 완료하고 상기 방정돈컨텐츠를 사용자가 종료하는 경우, 상기 방정돈컨텐츠 사용자가 상기 HMD모듈(3000)을 통해 보게 되는 사용자의 시점에서의 상기 방정돈컨텐츠 화면은 도12에 도시된 바와 같이 나타난다. 방정돈 수행을 더 이상 수행할 수 없고, 상기 스코어산출부(150)에서 산출된 스코어(50)가 상기 방정돈컨텐츠의 화면에서 함께 보여질 수 있다.
도 13은 본 발명의 일 실시예에 따른 사용자상태분석부에서 집중도 정도 및 안정도 정도를 도출하여, 사용자상태를 분석한 그래프를 예시적으로 도시한다.
상기 사용자상태분석부(140)에서는 상기 집중도분석부(141)에서 도출된 집중도 정도를 알 수 있는 값, 예를 들어, SMR파와 미드베타파의 합, 및 상기 안정도분석부(142)에서 도출된 안정도 정도를 알 수 있는 값, 예를 들어, 맥박 수치에 기초하여, 도 13에 도시된 바와 같이 집중도 정도 및 안정도 정도에 기초하여 인지정서정보를 도출 할 수 있다.
사용자가 상기 방정돈컨텐츠를 실행하는 동안, 상기 집중도 정도가 산출되면 상기 사용자상태분석부(140)에서는 시간이 지남에 따른, 상기 집중도 정도를 그래프로 도출한다. 이 때, 사용자의 상기 안정도 정도 또한 시간이 지남에 따른, 상기 맥박의 일관성을 사용자의 안정도 정도로 그래프로 도출한다.
일 실시예에 따르면, 도 13에 (A)에 도시된 바와 같이 상기 집중도 정도 및 상기 안정도 정도를 비교하여 집중도 정도가 피크점을 찍었을 때, 상기 안정도 정도가 변동 없이 일정한 그래프를 나타내는 경우가 있을 수 있다. 이는 사용자가 상기 방정돈컨텐츠를 실행하면서 방정돈 수행에 몰입도가 높고, 사용자의 심리상태가 안정되며, 평온하다는 결과를 도출할 수 있다.
다른 실시예에 따르면, 도 13의 (B)에 도시된 바와 같이 상기 집중도 정도 및 상기 안정도 정도를 비교하여 상기 집중도 정도가 피크점을 찍었을 때, 상기 안정도 정도의 수치가 일정하지 못하고, 변동을 보이는 그래프를 나타내는 경우가 있을 수 있다. 이는, 상기 집중도 정도는 집중하고 있는 듯 하지만, 상기 안정도 정도를 보았을 때, 사용자가 방정돈 수행에 몰입도가 낮고, 사용자의 심리상태가 안정되지 못하며, 다른 생각을 하고 있다거나 불안하다는 결과를 도출할 수 있다.
이와 같이 상기 사용자상태분석부(140)는 상기 집중도 정도 및 안정도 정도를 동시에 분석하여 사용자의 상기 심리상태를 분석할 수 있고, 분석하여 인지정서정보를 도출한다.
구체적으로, 상기 사용자상태분석부(140)는, 상기 안정도 정도에 있어서 기설정된 수치를 초과하는 관심구간을 도출하는 단계, 상기 관심구간에서의 상기 안정도 정도의 편차값를 도출하는 단계, 및 전체 구간의 상기 안정도 정도의 편차를 도출하는 단계, 및 상기 관심구간에서의 상기 안정도 정도의 편차 및 상기 전체 구간의 상기 안정도 정도의 편차로부터 인지정서정보를 도출하는 단계를 수행할 수 있다.
상기 인지정서정보는 상기 관심구간에서의 상기 안정도 정도의 편차와 상기 전체 구간의 상기 안정도 정도의 편차의 차잇값에 기초하여 수치로 계량화될 수 있고, 상기 차잇값이 클수록 인지정서정보는 수치가 낮아지는 형태로 계량화될 수 있다.
즉, 상기 인지정서정보는 집중도 정도와 안정도 정도가 서로 독립적으로 유지될 수 있는 지 정도를 측정할 수 있는 지표에 해당한다.
도 14는 본 발명의 일 실시예에 따른 사용자정보전달부에서 사용자정보를 외부 컴퓨팅장치로 전달하는 과정을 예시적으로 도시한다.
상기 사용자정보전달부(160)는 사용자의 상기 집중도 정도 및 상기 안정도 정도로부터 도출된 상기 인지정서정보를 사용자 컴퓨팅 장치(61) 및 상담자 컴퓨팅 장치(62)에 네트워트(63)를 통해 전달할 수 있다.
상기 스코어산출부(150)에서 상기 스코어(50)를 산출할 때 기초가 된, 상기 이동거리(10), 방정돈컨텐츠실행시간(20), 상기 정돈결과제공횟수(30), 및 상기 사용자상태(40)와 상기 사용자상태분석부(140)에서 도출된 상기 인지정서정보를 포함할 수 있는 상기 사용자정보를 상기 네트워트(63)를 통해 사용자 본인 또는 사용자의 보호자가 접속하여 상기 사용자정보를 열람할 수 있는 상기 사용자 컴퓨팅 장치(61)로 전달 할 수 있고, 상기 사용자정보를 사용자의 인지정서 치료를 목적으로 상담 혹은 치료를 진행하는 상담자가 접속하여 상기 사용자정보를 열람할 수 있는 상기 상담자 컴퓨팅 장치(62)로 전달 할 수 있다.
상기 사용자 컴퓨팅 장치(61) 및 상기 상담자 컴퓨팅 장치(62)는 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 태블릿 PC 등의 네트워트(63) 접속이 가능한 통신 기기일수 있으며, 그 종류나 개수에 제한이 없다.
도 15는 본 발명의 일 실시예에 따른 방해전략 실행방법을 도시한다.
상기 방정돈컨텐츠실행부(120)에 상기 방해전략의 실행단계는, 상기 맥박 정보를 실시간으로 수신하는 단계(S111); 상기 맥박에 기초하여, HMD모듈(3000)에서 방해오브젝트가 표시되는 주기를 도출하는 단계(S112); 및 상기 HMD모듈(3000)에서 상기 가상현실 컨텐츠가 수행되는 동안, 상기 주기에 따라 방해오브젝트를 상기 가상현실 컨텐츠가 디스플레이 되는 화면에 오버랩하여 디스플레이 하는 단계(S113); 를 수행할 수 있다.
바람직하게는, 사용자가 방정돈을 수행하는 단계(S11)에 있어서, 상기 사용자상태분석부(140)에서 수신한 상기 집중도수치가 기설정된 값보다 높은 경우, 상기 방정돈컨텐츠실행부(120)는 방해전략을 실행한다.
S111 단계에서는, 상기 사용자상태분석부(140)에서 전송한 상기 맥박에 대한 정보를 실시간으로 수신한다.
S112 단계에서는, 상기 맥박에 기초하여 상기 방해오브젝트가 표시되는 주기를 도출할 수 있다. 예를 들어, 사용자의 상기 맥박이 뛰는 주기가 빠를 경우, 상기 방해오브젝트가 디스플레이 되는 주기 또한 빠른 주기로 도출하고, 상기 맥박이 뛰는 주기가 느릴 경우 상기 방해오브젝트가 디스플레이 되는 주기 또한 느린 주기로 도출한다.
바람직하게는, 상기 맥박이 기설정된 값 이상으로 수신될 경우, 방해오브젝트의 주기 = 초당 맥박 * 정규화계수, 의 식을 구성하여 상기 주기를 도출하고, 상기 맥박이 기설정된 값 미만으로 수신될 경우, 주기는 0으로 도출한다.
S113 단계에서는, 상기 맥박에 기초하여 도출된 주기에 따라 상기 가상현실 컨텐츠가 디스플레이 되는 화면에 상기 방해오브젝트가 오버랩하여 디스플레이 될 수 있다. 예를 들어, 상기 방해오브젝트는 검은색으로 깜빡이는 형태로 나타날 수 있고, 깜빡거리는 주기는 상기 S112단계에서 도출된 주기와 매칭되어 도출된 주기가 빠를 경우, 상기 방해오브젝트의 깜빡거리는 주기 또한 빠르게 디스플레이 될 수 있고, 도출된 주기가 빠르지 않을 경우, 상기 방해오브젝트의 깜빡거리는 주기 또한 빠르지 않게 디스플레이 될 수 있다.
바람직하게는, 상기 주기 값이 0으로 도출된 경우, 상기 방해오브젝트는 상기 가상현실 컨텐츠 화면에 디스플레이 되지 않는다.
도 16은 본 발명의 일 실시예에 따른 방해전략이 디스플레이 된 화면을 예시적으로 도시한다.
사용자가 방정돈을 수행하는 단계(S11)에 있어서, 상기 사용자상태분석부(140)에서 수신한 집중도수치가 기설정된 값보다 높은 경우, 상기 방정돈컨텐츠실행부(120)는 방해전략 실행신호를 수신하여 상기 방해오브젝트를 상기 HMD모듈(3000)에서 디스플레이 한다.
도 16에 도시된 바와 같이 상기 방해오브젝트는 검은색으로 깜빡이는 형태로 나타날 수 있고, 상기 맥박에 기초하여 도출된 주기와 매칭되어 상기 가상현실 시스템의 화면이 완전히 다 보이지 않고 일부가 가려지는 형태로 방정돈 수행을 방해하는 상기 방해오브젝트가 디스플레이 된다.
이는 사용자가 상기 방정돈컨텐츠를 실행하면서 너무 흥분하거나, 게임에 몰입을 하지 못하는 상태일 때, 혹은 집중도가 높을 때, 이를 반영하여 상기 HMD모듈(3000)을 통해 보이는 화면에 디스플레이 함으로써 사용자 본인이 자신의 상태를 자각할 수 있다. 자신의 상태를 자각한 사용자는 상기 방해오브젝트를 없애기 위해 자신의 상태가 상기 맥박이 빨리 뛰는 상태임을 알고, 상기 맥박이 빨리 뛰는 것을 막기 위해 마음의 안정을 취하려 함으로써 상기 방해오브젝트를 없앨 수 있는 전략을 세울 수 있다.
도 17은 본 발명의 일 실시예에 따른 가림오브젝트를 디스플레이 한 정돈결과에 대한 이미지의 제공방법을 도시한다.
상기 정돈결과제공부(130)에서 사용자에게 상기 가림오브젝트를 디스플레이 한 이미지를 제공하는 단계는, 상기 사용자상태분석부(140)에서 전송한 상기 맥박을 실시간으로 수신하는 단계(S211); 상기 맥박에 기초하여, HMD모듈(3000)에서 가림오브젝트가 디스플레이 되는 크기를 결정하는 단계(S212); 결정된 상기 크기에 따라 상기 HMD모듈(3000)에서 가림오브젝트를 상기 정돈결과에 대한 이미지에 오버랩하여 디스플레이 하는 단계 (S213); 를 수행할 수 있다.
구체적으로, S211 단계에서는, 상기 사용자상태분석부(140)에서 전송한 상기 맥박에 대한 정보를 실시간으로 수신한다.
S212 단계에서는, 상기 맥박에 기초하여 상기 가림오브젝트의 크기를 결정할 수 있다. 처음 제공되는 상기 정돈결과에 대한 이미지에서, 디스플레이 되는 상기 가림오브젝트의 크기는 제공되는 상기 정돈결과에 대한 이미지와 동일한 크기로 상기 가림오브젝트로 가려져서 제공된다. 이 후 실시간으로 수신되는 상기 맥박에 기초하여, 맥박이 안정됨에 따라 디스플레이 되는 상기 가림오브젝트의 크기를 결정한다.
바람직하게는, 맥박의 차이값의 편차가 너무 크거나, 맥박이 너무 빠르거나 하는 등의 사용자 상태가 불안정한 경우, 상기 가림오브젝트의 크기의 변동이 없도록 결정한다. 사용자의 맥박의 차이값의 편차가 변동이 크지 않고 맥박이 안정적이고, 맥박이 빠르지도 느리지도 않은 상태일 경우, 상기 가림오브젝트의 크기가 점점 작아지도록 결정한다.
S213 단계에서는, 상기 맥박에 기초하여 도출된 상기 가림오브젝트의 크기에 따라 상기 정돈결과에 대한 이미지에 상기 가림오브젝트가 오버랩하여 디스플레이 될 수 있다. 따라서 사용자의 상태가 안정적일수록 디스플레이 되는 상기 가림오브젝트의 크기가 점점 작아져 상기 정돈결과에 대한 이미지를 온전히 다 볼 수 있게 되면, 사용자는 제공된 정돈결과에 대한 이미지를 바탕으로 방정돈을 수행할 수 있게 된다.
따라서, 사용자가 주어진 시간 이내에 방정돈을 수행하기 위해서는 상기 정돈결과에 대한 이미지의 확인을 빠르게 해야 한다. 이를 위해 사용자는 마음의 안정을 취하려 함으로써, 상기 맥박을 안정시켜 상기 가림오브젝트의 크기를 최소화 시키는 전략을 세울 수 있다.
도 18은 본 발명의 일 실시예에 따른 가림오브젝트가 디스플레이 된 정돈결과에 대한 이미지를 예시적으로 도시한다.
도 18에 도시된 바와 같이 도 18의 (a)는 정돈결과이미지가 제공되었지만 상기 가림오브젝트로 인해 정돈결과가 제대로 보이지 않는 단계의 이미지를 도시하고 있다. 이 후, 사용자가 마음을 가라앉히고 안정된 상태에 이르면 도 18 (b)에 도시된 바와 같이 상기 가림오브젝트의 크기가 줄어들고, 이에 따라 상기 정돈결과에 대한 이미지의 노출정도가 증가하면서 방정돈 수행에 대한 정보를 기억할 수 있게 된다. 이 후, 사용자가 완전히 심적으로 안정상태에 이르면 도 18 (c)에 도시된 바와 같이 상기 가림오브젝트의 크기가 완전히 작아지게 되고 상기 정돈결과이미지의 노출정도가 최대치에 도달하면서 사용자가 수월하게 방정돈을 할 수 있는 정돈결과에 대한 이미지가 제공된다.
도 18의 일 예는, 가려진 상기 정돈결과에 대한 이미지는 사용자의 집중도수치는 높은 상태로, 모두 선명한 이미지가 제공되고 있음이 도시된다. 본 발명이 적용되는 정돈결과제공부(130)에서 제공되는 상기 정돈결과에 대한 이미지는, 도 18에 도시된 바와 같이 상기 맥박만을 반영할 수 있고, 일 예로, 상기 집중도수치만을 반영(도 20에 도시)할 수 있고, 상기 맥박과 상기 집중도수치를 동시에 반영(미도시)할 수 있다.
도 19은 본 발명의 일 실시예에 따른 선명도를 디스플레이 한 정돈결과에 대한 이미지 제공방법을 예시적으로 도시한다.
상기 정돈결과제공부(130)가 사용자에게 상기 정돈결과에 대한 이미지를 제공하는 단계는, 상기 사용자상태분석부(140)에서 전송한 상기 집중도수치를 실시간으로 수신하는 단계(S215); 상기 집중도수치에 기초하여, 선명도를 결정하는 단계(S216); 결정된 상기 선명도에 기초하여 상기 정돈결과에 대한 이미지의 선명도를 조절하여 상기 HMD모듈(3000)에서 디스플레이 하는 단계 (S217); 를 수행할 수 있다.
구체적으로, S215 단계에서는, 상기 사용자상태분석부(140)에서 전송한 상기 집중도수치를 실시간으로 수신한다.
S216 단계에서는, 상기 뇌파에 기초하여 도출된 상기 집중도수치에 따라 상기 선명도를 결정할 수 있다. 처음 제공되는 상기 정돈결과에 대한 이미지에서 디스플레이 되는 상기 선명도는 가장 낮게 제공된다. 이 후 실시간으로 수신되는 상기 집중도수치에 기초하여, 사용자의 집중도가 높아짐에 따라 디스플레이 되는 상기 선명도를 결정한다.
바람직하게는, 사용자의 상기 집중도수치가 낮을 경우, 상기 선명도를 조절하지 않는다. 사용자의 상기 집중도수치가 높을 경우, 상기 선명도가 증가하도록 결정한다.
S213 단계에서는, 상기 집중도수치에 기초하여 결정된 상기 선명도에 따라, 상기 정돈결과에 대한 이미지에 상기 선명도가 오버랩하여 디스플레이 될 수 있다. 따라서 사용자의 상기 집중도가 높을수록 디스플레이 되는 상기 선명도가 점점 증가하여 상기 정돈결과에 대한 이미지를 온전히 다 볼 수 있게 되면, 사용자는 제공된 정돈결과에 대한 이미지를 바탕으로 방정돈을 수행할 수 있게 된다.
따라서, 사용자가 주어진 시간 이내에 방정돈을 수행하기 위해서는 상기 정돈결과에 대한 이미지의 확인을 빠르게 해야 한다. 이를 위해 사용자는 방정돈에 좀 더 집중함으로써, 상기 집중도수치를 증가시켜 상기 선명도를 증가시키는 전략을 세울 수 있다.
도 20은 본 발명의 일 실시예에 따른 선명도가 디스플레이 된 정돈결과에 대한 이미지를 예시적으로 도시한다.
상기 도 18 (c)에서 도시된 바와 같이 상기 가림오브젝트의 크기가 완전히 작아지다가 상기 정돈결과에 대한 이미지의 노출정도가 최대치에 도달한 후의 일 실시예를 도 20에서 도시한다.
도 20에 도시된 바와 같이 도 20의 (a)는 상기 정돈결과에 대한 이미지가 제공되었지만 상기 선명도의 조절로 인해 정돈결과가 온전히 보이지 않고 흐리게 보이는 단계의 이미지를 도시하고 있다. 이 후, 사용자가 상기 방정돈컨텐츠에 몰입하여 집중도가 높은 상태에 이르면 도 20 (b)에 도시된 바와 같이 상기 집중도수치가 증가하고, 이에 따라 상기 정돈결과이미지에 대한 선명도가 더 증가하면서 방정돈 수행에 대한 정보를 기억할 수 있게 된다. 이 후, 사용자의 집중도가 최대치가 되면 상기 선명도 또한 최대치에 도달하여 도 20 (c)에 도시된 바와 같이 가장 선명한 정돈결과에 대한 이미지를 제공받을 수 있다.
도 20의 경우, 상기 정돈결과에 대한 이미지가 사용자의 상기 맥박은 안정된 상태로, 모두 상기 가림오브젝트가 디스플레이 되지 않은 이미지가 제공되고 있음이 도시된다. 본 발병이 적용되는 정돈결과제공부(130)에서 제공되는 상기 정돈결과에 대한 이미지는, 도 20에 도시된 바와 같이 상기 집중도수치만을 반영 할 수 있고, 일 예로, 상기 맥박만을 반영할 수 있고(도18에 도시), 상기 맥박과 상기 집중도수치를 동시에 반영(미도시)할 수 있다.
도 21은 본 발명의 일 실시예에 따른 사용자의 정서 안정을 위한 가상현실 시스템 구현방법을 실행하는 컴퓨팅 장치의 내부구성을 예시적으로 도시한다.
상기 실시예에 따른 사용자의 정서안정을 위한 가상현실 시스템에 의하여 구현되는 가상현실 제공방법은 도 21에 도시된 컴퓨팅 장치(11000)에 의하여 구현될 수 있다. 상기 도 1의 VR시스템부(1000)는 상기 도 21에 도시된 컴퓨팅장치(11000)의 구성요소들을 포함할 수 있다.
도 21에 도시한 바와 같이, 컴퓨팅 장치(11000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/Osubsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(11000)는 상기 센서부(2000), VR시스템부(1000), 및 HMD모듈(3000)을 포함하거나, 상기 입/출력 서브시스템(11400)에 의하여 상기 센서부(2000), VR시스템부(1000), 및 HMD모듈(3000)에 연결될 수 있다.
메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅 장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.
이러한 도 21의 실시예는, 컴퓨팅 장치(11000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 21에 도시된 일부 컴포넌트가 생략되거나, 도 21에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 21에도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템으로서,
    사용자로부터의 체험공간에서의 좌표를 측정하는 위치센서모듈, 사용자의 두부(頭部)에 부착되어 사용자의 뇌파를 측정하는 뇌파측정모듈, 사용자의 손목부위에 부착되어 사용자의 맥박을 측정하는 맥박측정모듈, 및 사용자의 움직임을 측정하는 동작센서모듈을 포함하는 센서부;
    사용자가 방정돈을 수행하는 가상현실 컨텐츠를 실행하고, 상기 가상현실 컨텐츠가 실행되는 동안에 상기 센서부로부터 수신되는 상기 뇌파 및 상기 맥박을 실시간으로 적용하여 상기 가상현실 컨텐츠에 피드백을 제공하고, 상기 가상현실 컨텐츠의 수행결과에 대한 평가를 수행하는 VR시스템부; 및
    상기 VR시스템부로부터 실행되는 가상현실 컨텐츠의 영상 및 음향정보를 수신하여 사용자에게 제공하는 HMD모듈; 을 포함하고,
    상기 VR시스템부는,
    상기 센서부로부터 상기 좌표, 상기 뇌파, 상기 맥박, 상기 움직임을 수신하는 센싱정보수집부;
    상기 센싱정보수집부가 수집한 상기 뇌파 및 상기 맥박에 기초하여 사용자상태를 도출하는 사용자상태분석부;
    상기 HMD모듈을 착용한 사용자에게 방정돈 가상현실 체험을 할 수 있도록 하는, 상기 뇌파 및 상기 맥박을 실시간으로 적용하여 컨텐츠를 실행하는 방정돈컨텐츠실행부;
    상기 방정돈컨텐츠실행부에 의하여 사용자가 방정돈 가상현실 체험을 하는 동안, 사용자의 요청에 의하여 정돈결과에 대한 이미지를 제공하는 정돈결과제공부; 및
    상기 방정돈컨텐츠실행부의 실행이 종료하는 경우, 상기 센싱정보수집부로부터 도출된 정보, 상기 사용자상태분석부로부터 도출된 정보, 상기 방정돈컨텐츠실행부로부터 도출된 정보, 상기 정돈결과제공부로부터 도출된 정보에 기초하여, 스코어를 산출하는 스코어산출부; 를 포함하고,
    상기 방정돈컨텐츠실행부는,
    상기 사용자상태분석부로부터 수신한 집중도수치가 기설정된 값보다 높은 경우,
    상기 맥박에 기초하여, HMD모듈에서 방해오브젝트가 표시되는 주기를 도출하는 단계; 및
    상기 HMD모듈에서 상기 가상현실 컨텐츠가 수행되는 동안, 상기 주기에 따라 방해오브젝트를 상기 가상현실 컨텐츠가 디스플레이 되는 화면에 오버랩하여 디스플레이 하는 단계;를 수행하고,
    상기 스코어산출부는,
    상기 센싱정보수집부로부터 도출된, 상기 방정돈 가상현실 체험을 하는 동안의 사용자의 이동거리;
    상기 방정돈컨텐츠실행부로부터 도출된, 상기 컨텐츠를 실행한 시점에서 종료한 시점까지의 방정돈컨텐츠실행시간;
    상기 정돈결과제공부로부터 도출된, 정돈결과에 대한 이미지의 제공횟수에 해당하는 정돈결과제공횟수; 및
    상기 사용자상태분석부에서, 상기 뇌파에 기초하여 도출된 집중도수치 및 상기 맥박에 기초하여 도출된 안정도수치를 기초하여 도출된 사용자상태; 에 기초하여 스코어를 산출하는 가상현실 시스템.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 사용자상태분석부는,
    상기 뇌파를 수신하는 뇌파정보수신부; 상기 뇌파를 집중도수치로 산출하는 집중도수치산출부; 를 포함하는 집중도분석부;
    상기 맥박을 수신하는 맥박정보수신부; 상기 맥박을 안정도수치로 산출하는 안정도수치산출부;를 포함하는 안정도분석부;를 포함하는, 가상현실 시스템.
  4. 청구항 3에 있어서,
    상기 사용자상태분석부는 상기 뇌파가 SMR파, 미드베타파, 세타파 중 어느 하나에 포함되는 지 여부를 판별하고,
    상기 집중도수치산출부는 상기 SMR파 및 상기 미드베타파가 증가함에 따라, 상기 세타파가 감소함에 따라 커지는 집중도산출식을 이용하여 집중도수치를 산출하고,
    상기 안정도수치산출부는 상기 맥박의 편차의 차이값에 기초하여 상기 차이값이 작을수록 커지는 안정도산출식; 을 이용하여 안정도수치를 산출하는, 가상현실 시스템.
  5. 청구항 1에 있어서,
    상기 방정돈컨텐츠실행부는,
    사용자에게 방해전략이 부여되는 방정돈 가상현실 체험을 할 수 있도록 하는 컨텐츠를 실행하는 단계;
    사용자의 입력 혹은 기설정된 판단기준에 따라 상기 컨텐츠의 실행을 종료하는 단계; 및
    상기 사용자가 상기 컨텐츠를 실행한 시점에서 종료한 시점까지의 방정돈컨텐츠실행시간을 측정하는 단계; 를 수행하는 가상현실 시스템.
  6. 삭제
  7. 청구항 1에 있어서,
    상기 정돈결과제공부는,
    상기 정돈결과에 대한 이미지를 상기 HMD모듈에서 디스플레이 하는 단계;
    상기 맥박에 기초하여 가림오브젝트의 크기를 결정하는 단계; 및
    결정된 상기 크기에 따라 상기 HMD모듈에서 가림오브젝트를 상기 정돈결과에 대한 이미지에 오버랩하여 디스플레이 하는 단계; 를 수행하는, 가상현실 시스템.
  8. 청구항 7에 있어서,
    상기 정돈결과제공부는,
    상기 맥박이 변동하는 경우에, 상기 가림오브젝트의 크기를 변동시켜 상기 HMD모듈에서 가림오브젝트를 상기 정돈결과에 대한 이미지에 오버랩하여 디스플레이 하는, 가상현실 시스템.
  9. 청구항 7에 있어서,
    상기 정돈결과에 대한 이미지를 상기 HMD모듈에서 디스플레이 하는 단계는,
    상기 뇌파에 기초하여 도출된 집중도수치에 따라 선명도를 결정하는 단계; 및
    상기 선명도에 기초하여 상기 정돈결과에 대한 이미지의 선명도를 조절하여 상기 HMD모듈에서 디스플레이 하는 단계; 를 포함하는, 가상현실 시스템.
  10. 청구항 9에 있어서,
    상기 정돈결과에 대한 이미지를 상기 HMD모듈에서 디스플레이 하는 단계는,
    상기 집중도수치가 변동하는 경우에, 상기 선명도를 변동시켜 상기 정돈결과에 대한 이미지를 디스플레이 하는, 가상현실 시스템.
  11. 청구항 1에 있어서,
    상기 정돈결과제공부는,
    사용자의 정돈결과제공요청을 수신하여 상기 뇌파 및 상기 맥박에 기초하여 변형이 되는 정돈결과에 대한 이미지를 제공하고, 일정시간 경과 후 또는 사용자의 입력수신에 따라 상기 정돈결과에 대한 이미지의 제공을 종료하고, 정돈결과제공횟수를 측정하는, 가상현실 시스템.
  12. 청구항 11에 있어서,
    상기 정돈결과제공부는,
    상기 맥박에 기초하여 상기 정돈결과에 대한 이미지의 노출정도를 결정하고,
    상기 뇌파에 기초하여 상기 정돈결과에 대한 이미지의 선명도를 결정하는, 가상현실 시스템.
  13. 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템의 구현방법으로서,
    사용자로부터의 체험공간에서의 좌표를 측정하는 위치센서단계, 사용자의 두부(頭部)에 부착된 기기를 이용하여 사용자의 뇌파를 측정하는 뇌파측정단계, 사용자의 손목부위에 부착된 기기를 이용하여 사용자의 맥박을 측정하는 맥박측정단계, 및 사용자의 움직임을 측정하는 동작센서단계를 포함하는 센서단계;
    사용자가 방정돈을 수행하는 가상현실 컨텐츠를 실행하고, 상기 가상현실 컨텐츠가 실행되는 동안에 상기 센서단계로부터 수신되는 상기 뇌파 및 상기 맥박을 실시간으로 적용하여 상기 가상현실 컨텐츠에 피드백을 제공하고, 상기 가상현실 컨텐츠의 수행결과에 대한 평가를 수행하는 VR시스템단계; 및
    상기 VR시스템단계로부터 실행되는 가상현실 컨텐츠의 영상 및 음향정보를 수신하여 사용자에게 제공하는 HMD모듈단계; 를 포함하고,
    상기 VR시스템단계는,
    상기 센서단계로부터 상기 좌표, 상기 뇌파, 상기 맥박, 상기 움직임을 수신하는 센싱정보수집단계;
    상기 센싱정보수집단계가 수집한 상기 뇌파 및 상기 맥박에 기초하여 사용자상태를 도출하는 사용자상태분석단계;
    상기 HMD모듈을 착용한 사용자에게 방정돈 가상현실 체험을 할 수 있도록 하는, 상기 뇌파 및 상기 맥박을 실시간으로 적용하여 컨텐츠를 실행하는 방정돈컨텐츠실행단계;
    상기 방정돈컨텐츠실행단계에 의하여 사용자가 방정돈 가상현실 체험을 하는 동안, 사용자의 요청에 의하여 정돈결과에 대한 이미지를 제공하는 정돈결과제공단계; 및
    상기 방정돈컨텐츠실행단계의 실행이 종료하는 경우, 상기 센싱정보수집단계로부터 도출된 정보, 상기 사용자상태분석단계로부터 도출된 정보, 상기 방정돈컨텐츠실행단계로부터 도출된 정보, 상기 정돈결과제공단계로부터 도출된 정보에 기초하여, 스코어를 산출하는 스코어산출단계;를 포함하고,
    상기 방정돈컨텐츠실행단계는,
    상기 사용자상태분석단계로부터 수신한 집중도수치가 기설정된 값보다 높은 경우,
    상기 맥박에 기초하여, HMD모듈에서 방해오브젝트가 표시되는 주기를 도출하는 단계; 및
    상기 HMD모듈에서 상기 가상현실 컨텐츠가 수행되는 동안, 상기 주기에 따라 방해오브젝트를 상기 가상현실 컨텐츠가 디스플레이 되는 화면에 오버랩하여 디스플레이 하는 단계;를 포함하고,
    상기 스코어산출단계는,
    상기 센싱정보수집단계로부터 도출된, 상기 방정돈 가상현실 체험을 하는 동안의 사용자의 이동거리;
    상기 방정돈컨텐츠실행단계로부터 도출된, 상기 컨텐츠를 실행한 시점에서 종료한 시점까지의 방정돈컨텐츠실행시간;
    상기 정돈결과제공단계로부터 도출된, 정돈결과에 대한 이미지의 제공횟수에 해당하는 정돈결과제공횟수; 및
    상기 사용자상태분석단계에서, 상기 뇌파에 기초하여 도출된 집중도수치 및 상기 맥박에 기초하여 도출된 안정도수치를 기초하여 도출된 사용자상태; 에 기초하여 스코어를 산출하는 가상현실 시스템의 구현방법.
  14. 삭제
KR1020180136961A 2018-11-09 2018-11-09 사용자의 상태정보에 따라 피드백을 제공하는 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템 KR102023024B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180136961A KR102023024B1 (ko) 2018-11-09 2018-11-09 사용자의 상태정보에 따라 피드백을 제공하는 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180136961A KR102023024B1 (ko) 2018-11-09 2018-11-09 사용자의 상태정보에 따라 피드백을 제공하는 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템

Publications (1)

Publication Number Publication Date
KR102023024B1 true KR102023024B1 (ko) 2019-11-04

Family

ID=68577904

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180136961A KR102023024B1 (ko) 2018-11-09 2018-11-09 사용자의 상태정보에 따라 피드백을 제공하는 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템

Country Status (1)

Country Link
KR (1) KR102023024B1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102151494B1 (ko) * 2019-11-12 2020-09-03 가천대학교 산학협력단 사용자의 활동을 통한 뇌 건강 및 신체건강을 위한 활동형 피드백 가상현실 시스템 및 구현방법
KR102151489B1 (ko) * 2019-11-12 2020-09-03 가천대학교 산학협력단 사용자의 집중 및 활동을 통한 뇌 건강과 신체 건강을 위한 몰입형·활동형 가상현실 시스템 및 구현방법
KR102151492B1 (ko) * 2019-11-12 2020-09-03 가천대학교 산학협력단 사용자의 집중을 통한 뇌 건강을 위한 몰입형 피드백 가상현실 시스템 및 구현방법
KR20210064472A (ko) * 2019-11-25 2021-06-03 김오현 Vr 기기를 이용한 심리상담 서비스 제공 시스템
KR20210100393A (ko) * 2020-02-06 2021-08-17 한국기술교육대학교 산학협력단 가상현실 및 인공지능을 이용한 상담환경 제어시스템, 제어 방법 및 제어 프로그램을 기록한 기록 매체
KR20210100781A (ko) * 2020-02-06 2021-08-18 한국기술교육대학교 산학협력단 뇌파 분석을 이용한 상담환경 제어시스템, 제어 방법 및 제어 프로그램을 기록한 기록 매체
KR20220068671A (ko) 2020-11-19 2022-05-26 김한길 일기장을 통한 심리상태와 희망사항 파악방법 및 시스템
KR102403883B1 (ko) * 2021-11-12 2022-06-02 가천대학교 산학협력단 복합센서 기반 이탈리아 요식업 직무 간접 경험을 통한 집중 및 활동형 가상현실 시스템 및 그 구현방법
KR102405130B1 (ko) * 2021-11-12 2022-06-03 가천대학교 산학협력단 햄버거 프랜차이즈 요식업 체험을 위한 복합센서 기반 집중 및 활동형 가상현실 시스템 및 그 구현방법
US20220392624A1 (en) * 2021-05-25 2022-12-08 PLYMIND Co.,Ltd. Apparatus and method for providing artificial intelligence based virtual reality psychological test service
KR102476745B1 (ko) * 2021-12-21 2022-12-13 (주)웅진씽크빅 정리 습관 형성을 위한 가상 서비스 제공 장치 및 방법
US11869382B2 (en) 2021-10-21 2024-01-09 Electronics And Telecommunications Research Institute Method of supporting self-learning and system for performing the same
KR102636450B1 (ko) * 2023-11-29 2024-02-14 아티움그룹 주식회사 생성형 인공지능을 이용한 가상 환경 기반의 다종 분야 종합 상담 서비스 제공 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020035030A (ko) * 2002-02-25 2002-05-09 (주)블루미디어텍 정신 질환 환자를 치료하기 위한 가상 환경 시스템과 상기시스템을 이용한 치료방법
JP2007304973A (ja) * 2006-05-12 2007-11-22 Mhi Environment Engineering Co Ltd シミュレーション装置及びシミュレーション方法
KR20150039113A (ko) * 2013-09-30 2015-04-09 삼성전자주식회사 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
KR101799013B1 (ko) * 2017-05-10 2017-11-22 김은지 동적 지표를 포함한 영재성 판별 방법 및 이를 이용한 맞춤형 영재성 개발 교구 제안 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020035030A (ko) * 2002-02-25 2002-05-09 (주)블루미디어텍 정신 질환 환자를 치료하기 위한 가상 환경 시스템과 상기시스템을 이용한 치료방법
JP2007304973A (ja) * 2006-05-12 2007-11-22 Mhi Environment Engineering Co Ltd シミュレーション装置及びシミュレーション方法
KR20150039113A (ko) * 2013-09-30 2015-04-09 삼성전자주식회사 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
KR101799013B1 (ko) * 2017-05-10 2017-11-22 김은지 동적 지표를 포함한 영재성 판별 방법 및 이를 이용한 맞춤형 영재성 개발 교구 제안 방법

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102151489B1 (ko) * 2019-11-12 2020-09-03 가천대학교 산학협력단 사용자의 집중 및 활동을 통한 뇌 건강과 신체 건강을 위한 몰입형·활동형 가상현실 시스템 및 구현방법
KR102151492B1 (ko) * 2019-11-12 2020-09-03 가천대학교 산학협력단 사용자의 집중을 통한 뇌 건강을 위한 몰입형 피드백 가상현실 시스템 및 구현방법
KR102151494B1 (ko) * 2019-11-12 2020-09-03 가천대학교 산학협력단 사용자의 활동을 통한 뇌 건강 및 신체건강을 위한 활동형 피드백 가상현실 시스템 및 구현방법
KR102406285B1 (ko) 2019-11-25 2022-06-08 김오현 Vr 기기를 이용한 심리상담 서비스 제공 시스템
KR20210064472A (ko) * 2019-11-25 2021-06-03 김오현 Vr 기기를 이용한 심리상담 서비스 제공 시스템
KR20210100393A (ko) * 2020-02-06 2021-08-17 한국기술교육대학교 산학협력단 가상현실 및 인공지능을 이용한 상담환경 제어시스템, 제어 방법 및 제어 프로그램을 기록한 기록 매체
KR20210100781A (ko) * 2020-02-06 2021-08-18 한국기술교육대학교 산학협력단 뇌파 분석을 이용한 상담환경 제어시스템, 제어 방법 및 제어 프로그램을 기록한 기록 매체
KR102401312B1 (ko) * 2020-02-06 2022-05-24 한국기술교육대학교 산학협력단 가상현실 및 인공지능을 이용한 상담환경 제어시스템, 제어 방법 및 제어 프로그램을 기록한 기록 매체
KR102401311B1 (ko) * 2020-02-06 2022-05-25 한국기술교육대학교 산학협력단 뇌파 분석을 이용한 상담환경 제어시스템, 제어 방법 및 제어 프로그램을 기록한 기록 매체
KR20220068671A (ko) 2020-11-19 2022-05-26 김한길 일기장을 통한 심리상태와 희망사항 파악방법 및 시스템
US20220392624A1 (en) * 2021-05-25 2022-12-08 PLYMIND Co.,Ltd. Apparatus and method for providing artificial intelligence based virtual reality psychological test service
US11869382B2 (en) 2021-10-21 2024-01-09 Electronics And Telecommunications Research Institute Method of supporting self-learning and system for performing the same
KR102405130B1 (ko) * 2021-11-12 2022-06-03 가천대학교 산학협력단 햄버거 프랜차이즈 요식업 체험을 위한 복합센서 기반 집중 및 활동형 가상현실 시스템 및 그 구현방법
KR102403883B1 (ko) * 2021-11-12 2022-06-02 가천대학교 산학협력단 복합센서 기반 이탈리아 요식업 직무 간접 경험을 통한 집중 및 활동형 가상현실 시스템 및 그 구현방법
KR102476745B1 (ko) * 2021-12-21 2022-12-13 (주)웅진씽크빅 정리 습관 형성을 위한 가상 서비스 제공 장치 및 방법
KR102636450B1 (ko) * 2023-11-29 2024-02-14 아티움그룹 주식회사 생성형 인공지능을 이용한 가상 환경 기반의 다종 분야 종합 상담 서비스 제공 시스템 및 방법

Similar Documents

Publication Publication Date Title
KR102023024B1 (ko) 사용자의 상태정보에 따라 피드백을 제공하는 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템
KR102021848B1 (ko) 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템
Nahavandi et al. Application of artificial intelligence in wearable devices: Opportunities and challenges
Lv et al. Bigdata oriented multimedia mobile health applications
KR102426385B1 (ko) 생리학적 컴포넌트와 커플링된 인지 플랫폼
JP7473338B2 (ja) コンピュータ化された喚起要素を含む認知プラットフォーム
EP3729445B1 (en) Sleep stage prediction and intervention preparation based thereon
Kauppi et al. Towards brain-activity-controlled information retrieval: Decoding image relevance from MEG signals
Wu et al. How fitness trackers facilitate health behavior change
US20170039336A1 (en) Health maintenance advisory technology
KR101901261B1 (ko) 사용자의 정서안정을 위한 가상현실 시스템, 구현방법, 및 컴퓨터-판독가능매체
JP6723028B2 (ja) 生理学的老化レベルを評価する方法及び装置並びに老化特性を評価する装置
KR102151494B1 (ko) 사용자의 활동을 통한 뇌 건강 및 신체건강을 위한 활동형 피드백 가상현실 시스템 및 구현방법
Sysoev et al. Noninvasive stress recognition considering the current activity
KR101901258B1 (ko) 사용자의 정서안정을 위한 가상현실 시스템, 구현방법, 및 컴퓨터-판독가능매체
JP2020531096A (ja) コンピュータ制御要素を含む認知プラットフォーム
JP7146800B2 (ja) プラットフォーム間でデータを安全に収集、分析、及び共有するための分散ネットワーク
KR102453304B1 (ko) 치매 예방 및 자가진단을 위한 가상현실콘텐츠를 제공하는 시스템
KR102425479B1 (ko) 사용자의 정보로 아바타를 생성하여 외부의 메타버스플랫폼에 제공하고 사용자 맞춤형 디지털치료제를 추천하는 시스템 및 방법
Wang et al. Design on the control system of a gait rehabilitation training robot based on Brain-Computer Interface and virtual reality technology
KR102425481B1 (ko) 재활치료를 위한 가상현실 커뮤니케이션 시스템
Darzi et al. Classification of multiple psychological dimensions in computer game players using physiology, performance, and personality characteristics
Torku et al. Wearable sensing and mining of the informativeness of older adults’ physiological, behavioral, and cognitive responses to detect demanding environmental conditions
KR102429627B1 (ko) 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템
Daşdemir Locomotion techniques with EEG signals in a virtual reality environment

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant