KR102499966B1 - 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체 - Google Patents

바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체 Download PDF

Info

Publication number
KR102499966B1
KR102499966B1 KR1020200187503A KR20200187503A KR102499966B1 KR 102499966 B1 KR102499966 B1 KR 102499966B1 KR 1020200187503 A KR1020200187503 A KR 1020200187503A KR 20200187503 A KR20200187503 A KR 20200187503A KR 102499966 B1 KR102499966 B1 KR 102499966B1
Authority
KR
South Korea
Prior art keywords
video conference
level
anxiety
subject
images
Prior art date
Application number
KR1020200187503A
Other languages
English (en)
Other versions
KR20220095720A (ko
KR102499966B9 (ko
Inventor
윤호경
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020200187503A priority Critical patent/KR102499966B1/ko
Priority to EP21915609.8A priority patent/EP4272794A1/en
Priority to PCT/KR2021/018962 priority patent/WO2022145811A1/ko
Priority to US18/270,441 priority patent/US20240062876A1/en
Publication of KR20220095720A publication Critical patent/KR20220095720A/ko
Application granted granted Critical
Publication of KR102499966B1 publication Critical patent/KR102499966B1/ko
Publication of KR102499966B9 publication Critical patent/KR102499966B9/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/35—Communication
    • A61M2205/3546—Range
    • A61M2205/3553—Range remote, e.g. between patient's home and doctor's office
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/35—Communication
    • A61M2205/3576—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver
    • A61M2205/3584—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver using modem, internet or bluetooth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/35—Communication
    • A61M2205/3576—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver
    • A61M2205/3592—Communication with non implanted data transmission devices, e.g. using external transmitter or receiver using telemetric means, e.g. radio or optical transmission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/505—Touch-screens; Virtual keyboard or keypads; Virtual buttons; Soft keys; Mouse touches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/52—General characteristics of the apparatus with microprocessors or computers with memories providing a history of measured variating parameters of apparatus or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/84—General characteristics of the apparatus for treating several patients simultaneously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2209/00—Ancillary equipment
    • A61M2209/08—Supports for equipment
    • A61M2209/088—Supports for equipment on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/04—Heartbeat characteristics, e.g. ECG, blood pressure modulation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/50—Temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/63—Motion, e.g. physical activity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/65—Impedance, e.g. conductivity, capacity

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Anesthesiology (AREA)
  • Educational Technology (AREA)
  • Acoustics & Sound (AREA)
  • Hematology (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Pain & Pain Management (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)

Abstract

바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체가 개시된다. 본 발명의 실시예에 따른 사회 불안 개선 시스템은: 사회 불안 개선의 대상인 대상자가 비디오 컨퍼런스를 통한 말하기 과제를 수행하는 동안 상기 대상자의 불안도를 측정하도록 구성되는 불안도 측정부; 비디오 컨퍼런스에 접속하여 참가하는 참가자 및 미리 준비된 가상 참가자를 포함하는 비디오 컨퍼런스 영상을 상기 대상자에게 제공하도록 구성되는 비디오 컨퍼런스 영상 제공부; 및 상기 비디오 컨퍼런스 영상에 따라 변화하는 상기 대상자의 불안도에 따라 노출 수준을 조절하도록 구성되는 노출 수준 조절부;를 포함한다.

Description

바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체{Social anxiety improvement system through biofeedback and exposure method based on video conference and recording medium in which a program for excuting the method of the same is recorded}
본 발명은 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체에 관한 것이다.
최근에 들어 사회 불안 장애(social anxiety disorder)를 겪는 사람의 비율이 증가하고 있다. 사회 불안 장애는 불안 장애 중 하나로, 다른 사람들과 상호작용하는 사회적인 상황을 두려워하고 이를 회피하는 경향을 나타내는 것이 일반적인 증상이다. 사회 불안 장애는 낯선 사람들이 자신을 유심히 보는 것 같이 느끼거나 심지어 다른 사람들과 마주칠 것 같은 사회적 상황까지도 비현실적으로 강렬히 두려워하는 상황을 나타내기도 한다.
이러한 사회 불안 장애를 극복하기 위한 다양한 방법이 연구되어 있다. 그 중에서 노출 방법이 사회 불안 증상을 완화하는데 효과가 있는 것으로 알려져 있다. 노출 방법은 사람들 앞에서 말을 할 때 심한 불안을 느끼는 사람에게 발표를 하는 모의상황을 만들어 청중의 수를 점차 늘려가며 발표를 하게 하는 상황에 노출을 시킴으로써 대중 앞에서 말하는 것에 익숙해지고 무뎌지게 하여 상황에 대한 불안을 감소시키는 방식을 말한다. 그러나 종래의 노출 방식은 단순히 청중 앞에서 말하는 방식이며 비용이 많이 들고 많은 시간을 할애해야 하며 접근성이 떨어지는 등의 분명한 한계점이 있다.
본 발명은 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체를 제공하기 위한 것이다.
또한, 본 발명은 사회 불안 개선 대상자의 불안도에 따라 비디오 컨퍼런스 영상을 조절하는 사회 불안 개선 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체를 제공하기 위한 것이다.
또한, 본 발명은 가상 참가자를 비디오 컨퍼런스 영상에 포함시킴과 동시에 비디오 컨퍼런스의 현실감을 높일 수 있는 사회 불안 개선 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체를 제공하기 위한 것이다.
본 발명의 실시예에 따른 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템은: 사회 불안 개선의 대상인 대상자가 비디오 컨퍼런스를 통한 말하기 과제를 수행하는 동안 상기 대상자의 불안도를 측정하도록 구성되는 불안도 측정부; 비디오 컨퍼런스에 접속하여 참가하는 참가자 및 미리 준비된 가상 참가자를 포함하는 비디오 컨퍼런스 영상을 상기 대상자에게 제공하도록 구성되는 비디오 컨퍼런스 영상 제공부; 및 상기 비디오 컨퍼런스 영상에 따라 변화하는 상기 대상자의 불안도에 따라 노출 수준을 조절하도록 구성되는 노출 수준 조절부;를 포함한다.
상기 비디오 컨퍼런스 영상은 상기 참가자의 제1 얼굴 영상 및 상기 가상 참가자의 제2 얼굴 영상을 포함한다. 상기 노출 수준 조절부는 상기 대상자의 불안도에 따라 상기 제1 얼굴 영상의 노출율을 조절하거나, 상기 제2 얼굴 영상의 표정을 조절하도록 구성된다.
상기 제2 얼굴 영상은 얼굴 표정 및 불안 정서 유발 수준이 상이한 다수의 가상 참가자 영상을 포함할 수 있다. 상기 다수의 가상 참가자 영상은 불안한 표정, 무관심한 표정 및 밝은 표정을 가지는 다수의 가상 참가자에 대해 미리 획득한 다수의 동영상을 포함할 수 있다. 상기 노출 수준 조절부는 상기 대상자의 불안도에 따라 상기 다수의 가상 참가자 영상의 노출 비율을 조절하도록 구성될 수 있다.
상기 제1 얼굴 영상은 참가자 단말기를 이용하여 상기 비디오 컨퍼런스에 실제 참가하고 있는 다수의 참가자의 다수의 실시간 참가자 영상을 포함할 수 있다. 상기 노출 수준 조절부는 상기 대상자의 불안도에 따라 상기 참가자 단말기에 상기 참가자의 표정을 변화시키기 위한 안내 문구를 제공하도록 구성될 수 있다.
상기 노출 수준 조절부는: 상기 비디오 컨퍼런스를 통해 상기 대상자에 노출 중인 상기 다수의 실시간 참가자 영상으로부터 각각 상기 참가자의 얼굴 표정의 불안 정서 유발 수준을 측정하도록 구성되는 불안 정서 유발 수준 측정부; 상기 다수의 실시간 참가자 영상에 대해 각각 측정된 불안 정서 유발 수준 및 상기 비디오 컨퍼런스를 통해 상기 대상자에게 노출 중인 다수의 제1 가상 참가자 영상의 불안 정서 유발 수준에 기초하여, 상기 다수의 실시간 참가자 영상과 상기 다수의 제1 가상 참가자 영상 중 적어도 하나의 제1 영상을 선택하도록 구성되는 제1 영상 선택부; 상기 대상자의 불안도에 기초하여 상기 비디오 컨퍼런스를 통해 상기 대상자에 노출되고 있지 않은 다수의 제2 가상 참가자 영상 중 적어도 하나의 제2 영상을 선택하도록 구성되는 제2 영상 선택부; 및 상기 비디오 컨퍼런스를 통해 상기 대상자에 노출 중인 상기 제1 영상을 상기 제2 영상으로 전환하여 상기 제2 영상을 상기 비디오 컨퍼런스를 통해 상기 대상자에게 노출시키도록 구성되는 영상 전환부;를 포함할 수 있다.
상기 비디오 컨퍼런스 영상 제공부는: 상기 대상자의 참가 시점에 상기 비디오 컨퍼런스에 대한 실시간 접속을 모사하도록, 상기 다수의 실시간 참가자 영상 및 상기 다수의 제1 가상 참가자 영상을 무작위로 순차적으로 제공하도록 구성될 수 있다.
상기 영상 전환부는: 다수의 제1 영상으로부터 다수의 제2 영상으로 전환시에 상기 비디오 컨퍼런스에 대한 실시간 접속을 모사하도록, 상기 다수의 제1 영상을 무작위로 순차적으로 상기 다수의 제2 영상으로 전환하도록 구성될 수 있다.
상기 노출 수준 조절부는: 상기 다수의 실시간 참가자 영상에 대해 각각 측정된 불안 정서 유발 수준을 합산하여 제1 불안 정서 유발 수준을 산출하도록 구성되는 제1 불안 정서 유발 수준 산출부; 상기 다수의 제1 가상 참가자 영상에 대해 각각 측정된 불안 정서 유발 수준을 합산하여 제2 불안 정서 유발 수준을 산출하도록 구성되는 제2 불안 정서 유발 수준 산출부; 및 상기 제2 불안 정서 유발 수준의 변화량이 상기 제1 불안 정서 유발 수준의 변화량을 상쇄시키도록, 상기 다수의 가상 참가자 영상 중에서 상기 다수의 제1 가상 참가자 영상을 선택하도록 구성되는 가상 참가자 영상 선택부;를 포함할 수 있다.
본 발명의 일 실시예에서, 상기 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템은: 상기 대상자의 생체 신호를 수집하도록 구성되는 생체 신호 수집부;를 더 포함할 수 있다. 상기 생체 신호 수집부는: 상기 대상자에 착용되어 상기 대상자의 생체 신호를 수집하도록 구성되는 착용형 단말;을 포함할 수 있다. 상기 불안도 측정부는: 상기 대상자가 상기 말하기 과제를 수행하는 동안 상기 착용형 단말에 의해 수집된 상기 대상자의 생체 신호로부터 상기 대상자의 불안도를 측정할 수 있다.
본 발명의 다른 실시예에서, 상기 불안도 측정부는: 상기 착용형 단말을 이용하지 않고, 상기 대상자가 상기 말하기 과제를 수행하는 동안 카메라에 의해 상기 대상자를 촬영하여 사용자 영상을 획득하고, 상기 사용자 영상에서 상기 대상자의 얼굴 표정 및 동작을 분석하여 상기 대상자의 불안도를 측정할 수 있다.
본 발명의 실시예에 따른 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템은: 상기 대상자가 상기 말하기 과제의 다양한 범주의 주제 중에서 하나의 범주를 선택하면, 선택된 범주의 하위 토픽을 무작위로 선정하여 팝업 형태로 제시할 수 있다.
본 발명의 실시예에 따르면, 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다. 상기 사회 불안 개선 방법은: 사회 불안 개선의 대상인 대상자가 비디오 컨퍼런스를 통한 말하기 과제를 수행하는 동안 상기 대상자의 불안도를 측정하는 단계; 비디오 컨퍼런스에 참가하는 참가자 또는 가상 참가자의 비디오 컨퍼런스 영상을 상기 대상자에게 제공하는 단계; 및 상기 비디오 컨퍼런스 영상에 따라 변화하는 상기 대상자의 불안도에 따라 노출 수준을 조절하는 단계;를 포함한다.
상기 노출 수준을 조절하는 단계는: 상기 대상자의 불안도에 따라 상기 제1 얼굴 영상의 노출율을 조절하거나, 상기 제2 얼굴 영상의 표정을 조절하는 단계, 또는 상기 대상자의 불안도에 따라 상기 다수의 가상 참가자 영상의 노출 비율을 조절하는 단계, 또는 상기 대상자의 불안도에 따라 상기 참가자 단말기에 상기 참가자의 표정을 변화시키기 위한 안내 문구를 제공하는 단계를 포함할 수 있다.
상기 노출 수준을 조절하는 단계는: 상기 비디오 컨퍼런스를 통해 상기 대상자에 노출 중인 상기 다수의 실시간 참가자 영상으로부터 각각 상기 참가자의 얼굴 표정의 불안 정서 유발 수준을 측정하는 단계; 상기 다수의 실시간 참가자 영상에 대해 각각 측정된 불안 정서 유발 수준 및 상기 비디오 컨퍼런스를 통해 상기 대상자에게 노출 중인 다수의 제1 가상 참가자 영상의 불안 정서 유발 수준에 기초하여, 상기 다수의 실시간 참가자 영상과 상기 다수의 제1 가상 참가자 영상 중 적어도 하나의 제1 영상을 선택하는 단계; 상기 대상자의 불안도에 기초하여 상기 비디오 컨퍼런스를 통해 상기 대상자에 노출되고 있지 않은 다수의 제2 가상 참가자 영상 중 적어도 하나의 제2 영상을 선택하는 단계; 및 상기 비디오 컨퍼런스를 통해 상기 대상자에 노출 중인 상기 제1 영상을 상기 제2 영상으로 전환하여 상기 제2 영상을 상기 비디오 컨퍼런스를 통해 상기 대상자에게 노출시키는 단계;를 포함할 수 있다.
상기 비디오 컨퍼런스 영상을 상기 대상자에게 제공하는 단계는: 상기 대상자의 참가 시점에 상기 비디오 컨퍼런스에 대한 실시간 접속을 모사하도록, 상기 다수의 실시간 참가자 영상 및 상기 다수의 제1 가상 참가자 영상을 무작위로 순차적으로 제공하는 단계; 및 다수의 제1 영상으로부터 다수의 제2 영상으로 전환시에 상기 비디오 컨퍼런스에 대한 실시간 접속을 모사하도록, 상기 다수의 제1 영상을 무작위로 순차적으로 상기 다수의 제2 영상으로 전환하는 단계;를 포함할 수 있다.
상기 노출 수준을 조절하는 단계는: 상기 다수의 실시간 참가자 영상에 대해 각각 측정된 불안 정서 유발 수준을 합산하여 제1 불안 정서 유발 수준을 산출하고, 상기 제1 불안 정서 유발 수준의 변화량을 산출하는 단계; 상기 다수의 제1 가상 참가자 영상에 대해 각각 측정된 불안 정서 유발 수준을 합산하여 제2 불안 정서 유발 수준을 산출하고, 상기 제2 불안 정서 유발 수준의 변화량을 산출하는 단계; 및 상기 제2 불안 정서 유발 수준의 변화량이 상기 제1 불안 정서 유발 수준의 변화량을 상쇄시키도록, 상기 다수의 가상 참가자 영상 중에서 상기 다수의 제1 가상 참가자 영상을 선택하는 단계;를 포함할 수 있다.
본 발명의 실시예에 의하면, 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체가 제공된다.
또한, 본 발명의 실시예에 의하면, 사회 불안 개선 대상자의 불안도에 따라 비디오 컨퍼런스 영상을 조절하는 사회 불안 개선 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체가 제공된다.
또한, 본 발명의 실시예에 의하면, 가상 참가자를 비디오 컨퍼런스 영상에 포함시킴과 동시에 비디오 컨퍼런스의 현실감을 높일 수 있는 사회 불안 개선 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체가 제공된다.
도 1은 본 발명의 실시예에 따른 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템을 구성하는 노출 수준 조절부의 구성도이다.
도 3 내지 도 5는 본 발명의 실시예에 따른 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템의 기능을 설명하기 위한 예시도이다.
도 6은 본 발명의 실시예에 따른 기록매체에 기록된 프로그램에 의해 실행되는 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 방법의 순서도이다.
도 7은 도 6의 사회 불안 개선 방법을 보다 구체적으로 나타낸 순서도이다.
도 8은 도 6의 단계 S140의 일 실시예를 구체적으로 나타낸 순서도이다.
도 9는 도 6의 단계 S140의 다른 실시예를 구체적으로 나타낸 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 본 명세서에서 사용되는 '~부'는 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 하드웨어 구성요소를 의미할 수 있다. '~부'에서 제공하는 기능은 복수의 구성요소에 의해 분리되어 수행되거나, 다른 추가적인 구성요소와 통합될 수도 있다. 본 명세서의 '~부'는 반드시 소프트웨어 또는 하드웨어에 한정되지 않으며, 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 이하에서는 도면을 참조하여 본 발명의 실시예에 대해서 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템의 구성도이다. 본 발명의 실시예에 따른 사회 불안 개선 시스템(100)은 유/무선 통신 기반의 네트워크를 통해 다수의 참가자 단말기(20)와 통신하여 사회 불안 개선의 대상인 대상자가 다수의 참가자와 비대면의 비디오 컨퍼런스를 통해 말하기 과제를 수행하는 노출에 의해 사회 불안을 개선하기 위한 서버(server)로 구현될 수 있다.
참가자 단말기(20)는 참가자가 사용하는 단말기로서, 예를 들어, 데스크탑 PC, 랩탑 PC, 노트북, 스마트폰, 스마트패드 등으로 제공될 수 있으나, 이에 한정되는 것은 아니다. 다수의 참가자 단말기(20) 중의 하나 이상의 단말기는 대상자가 사용하는 사용자 단말기(10)일 수 있다. 참가자 단말기(20)는 비디오 컨퍼런스를 실행할 수 있는 카메라와 통신 인터페이스를 구비하는 단말기로 제공될 수 있다.
도 1을 참조하면, 본 발명의 실시예에 따른 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템(100)은 생체 신호 수집부(110), 불안도 측정부(120), 비디오 컨퍼런스 영상 제공부(130), 노출 수준 조절부(140), 저장부(150), 통신부(160), 입력부(170), 표시부(180), 및 제어부(190)를 포함할 수 있다.
생체 신호 수집부(110)는 사회 불안 개선의 대상인 대상자가 비디오 컨퍼런스(video conference)를 통한 말하기 과제를 수행하는 동안 대상자의 생체 신호를 수집할 수 있다. 생체 신호 수집부(110)에 의해 수집되는 대상자의 생체 신호는 예를 들어, 심박변이도(HRV; Heart Rate Variability), 피부전기반응도(GSR; Galvanic Skin Response), 피부전도도(EDA; Electrodermal Activity), 피부 온도 등의 생리 신호를 포함할 수 있으나, 이에 한정되는 것은 아니다. 생체 신호 수집부(110)는 대상자에 착용되어 대상자의 생체 신호를 수집하도록 구성되는 착용형 단말(예를 들어, 무선 손목밴드)을 포함할 수 있다.
불안도 측정부(120)는 말하기 과제를 수행하는 동안 생체 신호 수집부(110)에 의해 수집된 대상자의 생체 신호로부터 말하기 과제를 수행하는 동안 대상자의 불안도를 실시간으로 측정할 수 있다. 불안도 측정부(120)는 심박변이도, 피부전기반응도, 피부전도도, 피부 온도 등을 알고리즘을 통해 분석하여 대상자의 불안도를 측정할 수 있다. 불안도는 알고리즘에 의해 유의미한 변화가 있었는지 서버에 저장된 과거 데이터와 비교 및 통계화될 수 있으며, 그에 따른 바이오 피드백 결과가 대상자에게 제공될 수 있다.
대안적으로, 불안도 측정부(120)는 생체 신호 수집부(110)에 의해 수집된 대상자의 생체 신호를 기반으로 불안도를 측정하는 대신, 대상자에 대해 카메라를 이용하여 사용자 영상을 획득하고, 영상 분석부에 의해 사용자 영상에서 대상자의 얼굴 표정 및 동작을 분석하여 대상자의 불안도를 측정할 수도 있다.
즉, 웹캠으로 대상자의 얼굴 표정과 동작을 촬영하여 영상을 생성하고, 해당 영상(예를 들어, 얼굴 영상)을 분석함으로써, 사용자가 착용형 단말을 착용하지 않더라도, 사용자에 대해 획득한 영상만으로 사용자의 불안도를 예측할 수도 있다. 이때 사용자의 불안도는 사용자의 얼굴 영상이나 동작으로부터 현재의 상태(예를 들어, 화난 표정, 흥분한 표정, 불안한 표정, 두려운 표정, 즐거운 표정, 슬픈 표정 등)를 예측하는 딥러닝 기반의 인공지능 모델(예를 들어, 컨볼루션 인공신경망 모델)에 의해 측정될 수 있다.
비디오 컨퍼런스 영상 제공부(130)는 비디오 컨퍼런스에 접속하여 참가하는 다수의 참가자 및 미리 준비된 다수의 가상 참가자를 포함하는 비디오 컨퍼런스 영상을 대상자에게 제공할 수 있다. 여기서, 참가자는 참가자 단말기(20)를 통해 비디오 컨퍼런스에 실시간으로 접속하여 비디오 컨퍼런스에 실제로 참여하는 사람일 수 있다. 비디오 컨퍼런스 영상 제공부(130)는 대상자의 참가 시점에 비디오 컨퍼런스에 대한 실시간 접속을 모사하도록, 다수의 실시간 참가자 영상 및 다수의 제1 가상 참가자 영상을 무작위로 순차적으로 제공할 수 있다.
참가자는 예를 들어, 사회 불안을 개선할 수 있는 기회를 제공받기 위하여 다른 사람이 사회 불안 개선 방법을 제공받는 동안 비디오 컨퍼런스에 참여하는 사람, 또는 일반적인 비디오 컨퍼런스 참가자일 수 있으며, 참가자의 조건이 특별히 제한되는 것은 아니다. 비디오 컨퍼런스 영상의 전체 참가자 수(참가자와 가상 참가자를 포함하는 전체 참여자 수)는 2X2, 3X3 등으로 다양하게 설정될 수 있다.
사회 불안 개선 대상인 대상자는 생리 신호를 측정하기 위한 손목밴드 착용 후 말하기 과제를 수행할 수 있다. 말하기 과제 중에 대상자의 화면에는 비대면 화상 회의에 참여하는 참가자와, 가상 참가자의 모습이 m×n 형태(m, n은 각각 정수)로 주어지고, 대상자가 볼 수 있는 화면에는 마이크 볼륨(Volume) 크기, 나가기 버튼, 잔여 말하기 시간 등이 표시될 수 있다.
말하기 과제의 주제는 선택과 무작위 배정 두 가지 요소가 모두 포함될 수 있다. 말하기 과제의 주제는 시사, 자기소개, 의견표현, 토론 등으로 범주화될 수 있다. 프로그램 시작시 대상자는 하나의 범주를 선택할 수 있고 해당 범주 내에서 무작위로 말하기 주제가 선정될 수 있다. 이를 위해, 대상자가 사용하는 단말기 화면에는 말하기 과제와 관련된 다양한 범주의 주제가 표시될 수 있다.
사회불안 증상의 개선을 위한 노출 방법을 제공받는 사용자(대상자)에 효과적인 도움을 줄 수 있도록, 대상자가 화면에 표시된 다양한 범주의 주제 중에서 하나의 범주를 선택하면, 선택된 범주의 하위 토픽을 무작위로 선정할 수 있으며, 무작위로 선정된 과제는 프로그램 화상 회의 세션 시작 전에 팝업(POP UP) 형태로 제시될 수 있다. 이에 따라 해당 토픽에 관하여 말하기 과제가 개시될 수 있다. 세션은 지정된 시간표에 따라 실행되며, 현장감을 높이기 위해 기입장한 참가자와 입장 중인 참가자를 화면에 보여줄 수 있다.
가상 참가자는 비디오 컨퍼런스에 접속하여 비디오 컨퍼런스에 실제로 참여하는 사람이 아니라, 사전 동의 하에 비디오 컨퍼런스에 참여하는 것으로 가정하여 동영상을 촬영한 사람이다. 이때 각 가상 참가자가 다양한 얼굴 표정(화난 표정, 무관심 표정, 밝은 표정 등)을 지은 상태에서 동영상을 촬영하도록 하여, 다양한 얼굴 표정의 가상 참가자 영상을 준비할 수 있다.
이에 따라 대상자가 사용자 단말기(10)의 화면을 통해 볼 수 있도록 노출되는 비디오 컨퍼런스 영상은 다수의 참가자의 얼굴 영상(제1 얼굴 영상) 및 다수의 가상 참가자의 얼굴 영상(제2 얼굴 영상)을 포함할 수 있다. 이와 같이 본 발명은 비디오 컨퍼런스에 실제 참여하는 사람(참가자)과, 실제로 비디오 컨퍼런스에 참여하지 않으나 대상자가 실제 참여하지 않는 사람으로 구분할 수 없는 가상의 참가자가 혼재되도록 하여 비디오 컨퍼런스 영상을 대상자에게 제공함으로써, 비디오 컨퍼런스의 사실감을 높여 대상자에 대한 사회 불안 개선의 효용성을 높임과 동시에, 대상자의 불안도에 따라 가상 참가자 영상의 표정 조절을 통해 사회 불안 개선 수준을 조절할 수 있다.
상기 제1 얼굴 영상(참가자 영상에 해당)은 참가자 단말기(20)를 이용하여 비디오 컨퍼런스에 실제 참가하고 있는 다수의 참가자의 다수의 실시간 참가자 영상을 포함할 수 있다. 상기 제2 얼굴 영상(가상 참자가 영상에 해당)은 얼굴 표정 및 불안 정서 유발 수준이 상이한 다수의 가상 참가자 영상을 포함할 수 있다. 다수의 가상 참가자 영상은 불안한 표정, 무관심한 표정 및 밝은 표정을 가지는 다수의 가상 참가자에 대해 미리 획득한 다수의 동영상을 포함할 수 있다.
가상 참가자 영상은 정서반응 유발의 목적으로 동의를 얻어 녹화한 단일 객체의 상반신 영상일 수 있다. 이러한 가상 참가자 영상은 실제 정서반응 유발 효과가 있는지 평정하고 편집되어 서버에 미리 저장될 수 있다. 또한, 각 가상 참가자 영상은 리커트(Likert) 척도를 통해 불안 정서 유발 수준이 미리 평가될 수 있다. 각 가상 참가자 영상에 대해 평가된 불안 정서 유발 수준은 가상 참가자 영상과 함께 서버에 저장될 수 있다.
노출 수준 조절부(140)는 비디오 컨퍼런스 영상에 따라 변화하는 대상자의 불안도에 따라 노출 수준을 조절할 수 있다. 즉, 대상자가 비디오 컨퍼런스를 통해 말하기 과제를 수행하는 동안, 대상자의 불안도를 실시간으로 측정하여, 측정된 대상자의 불안도 변화에 따라 노출 수준 조절부(140)에 의해 대상자에게 주어지는 노출의 수준을 조절할 수 있다.
이때, 노출 수준 조절부(140)는 대상자의 불안도에 따라 제1 얼굴 영상의 노출율을 조절하거나, 제2 얼굴 영상의 표정을 조절할 수 있다. 일 실시예에서, 노출 수준 조절부(140)는 대상자의 불안도에 따라 가상 참가자의 표정 전환 또는 가상 참가자의 교체 등을 통해 다수의 가상 참가자 영상의 노출 비율을 조절할 수 있다.
예컨대, 대상자가 비디오 컨퍼런스에서 말하기 과제를 수행 중에 기존 세션 대비 불안 수준(불안도)이 제1 기준 불안도 이하로 감소한 경우, 노출 수준 조절부(140)는 대상자에 대한 노출의 효과를 높이기 위해 비디오 컨퍼런스 영상에서 대상자의 불안을 유발하는 자극 빈도 및/또는 자극 강도가 늘어나도록 할 수 있다. 이 경우 노출 수준 조절부(140)는 예를 들어, 비디오 컨퍼런스 영상에서 노출 중인 다수의 가상 참가자 영상 중 적어도 하나의 가상 참가자의 영상을 밝은 표정에서 무관심 표정 또는 화난 표정으로 전환하거나, 가상 참가자의 영상을 무관심 표정에서 화난 표정으로 전환할 수 있다.
반대로, 대상자가 말하기 과제를 수행 중에 기존 세션 대비 불안 수준이 제1 기준 불안도 보다 높은 제2 기준 불안도 이상으로 증가한 경우, 노출 수준 조절부(140)는 중성 자극의 빈도를 높이고, 불안 자극의 빈도와 강도를 감소시킬 수 있다. 이 경우 노출 수준 조절부(140)는 예를 들어, 비디오 컨퍼런스 영상에서 노출 중인 다수의 가상 참가자 영상 중 적어도 하나의 가상 참가자의 영상을 무관심 표정에서 밝은 표정으로 전환하거나, 화난 표정에서 무관심 표정 또는 밝은 표정으로 전환할 수 있다.
이와 함께, 노출 수준 조절부(140)는 비디오 컨퍼런스 영상에 노출되고 있는 가상 참가자의 교체를 통해 대상자에게 가해지는 불안 수준을 조절할 수도 있다. 예를 들어, 노출 수준 조절부(140)는 밝은 표정의 가상 참가자가 비디오 컨퍼런스에서 나가도록 한 다음, 무관심 표정 또는 화난 표정의 가상 참가자가 입장하도록 하여, 대상자에게 노출되는 불안 수준을 증가시키거나, 화난 표정의 가상 참가자가 비디오 컨퍼런스에서 나가도록 한 다음, 밝은 표정 또는 무관심 표정의 가상 참가자가 입장하도록 하여, 대상자에게 노출되는 불안 수준을 감소시킬 수 있다.
본 발명의 다른 실시예에서, 노출 수준 조절부(140)는 대상자의 불안도에 따라 참가자 단말기에 참가자의 표정을 변화시키기 위한 안내 문구를 제공할 수 있다. 예컨대, 대상자가 비디오 컨퍼런스에서 말하기 과제를 수행 중에 기존 세션 대비 불안 수준이 제1 기준 불안도 이하로 감소한 경우, 노출 수준 조절부(140)는 비교적 밝은 표정 혹은 무관심 표정을 짓고 있는 적어도 하나의 참가자를 찾은 다음, 해당 참가자 단말기(20)에 "무관심 표정(또는 화난 표정)을 지어주세요" 등과 같이 표정 변화를 유도하는 안내 문구를 표시할 수 있다. 이에 따라 해당 참가자가 무관심 표정 또는 화난 표정으로 표정을 전환하면, 대상자에게 가해지는 불안 수준(대상자의 불안을 유발하는 자극 빈도 및/또는 자극 강도)이 증가할 수 있다.
반대로, 대상자가 비디오 컨퍼런스에서 말하기 과제를 수행 중에 기존 세션 대비 불안 수준이 제2 기준 불안도 이상으로 증가한 경우, 노출 수준 조절부(140)는 무관심 표정 혹은 화난 표정을 짓고 있는 적어도 하나의 참가자를 찾은 다음, 해당 참가자 단말기(20)에 "밝은 표정(또는 무관심 표정)을 지어주세요" 등과 같은 표정 변화를 유도하는 안내 문구를 표시할 수 있다. 이에 따라 해당 참가자가 밝은 표정 또는 무관심 표정으로 표정을 전환하면, 대상자에게 가해지는 불안 수준(대상자의 불안을 유발하는 자극 빈도 및/또는 자극 강도)가 감소될 수 있다.
저장부(150)는 비디오 컨퍼런스를 통한 사회 불안 개선 기능을 제공하기 위한 프로그램과, 미리 준비된 가상 참가자 영상, 그밖의 다양한 정보를 저장할 수 있다. 저장부(150)는 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 다양한 메모리로 구현될 수 있으며, 예시된 메모리로 한정되지 않는다. 통신부(160)는 참가자 단말기(20)와 유/무선 통신 인터페이스를 통해 통신할 수 있다. 통신부(160)는 유선 LAN 등의 유선 통신, 와이파이, 블루투스, LTE 등의 통신을 통해 비디오 컨퍼런스를 위한 데이터를 송수신할 수 있다.
입력부(170)는 비디오 컨퍼런스를 통한 사회 불안 개선 프로그램을 실행하는 명령 등을 입력하기 위한 입력 인터페이스(예를 들어, 키보드, 마우스, 터치패드, 전자펜 등)로 제공될 수 있다. 표시부(180)는 비디오 컨퍼런스 영상을 다수의 참가자 단말기(20)의 화면으로 표시하도록 하는 기능을 제공할 수 있다. 제어부(190)는 사회 불안 개선을 위한 프로그램을 실행하고 사회 불안 개선 시스템(100)의 각 구성요소를 제어하는 적어도 하나의 프로세서를 포함할 수 있다.
상술한 바와 같은 본 발명의 실시예에 따른 사회 불안 개선 시스템은 참가자가 앱을 다운로드받아 실행하는 것에 의해 간편하게 사회 불안 개선 서비스를 제공받도록 할 수 있다. 또는 본 발명의 실시예에 따른 사회 불안 개선 시스템은 의료 전문가가 의료 단말기를 통해 프로그램을 실행하여 사회 불안 개선 서비스를 제공할 수도 있다. 이 경우 대상자가 사용하는 사용자 단말기(10)는 사회 불안 개선 시스템과 통합되어 제공되거나, 의료 기관에서 사용하는 의료 단말기로 구현될 수 있다.
도 2는 본 발명의 실시예에 따른 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템을 구성하는 노출 수준 조절부의 구성도이다. 도 2를 참조하면, 노출 수준 조절부(140)는 불안 정서 유발 수준 측정부(141), 제1 영상 선택부(142), 제2 영상 선택부(143), 영상 전환부(144), 제1 불안 정서 유발 수준 산출부(145), 제2 불안 정서 유발 수준 산출부(146), 및 가상 참가자 영상 선택부(147)를 포함할 수 있다.
도 3 내지 도 5는 본 발명의 실시예에 따른 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템의 기능을 설명하기 위한 예시도이다. 도 3은 현재 대상자에게 표시되고 있는 비디오 컨퍼런스 영상을 나타낸 도면이다. 도 4는 도 3에 도시된 비디오 컨퍼런스 영상 중 일부 가상 참가자 영상이 화난 표정의 영상에서 무관심 표정의 영상으로 전환된 것을 나타낸 도면이다. 도 5는 도 3에 도시된 비디오 컨퍼런스 영상 중 일부 가상 참가자 영상이 무관심 표정의 영상에서 화난 표정의 영상으로 전환된 것을 나타낸 도면이다.
도 2 내지 도 5를 참조하면, 불안 정서 유발 수준 측정부(141)는 비디오 컨퍼런스 영상(30)을 통해 대상자에 노출 중인 다수의 실시간 참가자 영상(40)으로부터 각각 참가자의 얼굴 표정의 불안 정서 유발 수준을 측정할 수 있다. 참가자의 불안 정서 유발 수준은 사람의 얼굴 영상으로부터 감정 상태(화난 표정, 무관심 표정, 밝은 표정 등)를 예측하는 딥러닝 기반의 인공지능 모델(예를 들어, 컨볼루션 인공신경망 모델)에 의해 측정될 수 있으며, 본 발명의 요지가 흐려지지 않도록 인공지능 모델에 대한 구체적인 설명은 생략하기로 한다. 가상 참가자 영상의 불안 정서 유발 수준은 미리 설정되어 있을 수도 있고, 인공지능 모델에 의해 실시간으로 측정될 수도 있다.
제1 영상 선택부(142)는 다수의 실시간 참가자 영상에 대해 각각 측정된 불안 정서 유발 수준 및 비디오 컨퍼런스를 통해 대상자에게 노출 중인 다수의 제1 가상 참가자 영상(50)의 불안 정서 유발 수준에 기초하여, 다수의 실시간 참가자 영상(40)과 다수의 제1 가상 참가자 영상(50) 중 적어도 하나의 제1 영상(현재 비디오 컨퍼런스 영상에 표시되고 있는 중이나, 다른 영상으로 교체될 영상)을 선택할 수 있다.
예를 들어, 비디오 컨퍼런스에서 말하기 과제를 수행 중인 대상자의 현재 불안도가 낮은 경우, 대상자에게 보다 강한 불안을 일으키도록 할 필요가 있다. 이 경우에는 영상 교체를 통한 불안 정서 강화 효과를 높이기 위하여, 제1 영상 선택부(142)는 현재 비디오 컨퍼런스 중에 노출되고 있는 다수의 참가자 영상(40) 및 다수의 제1 가상 참가자 영상(50) 중 가장 불안 정서 유발 수준이 낮은 순으로 하나 이상의 제1 영상을 선택할 수 있다.
반대로, 비디오 컨퍼런스에서 말하기 과제를 수행 중인 대상자의 현재 불안도가 과도하게 높은 경우, 대상자에게 가해지는 불안을 감소시킬 필요가 있다. 이 경우에는 영상 교체를 통한 불안 정서 완화 효과를 높이기 위하여, 제1 영상 선택부(142)는 현재 비디오 컨퍼런스 중에 노출되고 있는 다수의 참가자 영상(40) 및 다수의 제1 가상 참가자 영상(50) 중 가장 불안 정서 유발 수준이 높은 순으로 하나 이상의 제1 영상을 선택할 수 있다.
또한, 제1 영상 선택부(142)는 참가자 영상(40) 및 제1 가상 참가자 영상(50)의 불안 정서 유발 수준과 함께, 비디오 컨퍼런스 영상에서 해당 참가자 영상(40) 및 제1 가상 참가자 영상(50)이 표시되고 있는 영상 표시 위치를 고려하여, 하나 이상의 제1 영상을 선택할 수 있다. 예를 들어, 제1 영상 선택부(142)는 대상자의 불안도가 기준 불안도 범위로부터 상대적으로 많이 벗어난 경우에는 불안 수준의 효과적인 증감을 위하여 대상자의 눈에 많이 띄는 제1 영상 표시 위치(예를 들어, 화면 중앙 영역 등의 미리 설정된 제1 화면 위치)에서 표시되고 있는 참가자 영상(40) 또는 제1 가상 참가자 영상(50)에 높은 스코어를 적용하여 제1 영상을 선택할 수 있다.
반대로, 제1 영상 선택부(142)는 대상자의 불안도가 기준 불안도 범위로부터 상대적으로 크게 벗어나지 않은 경우에는 불안 수준을 약간만 증가 또는 감소시키도록, 대상자의 눈에 많이 띄지 않는 제2 영상 표시 위치(예를 들어, 화면 모서리 영역 등의 미리 설정된 제2 화면 위치)에서 표시되고 있는 참가자 영상(40) 또는 가상 참가자 영상(50)에 높은 스코어를 적용하여 제1 영상을 선택할 수 있다.
제2 영상 선택부(143)는 비디오 컨퍼런스에서 말하기 과제를 수행 중인 대상자의 실시간 불안도에 기초하여 비디오 컨퍼런스를 통해 대상자에 노출되고 있지 않은 다수의 제2 가상 참가자 영상 중 적어도 하나의 제2 영상(현재 비디오 컨퍼런스 영상으로 표시되고 있지 않은 상태이나, 제1 영상을 대체하여 비디오 컨퍼런스 영상으로 표시될 영상)을 선택할 수 있다.
일 예로, 비디오 컨퍼런스에서 말하기 과제를 수행 중인 대상자의 현재 불안도가 낮은 경우, 대상자에게 보다 강한 불안을 일으키도록, 제2 영상 선택부(143)는 비디오 컨퍼런스를 통해 대상자에 노출되고 있지 않은 다수의 제2 가상 참가자 영상 중 가장 불안 정서 유발 수준이 높은 순으로 하나 이상의 제2 영상을 선택할 수 있다. 이때 제2 영상 선택부(143)에서 선택하는 제2 영상의 개수는 제1 영상 선택부(142)에서 선택하는 제1 영상의 개수와 동일할 수 있다.
다른 예로, 비디오 컨퍼런스에서 말하기 과제를 수행 중인 대상자의 현재 불안도가 과도하게 높은 경우, 대상자에게 가해지는 불안을 감소시키도록, 제2 영상 선택부(143)는 현재 비디오 컨퍼런스 중에 노출되고 있는 다수의 제2 가상 참가자 영상 중 가장 불안 정서 유발 수준이 낮은 순으로 하나 이상의 제2 영상을 선택할 수 있다.
영상 전환부(144)는 비디오 컨퍼런스를 통해 대상자에 노출 중인 제1 영상(제1 영상 선택부에 의해 선택된 영상)을 제2 영상 선택부(143)에 의해 선택된 제2 영상(50' 또는 50")으로 전환하여 제1 영상 대신 제2 영상(50' 또는 50")을 비디오 컨퍼런스 영상(30)을 통해 대상자에게 노출시킬 수 있다. 영상 전환부(144)는 다수의 제1 영상으로부터 다수의 제2 영상(50' 또는 50")으로 전환시에 비디오 컨퍼런스에 대한 실시간 접속을 모사하도록, 다수의 제1 영상을 무작위로 순차적으로 다수의 제2 영상(50' 또는 50")으로 전환할 수 있다.
다시 말해, 복수개의 제1 영상을 복수개의 제2 영상(50' 또는 50")으로 전환하는 경우, 영상 전환부(144)는 복수개의 제1 영상이 설정되거나 임의로 결정되는 시간 간격을 두고 순차적으로 복수개의 제2 영상(50' 또는 50")으로 전환되도록 하여, 대상자가 비디오 컨퍼런스에 참여하고 있는 참가자가 자연스럽게 퇴장하고 이어서 새로운 참가자가 참여하는 것으로 인지하도록 할 수 있다.
본 발명의 실시예에서, 제1 불안 정서 유발 수준 산출부(145), 제2 불안 정서 유발 수준 산출부(146) 및 가상 참가자 영상 선택부(147)는 비디오 컨퍼런스에서 말하기 과제를 수행하고 있는 대상자의 불안도가 일정 범위 내에 유지되어 해당 범위로부터 벗어나지 않는 동안에, 비디오 컨퍼런스에 실시간 참여하고 있는 참가자의 표정 변화로 인해 대상자에게 전달되는 불안 수준이 변화되지 않도록 하기 위해 제공될 수 있다.
제1 불안 정서 유발 수준 산출부(145)는 다수의 실시간 참가자 영상에 대해 각각 측정된 불안 정서 유발 수준을 합산하여 제1 불안 정서 유발 수준을 산출할 수 있다. 앞서 설명한 바와 같이 각 참가자 영상의 불안 정서 유발 수준은 인공지능 모델에 의해 측정될 수 있다. 제1 불안 정서 유발 수준 산출부(145)는 모든 참가자 영상의 불안 정서 유발 수준을 합산하여 제1 불안 정서 유발 수준을 실시간으로 산출하고, 설정된 시간(예를 들어, 수초 내지 수분) 사이의 제1 불안 정서 유발 수준의 제1 변화량을 주기적으로 산출할 수 있다.
제2 불안 정서 유발 수준 산출부(146)는 비디오 컨퍼런스 영상으로 표시되고 있는 다수의 제1 가상 참가자 영상에 대해 각각 측정된 불안 정서 유발 수준을 합산하여 제2 불안 정서 유발 수준을 산출할 수 있다. 제2 불안 정서 유발 수준 산출부(146)는 비디오 컨퍼런스 영상에 표시되고 있는 모든 가상 참가자 영상의 불안 정서 유발 수준을 합산하여 제2 불안 정서 유발 수준을 실시간으로 산출하고, 설정된 시간(예를 들어, 수초 내지 수분) 사이의 제2 불안 정서 유발 수준의 제2 변화량을 주기적으로 산출할 수 있다.
가상 참가자 영상 선택부(147)는 제2 불안 정서 유발 수준 산출부(146)에 의해 산출된 제2 불안 정서 유발 수준의 제2 변화량이 제1 불안 정서 유발 수준 산출부(145)에 의해 산출된 제1 불안 정서 유발 수준의 제1 변화량을 상쇄시키도록, 다수의 가상 참가자 영상 중에서 다수의 제1 가상 참가자 영상을 선택할 수 있다. 이에 따라 대상자의 불안도가 일정 수준으로 유지되고 있는 동안에는, 비디오 컨퍼런스 영상에서 표시되는 모든 실시간 참가자 영상 및 가상 참가자 영상의 불안 정서 유발 수준이 일정 수준으로 유지될 수 있으므로, 실시간 참가자의 표정 변화로 인해 대상자에게 가해지는 불안 정서 유발 수준이 변화하는 것을 방지할 수 있다.
예를 들어, 실시간 참여 중인 참가자가 밝은 표정에서 어두운 표정으로 표정이 변화한 경우, 가상 참가자 영상 선택부(147)는 비디오 컨퍼런스에서 표시 중인 어두운 표정의 가상 참가자 영상을 밝은 표정의 새로운 가상 참가자 영상으로 전환할 수 있다. 반대로, 실시간 참여 중인 참가자가 어두운 표정에서 밝은 표정으로 표정이 변화한 경우에는, 가상 참가자 영상 선택부(147)는 비디오 컨퍼런스에서 표시 중인 밝은 표정의 가상 참가자 영상을 어두운 표정의 새로운 가상 참가자 영상으로 전환할 수 있다.
도 6은 본 발명의 실시예에 따른 기록매체에 기록된 프로그램에 의해 실행되는 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 방법의 순서도이다. 도 7은 도 6의 사회 불안 개선 방법을 보다 구체적으로 나타낸 순서도이다. 도 1, 도 6 및 도 7을 참조하면, 대상자, 의료 전문가, 또는 서버 관리자는 비디오 컨퍼런스 참가자 수와, 말하기 과제 범주 데이터를 입력할 수 있다(S10). 비디오 컨퍼런스 참가자 수 또는 말하기 과제 범주 데이터는 디폴트로 설정될 수도 있다.
대상자가 생체 신호를 측정하기 위한 손목밴드 등의 착용형 기기(착용형 단말)를 착용하면, 손목밴드와 데이터 동기화를 설정할 수 있다(S20). 대안적으로, 대상자가 생체 신호는 착용형 단말 없이, 대상자의 말하기 과제 수행 상태를 촬영하여 영상을 획득하는 카메라와, 카메라에 의해 획득된 영상을 분석하여 대상자의 생체 신호를 측정하는 영상 분석부에 의해 수집될 수도 있다. 착용형 단말 및/또는 카메라의 데이터 동기화에 성공하면, 입력 데이터를 반영하여 무작위로 선정된 영상 및 말하기 과제를 수신한다(S30). 이때 대상자가 사용하는 단말기 화면에는 말하기 과제와 관련된 다양한 범주의 주제가 표시될 수 있다.
사회불안 증상의 개선을 위한 노출을 제공받는 사용자(대상자)에 효과적인 도움을 줄 수 있도록, 대상자가 화면에 표시된 다양한 범주의 주제 중에서 하나의 범주를 선택하면, 선택된 범주의 하위 토픽을 무작위로 선정할 수 있다. 무작위로 선정된 과제는 프로그램 화상 회의 세션 시작 전에 디스플레이 화면에 팝업 형태로 제시될 수 있으며, 이에 따라 해당 토픽에 관하여 말하기 과제가 표시되어 말하기 과제가 시작될 수 있다(S40). 말하기 과제가 시작되면, 비디오 컨퍼런스 영상을 사용자 단말기의 화면에 재생함과 동시에 착용형 단말 및/또는 카메라 영상분석 등을 이용하여 대상자의 생체 신호와 관련된 데이터를 수집한다(S50).
단계 S50에서, 생체 신호 수집부(110)는 사회 불안 개선의 대상인 대상자가 비디오 컨퍼런스를 통한 말하기 과제를 수행하는 동안 착용형 단말 및/또는 카메라 영상분석 등을 이용하여 대상자의 생체 신호를 수집할 수 있다(S110). 생체 신호 수집부(110)에 의해 수집되는 대상자의 생체 신호는 예를 들어, 심박변이도(HRV), 피부전기반응도(GSR), 피부전도도(EDA), 피부 온도 등의 생리 신호, 사용자 영상으로부터 분석된 사용자의 불안도와 관련된 얼굴표정/동작 등을 포함할 수 있다.
단계 S60에서, 불안도 측정부(120)는 말하기 과제를 수행하는 동안 생체 신호 수집부(110)에 의해 수집된 대상자의 생체 신호로부터 말하기 과제를 수행하는 동안 대상자의 불안도를 실시간으로 측정할 수 있다(S120). 불안도 측정부(120)는 심박변이도, 피부전기반응도, 피부전도도, 피부 온도 등을 알고리즘을 통해 분석하여 대상자의 불안도를 측정할 수 있다. 불안도 측정부(120)는 생체 신호 수집부(110)를 이용하지 않고, 카메라 영상 분석을 통해 대상자의 불안도를 측정할 수도 있다. 단계 S70에서, 불안도는 알고리즘에 의해 유의미한 변화가 있었는지 서버에 저장된 과거 데이터와 비교 및 통계화될 수 있으며, 그에 따른 바이오 피드백 결과가 대상자에게 제공될 수 있다.
비디오 컨퍼런스 영상 제공부(130)는 비디오 컨퍼런스에 접속하여 참가하는 다수의 참가자 및 미리 준비된 다수의 가상 참가자를 포함하는 비디오 컨퍼런스 영상을 대상자에게 제공할 수 있다(S130). 여기서, 참가자는 참가자 단말기(20)를 통해 비디오 컨퍼런스에 실시간으로 접속하여 비디오 컨퍼런스에 실제로 참여하는 사람일 수 있다. 비디오 컨퍼런스 영상 제공부(130)는 대상자의 참가 시점에 비디오 컨퍼런스에 대한 실시간 접속을 모사하도록, 다수의 실시간 참가자 영상 및 다수의 제1 가상 참가자 영상을 무작위로 순차적으로 제공할 수 있다.
대상자가 사용자 단말기(10)의 화면을 통해 볼 수 있도록 노출되는 비디오 컨퍼런스 영상은 다수의 참가자의 얼굴 영상(제1 얼굴 영상) 및 다수의 가상 참가자의 얼굴 영상(제2 얼굴 영상)을 포함할 수 있다. 본 발명은 비디오 컨퍼런스에 실제 참여하는 사람(참가자)과, 실제로 비디오 컨퍼런스에 참여하지 않으나 대상자가 실제 참여하지 않는 사람으로 구분할 수 없는 가상의 참가자가 혼재되도록 하여 비디오 컨퍼런스 영상을 대상자에게 제공함으로써, 비디오 컨퍼런스의 사실감을 높여 대상자에 대한 사회 불안 개선의 효용성을 높임과 동시에, 대상자의 불안도에 따라 가상 참가자 영상의 표정 조절을 통해 사회 불안 개선 수준을 조절할 수 있다.
제1 얼굴 영상(참가자 영상에 해당)은 참가자 단말기(20)를 이용하여 비디오 컨퍼런스에 실제 참가하고 있는 다수의 참가자의 다수의 실시간 참가자 영상을 포함할 수 있다. 제2 얼굴 영상(가상 참자가 영상에 해당)은 얼굴 표정 및 불안 정서 유발 수준이 상이한 다수의 가상 참가자 영상을 포함할 수 있다. 다수의 가상 참가자 영상은 불안한 표정, 무관심한 표정 및 밝은 표정을 가지는 다수의 가상 참가자에 대해 미리 획득한 다수의 동영상을 포함할 수 있다.
가상 참가자 영상은 정서반응 유발의 목적으로 동의를 얻어 녹화한 단일 객체의 상반신 영상일 수 있다. 이러한 가상 참가자 영상은 실제 정서반응 유발 효과가 있는지 평정하고 편집되어 서버에 미리 저장될 수 있다. 또한, 각 가상 참가자 영상은 리커트(Likert) 척도를 통해 불안 정서 유발 수준이 미리 평가될 수 있다. 각 가상 참가자 영상에 대해 평가된 불안 정서 유발 수준은 가상 참가자 영상과 함께 서버에 저장될 수 있다.
노출 수준 조절부(140)는 비디오 컨퍼런스 영상에 따라 변화하는 대상자의 불안도에 따라 노출 수준을 조절할 수 있다(S140). 노출 수준 조절부(140)는 대상자가 비디오 컨퍼런스를 통해 말하기 과제를 수행하는 동안, 대상자의 불안도를 실시간으로 측정하여, 측정된 대상자의 불안도 변화에 따라 노출 수준 조절부(140)에 의해 대상자에게 주어지는 노출의 수준을 조절할 수 있다.
노출 수준 조절부(140)는 대상자의 불안도에 따라 제1 얼굴 영상의 노출율을 조절하거나, 제2 얼굴 영상의 표정을 조절할 수 있다. 일 실시예에서, 노출 수준 조절부(140)는 대상자의 불안도에 따라 가상 참가자의 표정 전환 또는 가상 참가자의 교체 등을 통해 다수의 가상 참가자 영상의 노출 비율을 조절할 수 있다.
예컨대, 대상자가 비디오 컨퍼런스에서 말하기 과제를 수행 중에 기존 세션 대비 불안 수준(불안도)이 제1 기준 불안도 이하로 감소한 경우, 노출 수준 조절부(140)는 대상자에 대한 노출 효과를 높이기 위해 비디오 컨퍼런스 영상에서 대상자의 불안을 유발하는 자극 빈도 및/또는 자극 강도가 늘어나도록 할 수 있다.
반대로, 대상자가 말하기 과제를 수행 중에 기존 세션 대비 불안 수준이 제1 기준 불안도 보다 높은 제2 기준 불안도 이상으로 증가한 경우, 노출 수준 조절부(140)는 중성 자극의 빈도를 높이고, 불안 자극의 빈도와 강도를 감소시킬 수 있다.
이와 함께, 노출 수준 조절부(140)는 비디오 컨퍼런스 영상에 노출되고 있는 가상 참가자의 교체를 통해 대상자에게 가해지는 불안 수준을 조절할 수도 있다. 본 발명의 다른 실시예에서, 노출 수준 조절부(140)는 대상자의 불안도에 따라 참가자 단말기에 참가자의 표정을 변화시키기 위한 안내 문구를 제공할 수 있다.
도 8은 도 6의 단계 S140의 일 실시예를 구체적으로 나타낸 순서도이다. 도 2 내지 도 6, 도 8을 참조하면, 불안 정서 유발 수준 측정부(141)는 비디오 컨퍼런스 영상(30)을 통해 대상자에 노출 중인 다수의 실시간 참가자 영상(40)으로부터 각각 참가자의 얼굴 표정의 불안 정서 유발 수준을 측정할 수 있다(S141).
참가자의 불안 정서 유발 수준은 사람의 얼굴 영상으로부터 감정 상태(화난 표정, 무관심 표정, 밝은 표정 등)를 예측하는 딥러닝 기반의 인공지능 모델(예를 들어, 컨볼루션 인공신경망 모델)에 의해 측정될 수 있다. 가상 참가자 영상의 불안 정서 유발 수준은 미리 설정되어 있을 수도 있고, 인공지능 모델에 의해 실시간으로 측정될 수도 있다.
제1 영상 선택부(142)는 다수의 실시간 참가자 영상에 대해 각각 측정된 불안 정서 유발 수준 및 비디오 컨퍼런스를 통해 대상자에게 노출 중인 다수의 제1 가상 참가자 영상(50)의 불안 정서 유발 수준에 기초하여, 다수의 실시간 참가자 영상(40)과 다수의 제1 가상 참가자 영상(50) 중 적어도 하나의 제1 영상(현재 비디오 컨퍼런스 영상에 표시되고 있는 중이나, 다른 영상으로 교체될 영상)을 선택할 수 있다(S142).
또한, 제1 영상 선택부(142)는 참가자 영상(40) 및 제1 가상 참가자 영상(50)의 불안 정서 유발 수준과 함께, 비디오 컨퍼런스 영상에서 해당 참가자 영상(40) 및 제1 가상 참가자 영상(50)이 표시되고 있는 영상 표시 위치를 고려하여, 하나 이상의 제1 영상을 선택할 수 있다.
제2 영상 선택부(143)는 비디오 컨퍼런스에서 말하기 과제를 수행 중인 대상자의 실시간 불안도에 기초하여 비디오 컨퍼런스를 통해 대상자에 노출되고 있지 않은 다수의 제2 가상 참가자 영상 중 적어도 하나의 제2 영상(현재 비디오 컨퍼런스 영상으로 표시되고 있지 않은 상태이나, 제1 영상을 대체하여 비디오 컨퍼런스 영상으로 표시될 영상)을 선택할 수 있다(S143).
영상 전환부(144)는 비디오 컨퍼런스를 통해 대상자에 노출 중인 제1 영상(제1 영상 선택부에 의해 선택된 영상)을 제2 영상 선택부(143)에 의해 선택된 제2 영상(50' 또는 50")으로 전환하여 제1 영상 대신 제2 영상(50' 또는 50")을 비디오 컨퍼런스 영상(30)을 통해 대상자에게 노출시킬 수 있다(S144). 이때, 영상 전환부(144)는 다수의 제1 영상으로부터 다수의 제2 영상(50' 또는 50")으로 전환시에 비디오 컨퍼런스에 대한 실시간 접속을 모사하도록, 다수의 제1 영상을 무작위로 순차적으로 다수의 제2 영상(50' 또는 50")으로 전환할 수 있다.
도 9는 도 6의 단계 S140의 다른 실시예를 구체적으로 나타낸 순서도이다. 도 2 내지 도 6, 도 9를 참조하면, 제1 불안 정서 유발 수준 산출부(145)는 다수의 실시간 참가자 영상에 대해 각각 측정된 불안 정서 유발 수준을 합산하여 제1 불안 정서 유발 수준을 산출할 수 있다(S145). 제1 불안 정서 유발 수준 산출부(145)는 모든 참가자 영상의 불안 정서 유발 수준을 합산하여 제1 불안 정서 유발 수준을 실시간으로 산출하고, 설정된 시간(예를 들어, 수초 내지 수분) 사이의 제1 불안 정서 유발 수준의 제1 변화량을 주기적으로 산출할 수 있다.
제2 불안 정서 유발 수준 산출부(146)는 비디오 컨퍼런스 영상으로 표시되고 있는 다수의 제1 가상 참가자 영상에 대해 각각 측정된 불안 정서 유발 수준을 합산하여 제2 불안 정서 유발 수준을 산출할 수 있다(S146). 제2 불안 정서 유발 수준 산출부(146)는 비디오 컨퍼런스 영상에 표시되고 있는 모든 가상 참가자 영상의 불안 정서 유발 수준을 합산하여 제2 불안 정서 유발 수준을 실시간으로 산출하고, 설정된 시간(예를 들어, 수초 내지 수분) 사이의 제2 불안 정서 유발 수준의 제2 변화량을 주기적으로 산출할 수 있다.
가상 참가자 영상 선택부(147)는 제2 불안 정서 유발 수준 산출부(146)에 의해 산출된 제2 불안 정서 유발 수준의 제2 변화량이 제1 불안 정서 유발 수준 산출부(145)에 의해 산출된 제1 불안 정서 유발 수준의 제1 변화량을 상쇄시키도록, 다수의 가상 참가자 영상 중에서 다수의 제1 가상 참가자 영상을 선택할 수 있다(S147). 이에 따라 대상자의 불안도가 일정 수준으로 유지되고 있는 동안에는, 비디오 컨퍼런스 영상에서 표시되는 모든 실시간 참가자 영상 및 가상 참가자 영상의 불안 정서 유발 수준이 일정 수준으로 유지될 수 있으므로, 실시간 참가자의 표정 변화로 인해 대상자에게 가해지는 불안 정서 유발 수준이 변화하는 것을 방지할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/ 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital Signal Processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
처리 장치는 운영 체제 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는 처리 장치가 복수 개의 처리 요소(Processing Element) 및/또는 복수 유형의 처리요소를 포함할 수 있음을 이해할 것이다.
예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor) 와 같은, 다른 처리 구성(Processing configuration)도 가능하다. 소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어 및/ 또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치로 구체화(embody) 될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 저장부 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
10: 사용자 단말기
20: 참가자 단말기
100: 사회 불안 개선 시스템
110: 생체 신호 수집부
120: 불안도 측정부
130: 비디오 컨퍼런스 영상 제공부
140: 노출 수준 조절부
141: 불안 정서 유발 수준 측정부
142: 제1 영상 선택부
143: 제2 영상 선택부
144: 영상 전환부
145: 제1 불안 정서 유발 수준 산출부
146: 제2 불안 정서 유발 수준 산출부
147: 가상 참가자 영상 선택부
150: 저장부
160: 통신부
170: 입력부
180: 표시부
190: 제어부

Claims (15)

  1. 사회 불안 개선의 대상인 대상자가 비디오 컨퍼런스를 통한 말하기 과제를 수행하는 동안 상기 대상자의 불안도를 측정하도록 구성되는 불안도 측정부;
    비디오 컨퍼런스에 접속하여 참가하는 참가자 및 미리 준비된 가상 참가자를 포함하는 비디오 컨퍼런스 영상을 상기 대상자에게 제공하도록 구성되는 비디오 컨퍼런스 영상 제공부; 및
    상기 비디오 컨퍼런스 영상에 따라 변화하는 상기 대상자의 불안도에 따라 노출 수준을 조절하도록 구성되는 노출 수준 조절부;를 포함하고,
    상기 비디오 컨퍼런스 영상은 상기 참가자의 제1 얼굴 영상 및 상기 가상 참가자의 제2 얼굴 영상을 포함하고,
    상기 노출 수준 조절부는 상기 대상자의 불안도에 따라 상기 제1 얼굴 영상의 노출율을 조절하거나, 상기 제2 얼굴 영상의 표정을 조절하도록 구성되고,
    상기 제2 얼굴 영상은 얼굴 표정 및 불안 정서 유발 수준이 상이한 다수의 가상 참가자 영상을 포함하고,
    상기 다수의 가상 참가자 영상은 불안한 표정, 무관심한 표정 및 밝은 표정을 가지는 다수의 가상 참가자에 대해 미리 획득한 다수의 동영상을 포함하고,
    상기 노출 수준 조절부는 상기 대상자의 불안도에 따라 상기 다수의 가상 참가자 영상의 노출 비율을 조절하도록 구성되는,
    바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 제1 얼굴 영상은 참가자 단말기를 이용하여 상기 비디오 컨퍼런스에 실제 참가하고 있는 다수의 참가자의 다수의 실시간 참가자 영상을 포함하고,
    상기 노출 수준 조절부는 상기 대상자의 불안도에 따라 상기 참가자 단말기에 상기 참가자의 표정을 변화시키기 위한 안내 문구를 제공하도록 구성되는,
    바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템.
  4. 제3항에 있어서,
    상기 노출 수준 조절부는:
    상기 비디오 컨퍼런스를 통해 상기 대상자에 노출 중인 상기 다수의 실시간 참가자 영상으로부터 각각 상기 참가자의 얼굴 표정의 불안 정서 유발 수준을 측정하도록 구성되는 불안 정서 유발 수준 측정부;
    상기 다수의 실시간 참가자 영상에 대해 각각 측정된 불안 정서 유발 수준 및 상기 비디오 컨퍼런스를 통해 상기 대상자에게 노출 중인 다수의 제1 가상 참가자 영상의 불안 정서 유발 수준에 기초하여, 상기 다수의 실시간 참가자 영상과 상기 다수의 제1 가상 참가자 영상 중 적어도 하나의 제1 영상을 선택하도록 구성되는 제1 영상 선택부;
    상기 대상자의 불안도에 기초하여 상기 비디오 컨퍼런스를 통해 상기 대상자에 노출되고 있지 않은 다수의 제2 가상 참가자 영상 중 적어도 하나의 제2 영상을 선택하도록 구성되는 제2 영상 선택부; 및
    상기 비디오 컨퍼런스를 통해 상기 대상자에 노출 중인 상기 제1 영상을 상기 제2 영상으로 전환하여 상기 제2 영상을 상기 비디오 컨퍼런스를 통해 상기 대상자에게 노출시키도록 구성되는 영상 전환부;를 포함하는,
    바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템.
  5. 제4항에 있어서,
    상기 비디오 컨퍼런스 영상 제공부는:
    상기 대상자의 참가 시점에 상기 비디오 컨퍼런스에 대한 실시간 접속을 모사하도록, 상기 다수의 실시간 참가자 영상 및 상기 다수의 제1 가상 참가자 영상을 무작위로 순차적으로 제공하도록 구성되고,
    상기 영상 전환부는:
    다수의 제1 영상으로부터 다수의 제2 영상으로 전환시에 상기 비디오 컨퍼런스에 대한 실시간 접속을 모사하도록, 상기 다수의 제1 영상을 무작위로 순차적으로 상기 다수의 제2 영상으로 전환하도록 구성되는,
    바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템.
  6. 제4항에 있어서,
    상기 노출 수준 조절부는:
    상기 다수의 실시간 참가자 영상에 대해 각각 측정된 불안 정서 유발 수준을 합산하여 제1 불안 정서 유발 수준을 산출하도록 구성되는 제1 불안 정서 유발 수준 산출부;
    상기 다수의 제1 가상 참가자 영상에 대해 각각 측정된 불안 정서 유발 수준을 합산하여 제2 불안 정서 유발 수준을 산출하도록 구성되는 제2 불안 정서 유발 수준 산출부; 및
    상기 제2 불안 정서 유발 수준의 변화량이 상기 제1 불안 정서 유발 수준의 변화량을 상쇄시키도록, 상기 다수의 가상 참가자 영상 중에서 상기 다수의 제1 가상 참가자 영상을 선택하도록 구성되는 가상 참가자 영상 선택부;를 포함하는,
    바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템.
  7. 제1항, 제3항 내지 제6항 중 어느 한 항에 있어서,
    상기 대상자의 생체 신호를 수집하도록 구성되는 생체 신호 수집부;를 더 포함하고,
    상기 생체 신호 수집부는:
    상기 대상자에 착용되어 상기 대상자의 생체 신호를 수집하도록 구성되는 착용형 단말;을 포함하고,
    상기 불안도 측정부는: 상기 대상자가 상기 말하기 과제를 수행하는 동안 상기 착용형 단말에 의해 수집된 상기 대상자의 생체 신호로부터 상기 대상자의 불안도를 측정하도록 구성되는,
    바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템.
  8. 제1항, 제3항 내지 제6항 중 어느 한 항에 있어서,
    상기 불안도 측정부는:
    상기 대상자가 상기 말하기 과제를 수행하는 동안 카메라에 의해 상기 대상자를 촬영하여 사용자 영상을 획득하고, 상기 사용자 영상에서 상기 대상자의 얼굴 표정 및 동작을 분석하여 상기 대상자의 불안도를 측정하도록 구성되는,
    바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템.
  9. 사회 불안 개선의 대상인 대상자가 비디오 컨퍼런스를 통한 말하기 과제를 수행하는 동안 상기 대상자의 불안도를 측정하도록 구성되는 불안도 측정부;
    비디오 컨퍼런스에 접속하여 참가하는 참가자 및 미리 준비된 가상 참가자를 포함하는 비디오 컨퍼런스 영상을 상기 대상자에게 제공하도록 구성되는 비디오 컨퍼런스 영상 제공부; 및
    상기 비디오 컨퍼런스 영상에 따라 변화하는 상기 대상자의 불안도에 따라 노출 수준을 조절하도록 구성되는 노출 수준 조절부;를 포함하고,
    상기 비디오 컨퍼런스 영상은 상기 참가자의 제1 얼굴 영상 및 상기 가상 참가자의 제2 얼굴 영상을 포함하고,
    상기 노출 수준 조절부는 상기 대상자의 불안도에 따라 상기 제1 얼굴 영상의 노출율을 조절하거나, 상기 제2 얼굴 영상의 표정을 조절하도록 구성되고,
    상기 대상자가 상기 말하기 과제의 다양한 범주의 주제 중에서 하나의 범주를 선택하면, 선택된 범주의 하위 토픽을 무작위로 선정하여 팝업 형태로 제시하도록 구성되는, 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템.
  10. 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체로서,
    상기 사회 불안 개선 방법은:
    사회 불안 개선의 대상인 대상자가 비디오 컨퍼런스를 통한 말하기 과제를 수행하는 동안 상기 대상자의 불안도를 측정하는 단계;
    비디오 컨퍼런스에 참가하는 참가자 또는 가상 참가자의 비디오 컨퍼런스 영상을 상기 대상자에게 제공하는 단계; 및
    상기 비디오 컨퍼런스 영상에 따라 변화하는 상기 대상자의 불안도에 따라 노출 수준을 조절하는 단계;를 포함하고,
    상기 비디오 컨퍼런스 영상은 상기 참가자의 제1 얼굴 영상 또는 상기 가상 참가자의 제2 얼굴 영상을 포함하고,
    상기 노출 수준을 조절하는 단계는:
    상기 대상자의 불안도에 따라 상기 제1 얼굴 영상의 노출율을 조절하거나, 상기 제2 얼굴 영상의 표정을 조절하는 단계를 포함하고,
    상기 제2 얼굴 영상은 얼굴 표정 및 불안 정서 유발 수준이 상이한 다수의 가상 참가자 영상을 포함하고,
    상기 다수의 가상 참가자 영상은 불안한 표정, 무관심한 표정 및 밝은 표정을 가지는 다수의 가상 참가자에 대해 미리 획득한 다수의 동영상을 포함하고,
    상기 노출 수준을 조절하는 단계는 상기 대상자의 불안도에 따라 상기 다수의 가상 참가자 영상의 노출 비율을 조절하는 단계를 포함하는,
    바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  11. 삭제
  12. 제10항에 있어서,
    상기 제1 얼굴 영상은 참가자 단말기를 이용하여 상기 비디오 컨퍼런스에 실제 참가하고 있는 다수의 참가자의 다수의 실시간 참가자 영상을 포함하고,
    상기 노출 수준을 조절하는 단계는 상기 대상자의 불안도에 따라 상기 참가자 단말기에 상기 참가자의 표정을 변화시키기 위한 안내 문구를 제공하는 단계를 포함하는,
    바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  13. 제12항에 있어서,
    상기 노출 수준을 조절하는 단계는:
    상기 비디오 컨퍼런스를 통해 상기 대상자에 노출 중인 상기 다수의 실시간 참가자 영상으로부터 각각 상기 참가자의 얼굴 표정의 불안 정서 유발 수준을 측정하는 단계;
    상기 다수의 실시간 참가자 영상에 대해 각각 측정된 불안 정서 유발 수준 및 상기 비디오 컨퍼런스를 통해 상기 대상자에게 노출 중인 다수의 제1 가상 참가자 영상의 불안 정서 유발 수준에 기초하여, 상기 다수의 실시간 참가자 영상과 상기 다수의 제1 가상 참가자 영상 중 적어도 하나의 제1 영상을 선택하는 단계;
    상기 대상자의 불안도에 기초하여 상기 비디오 컨퍼런스를 통해 상기 대상자에 노출되고 있지 않은 다수의 제2 가상 참가자 영상 중 적어도 하나의 제2 영상을 선택하는 단계; 및
    상기 비디오 컨퍼런스를 통해 상기 대상자에 노출 중인 상기 제1 영상을 상기 제2 영상으로 전환하여 상기 제2 영상을 상기 비디오 컨퍼런스를 통해 상기 대상자에게 노출시키는 단계;를 포함하는,
    바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  14. 제13항에 있어서,
    상기 비디오 컨퍼런스 영상을 상기 대상자에게 제공하는 단계는:
    상기 대상자의 참가 시점에 상기 비디오 컨퍼런스에 대한 실시간 접속을 모사하도록, 상기 다수의 실시간 참가자 영상 및 상기 다수의 제1 가상 참가자 영상을 무작위로 순차적으로 제공하는 단계; 및
    다수의 제1 영상으로부터 다수의 제2 영상으로 전환시에 상기 비디오 컨퍼런스에 대한 실시간 접속을 모사하도록, 상기 다수의 제1 영상을 무작위로 순차적으로 상기 다수의 제2 영상으로 전환하는 단계;를 포함하는,
    바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  15. 제13항에 있어서,
    상기 노출 수준을 조절하는 단계는:
    상기 다수의 실시간 참가자 영상에 대해 각각 측정된 불안 정서 유발 수준을 합산하여 제1 불안 정서 유발 수준을 산출하고, 상기 제1 불안 정서 유발 수준의 변화량을 산출하는 단계;
    상기 다수의 제1 가상 참가자 영상에 대해 각각 측정된 불안 정서 유발 수준을 합산하여 제2 불안 정서 유발 수준을 산출하고, 상기 제2 불안 정서 유발 수준의 변화량을 산출하는 단계; 및
    상기 제2 불안 정서 유발 수준의 변화량이 상기 제1 불안 정서 유발 수준의 변화량을 상쇄시키도록, 상기 다수의 가상 참가자 영상 중에서 상기 다수의 제1 가상 참가자 영상을 선택하는 단계;를 포함하는,
    바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020200187503A 2020-12-30 2020-12-30 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체 KR102499966B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200187503A KR102499966B1 (ko) 2020-12-30 2020-12-30 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체
EP21915609.8A EP4272794A1 (en) 2020-12-30 2021-12-14 Video conference image-based social anxiety treatment system using biofeedback and exposure therapy, and non-transitory recording medium having, recorded thereon, program for executing method for same
PCT/KR2021/018962 WO2022145811A1 (ko) 2020-12-30 2021-12-14 바이오 피드백 및 노출치료 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 치료 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 비일시적 기록 매체
US18/270,441 US20240062876A1 (en) 2020-12-30 2021-12-14 Video conference image-based social anxiety treatment system using biofeedback and exposure therapy, and non-transitory recording medium having, recorded thereon, program for executing method for same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200187503A KR102499966B1 (ko) 2020-12-30 2020-12-30 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체

Publications (3)

Publication Number Publication Date
KR20220095720A KR20220095720A (ko) 2022-07-07
KR102499966B1 true KR102499966B1 (ko) 2023-02-14
KR102499966B9 KR102499966B9 (ko) 2023-03-13

Family

ID=82260656

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200187503A KR102499966B1 (ko) 2020-12-30 2020-12-30 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체

Country Status (4)

Country Link
US (1) US20240062876A1 (ko)
EP (1) EP4272794A1 (ko)
KR (1) KR102499966B1 (ko)
WO (1) WO2022145811A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111596761A (zh) * 2020-05-03 2020-08-28 清华大学 一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100445846B1 (ko) * 2001-09-18 2004-08-25 학교법인 한양학원 대인 공포증 치료를 위한 가상 연설 시뮬레이터
WO2015121253A1 (en) * 2014-02-11 2015-08-20 Psico Smart Apps, S.L. Methods, systems, and computer-readable media for treating a subject
KR20180095148A (ko) * 2017-02-16 2018-08-27 가톨릭관동대학교산학협력단 실시간 환자 모니터링이 가능한 정신질환 치료용 가상현실제공장치
KR102170379B1 (ko) * 2018-10-17 2020-10-28 고려대학교 산학협력단 외상 후 스트레스 장애 환자를 위한 가상현실 기반 노출 치료용 컨텐츠 제공 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111596761A (zh) * 2020-05-03 2020-08-28 清华大学 一种基于换脸技术及虚拟现实技术模拟演讲的方法和装置

Also Published As

Publication number Publication date
KR20220095720A (ko) 2022-07-07
KR102499966B9 (ko) 2023-03-13
WO2022145811A1 (ko) 2022-07-07
US20240062876A1 (en) 2024-02-22
EP4272794A1 (en) 2023-11-08

Similar Documents

Publication Publication Date Title
Courtemanche et al. Physiological heatmaps: a tool for visualizing users’ emotional reactions
Fazel-Rezai et al. P300 brain computer interface: current challenges and emerging trends
KR20190027354A (ko) 비전 성능 데이터를 획득, 분석 및 생성하고 비전 성능 데이터에 기반하여 미디어를 수정하기 위한 방법 및 시스템
Kalantari et al. Comparing physiological responses during cognitive tests in virtual environments vs. in identical real-world environments
US9814423B2 (en) Method and system for monitoring pain of users immersed in virtual reality environment
Albuquerque et al. Wauc: a multi-modal database for mental workload assessment under physical activity
KR20210028786A (ko) Vr 환경에서의 개인 또는 그룹 치료 시스템 및 그 방법
JP2003189219A (ja) デジタル画像系列の表示システム及び表示方法
Keighrey et al. Comparing user QoE via physiological and interaction measurements of immersive AR and VR speech and language therapy applications
US20210118323A1 (en) Method and apparatus for interactive monitoring of emotion during teletherapy
Woolhouse et al. Traces across the body: influence of music-dance synchrony on the observation of dance
CN113397547A (zh) 一种基于生理数据的观影评价服务***和方法
George et al. Towards augmenting ivr communication with physiological sensing data
Horie et al. Participation in a virtual reality concert via brainwave and heartbeat
Kutt et al. BIRAFFE2, a multimodal dataset for emotion-based personalization in rich affective game environments
KR102499966B1 (ko) 바이오 피드백 및 노출 방법을 이용한 비디오 컨퍼런스 영상 기반의 사회 불안 개선 시스템 및 그 방법을 실행하기 위한 프로그램이 기록된 기록 매체
Khushaba et al. A neuroscientific approach to choice modeling: Electroencephalogram (EEG) and user preferences
US20220415478A1 (en) Systems and methods for mental exercises and improved cognition
Arquissandas et al. Moving from VR into AR using bio-cybernetic loops and physiological sensory devices for intervention on anxiety disorders
US20230047622A1 (en) VR-Based Treatment System and Method
Cui et al. Exercising at home: Real-time interaction and experience sharing using avatars
Lin et al. The effects of virtual characters on audiences’ movie experience
Alexander et al. An analysis of human motion detection systems use during elder exercise routines
Averell et al. A rhythm-based game for stroke rehabilitation
Mirza-Babaei et al. Introducing the biometric storyboards tool for games user research

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]