KR100445846B1 - A Public Speaking Simulator for treating anthropophobia - Google Patents
A Public Speaking Simulator for treating anthropophobia Download PDFInfo
- Publication number
- KR100445846B1 KR100445846B1 KR10-2001-0057599A KR20010057599A KR100445846B1 KR 100445846 B1 KR100445846 B1 KR 100445846B1 KR 20010057599 A KR20010057599 A KR 20010057599A KR 100445846 B1 KR100445846 B1 KR 100445846B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- audience
- virtual
- therapist
- providing
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 실제 사람의 동영상을 그대로 가상의 청중으로 제시하고, 그 청중들의 모습 및 행동을 치료자의 목적에 맞게 각각 조작하고, 그 청중을 치료자가 공포를 느끼는 대상(상사, 가족, 친구 등)으로 제시할 수 있는 대인 공포증 치료를 위한 가상 연설 시뮬레이터를 제공하는 방법 및 장치에 관한 것이다. 본 발명에 따르면, 적어도 배경, 청중의 모습 및 행동을 포함하는 영상 설정 정보를 수신하고, 치료자가 착용한 헤드 마운티드 디스플레이의 포지션 센서로부터 위치 정보를 수신하고, 상기 위치 정보에 상응하는 프레임을 판단하고, 영상 데이터 저장부로부터 상기 프레임 및 상기 영상 설정 정보에 상응하는 배경 영상 및 청중 영상을 추출하고, 상기 청중 영상 부분에 상응하는 배경 영상을 투명하게 처리하고, 상기 배경 영상 및 청중 영상을 합성하여 가상 현실 이미지를 생성하고, 상기 가상 현실 이미지를 상기 치료자가 착용한 헤드 마운티드 디스플레이로 전송한다.The present invention presents a video of a real person as a virtual audience, and manipulates the appearance and behavior of the audience according to the purpose of the therapist, and the audience as a subject (boss, family, friends, etc.) to feel the fear. The present invention relates to a method and apparatus for providing a virtual speech simulator for treating phobia. According to the invention, it receives at least the image setting information including the background, the appearance and behavior of the audience, receiving position information from the position sensor of the head mounted display worn by the therapist, and determines a frame corresponding to the position information And extracting a background image and an audience image corresponding to the frame and the image setting information from an image data storage unit, transparently processing a background image corresponding to the audience image portion, and synthesizing the background image and the audience image. A reality image is generated, and the virtual reality image is transmitted to a head mounted display worn by the therapist.
Description
본 발명은 실제 사람의 동영상을 그대로 가상의 청중으로 제시하고, 그 청중들의 모습 및 행동을 치료자의 목적에 맞게 각각 조작하고, 그 청중을 치료자가 공포를 느끼는 대상(상사, 가족, 친구 등)으로 제시하는 대인 공포증 치료를 위한 가상 연설 시뮬레이터를 제공하는 방법 및 장치에 관한 것이다.The present invention presents a video of a real person as a virtual audience, and manipulates the appearance and behavior of the audience according to the purpose of the therapist, and the audience as a subject (boss, family, friends, etc.) to feel the fear. The present invention relates to a method and apparatus for providing a virtual speech simulator for treating interpersonal phobia.
대인 공포증은 다른 사람과의 상호 관계를 두려워하여 사람과의 대면을 겁내고 두려워하며 피하는 증상으로 정의되어진다. 이 공포증은 흔히 부끄러움을 탄다거나 소심한 태도로 나타나게 되는데, 이런 사람들은 자기도 모르게 실수를 해서 상대방이 당황하게 되거나 모욕감을 느끼게 되지 않을까 두려워하는 증상이 있다. 또한 사람을 대할 때 혹은 사람이 있는 곳에 갈 때마다 피하고 싶고, 떠나고 싶어한다. 일반적으로 대인 공포를 가진 사람들은 대중 앞에서 말하기, 윗사람과의 관계, 이성 관계 같은 일상적인 일에서 공포를 느끼고, 그 중에서 특히 대중 앞에서 말하기의 상황에서 가장 심하게 공포감을 느낀다.Interpersonal phobia is defined as a symptom of fear, fear and avoidance of a person's encounter with one another because of fear of interaction with another person. This phobia is often embarrassing or timid, and these people are afraid that they will make a mistake and become embarrassed or insulted. Also, whenever you want to avoid people or wherever you are, you want to avoid them. In general, people with interpersonal fears experience fear in their daily work, such as speaking in public, in relationship with their superiors, and in their relationships with the opposite sex, and most particularly in the context of speaking in public.
이러한 대인 공포증을 치료하기 위해서, 기존에는 주로 약물 치료 방법과 인지·행동 치료 방법이 주로 쓰여왔다. 약물 치료는 항불안제제를 사용하여 공포상황에 노출되기 전에 미리 투약하여 불안을 감소시키는 방법이다. 하지만 이는 공포증 치료에 있어서 효과의 지속성이 떨어지며, 또한 재발 가능성이 많고 습관성이 된다는 단점이 있다. 또 다른 방법 중의 하나인 인지·행동 치료는 환자가 상상이나 실제 상황을 통해 공포 대상에 노출됨으로써 공포 상황을 극복하게 하는 치료 방법이다. 하지만 이는 환자가 공포 상황을 상상하는데 어려움이 있거나, 너무 두려워 실제 공포 상황에 직면하지 못한다는 단점이 있다.In order to treat such interpersonal phobia, conventionally, drug treatment and cognitive-behavioral treatment have been mainly used. Medication is an anti-anxiety medication that can be used to reduce anxiety by pre-dose before exposure. However, this has the disadvantage that the effectiveness of treatment in phobias is poor, and there is a high possibility of recurrence and become habitual. Another method, cognitive and behavioral therapy, is a treatment method that overcomes a fear situation by exposing a patient to a fear object through imagination or actual situation. However, this has the disadvantage that the patient has difficulty in imagining the fear situation or is too afraid to face the actual fear situation.
최근 들어 이러한 단점을 보완하기 위해서 가상 현실 기술을 이용한 공포증 치료 기술이 대두되고 있다. 이는 가상적으로 점진적인 공포 상황을 구현하여 환자에게 제공함으로써 치료하는 방법이다. 이를 통해 치료자는 상상에 의한 자극보다실제적인 공포 자극을 경험할 수 있게 되었고, 실제의 상황에 노출되는 방법보다 안전하게 치료를 할 수 있게 되었다. 이러한 이유로 가상 현실을 이용한 광장 공포증, 고소 공포증, 폐쇄 공포증 등의 치료에 관한 연구가 활발히 진행되고 있으며 그 효과 또한 다양한 연구에서 입증되고 있다.Recently, in order to make up for such drawbacks, phobia treatment technology using virtual reality technology has emerged. This is a method of treating by providing a patient with a virtually progressive fear situation. This allows the therapist to experience more realistic fear stimuli than imaginary stimuli, and heal them more safely than to be exposed to real situations. For this reason, researches on the treatment of agoraphobia, height phobia, obstructive phobia using virtual reality have been actively conducted, and the effects have been proved in various studies.
여기서, 가상 현실 시스템(VR: Virtual Reality system)은 우리가 직접 경험할 수 없고 미완성 또는 존재하지 않는 가상 상황을 마치 실제 상황인 것처럼 느낄 수 있도록 생생하게 보여주고, 치료자로 하여금 그 속에서 원하는 행동을 자유롭게 할 수 있도록 하여 많은 지식과 체험을 얻을 수 있게 하는 것으로, 컴퓨터 기술과 영상 기술을 기반으로 구현된다. 기존 컴퓨터가 2차원의 사용 환경을 윈도우(window) 형태로 제공하고, 치료자를 관찰자 또는 국외자로 대하는 방법과는 달리 가상 현실(VR)은 3차원의 사용 환경(가상 세계)을 치료자에게 제공하여 자신이 가상 세계 속에 있는 것처럼 느끼고, 가상 현실에 나타나는 물체들을 직접 조작할 수 있도록 해준다. 이와 같은 차이로 인해 가상 현실(VR) 기술을 이용하면 기존의 정보 제공 방식 및 상호 작용 방식으로는 제공하기 어려운 생생한 지식과 체험을 가능하게 하기 때문에 교육, 오락, 문화, 과학, 의학, 통신, 국방 등 다양한 분야에서 방대한 새로운 시장을 창출할 수 있을 것으로 기대된다.Here, the VR (Virtual Reality System) vividly shows the virtual situation that we cannot experience directly and the unfinished or non-existent virtual situation as if it is a real situation, and allows the therapist to free the desired behavior in it. It is possible to obtain a lot of knowledge and experience, and it is implemented based on computer technology and image technology. Unlike conventional computers that provide a two-dimensional usage environment in the form of a window and treat the therapist as an observer or an outsider, virtual reality (VR) provides a three-dimensional usage environment (virtual world) to the therapist. It feels like you are in this virtual world and allows you to directly manipulate objects that appear in virtual reality. Because of these differences, the use of virtual reality (VR) technology enables vivid knowledge and experiences that traditional information delivery and interaction methods can't provide, providing education, entertainment, culture, science, medicine, communications, and defense. It is expected to create a huge new market in various fields.
하지만 현재까지 가상 현실을 이용한 정신 치료에 대한 연구 중 대인 공포증 자체에 대한 연구는 미미한 편이며, 가상 환경 또한 제대로 갖추어져 있지 않다. 최근에 영국의 런던 대학에서 대인 공포증을 위한 가상 환경이 개발되었지만 시스템 자체가 고가 워크스테이션을 기반으로 구성되었기 때문에 범용성 면에 있어떨어지는 단점이 있다.However, the research on interpersonal phobia itself is insignificant, and the virtual environment is not well established. Recently, a virtual environment for interpersonal phobia was developed at the University of London, UK, but it has a disadvantage in generality because the system itself is based on an expensive workstation.
또한, 종래의 대인 공포증 치료를 위한 가상 환경 시스템은 아바타들을 청중으로 제시하기 때문에 현실감이 떨어지는 문제점이 있다.In addition, the conventional virtual environment system for the treatment of interpersonal phobia has a problem that the reality is poor because it presents the avatar to the audience.
또한, 종래의 대인 공포증 치료를 위한 가상 환경 시스템은 대인 공포증 환자가 공포를 느끼는 실질적인 대상(예를 들면, 상사, 가족, 친구 등)을 가상 환경의 이미지로 제시하지 못하는 문제점이 있다.In addition, the conventional virtual environment system for the treatment of interpersonal phobia has a problem that does not present a practical object (for example, boss, family, friends, etc.) to the fear of interpersonal phobia as an image of the virtual environment.
또한, 종래의 대인 공포증 치료를 위한 가상 환경 시스템은 가상 환경 시뮬레이터에 등장하는 청중 각각의 모습, 행동 등을 보다 현실감있게 제공하지 못하고 각각을 조작할 수 없다는 문제점이 있다.In addition, the conventional virtual environment system for the treatment of interpersonal phobia does not provide a more realistic appearance and behavior of each audience appearing in the virtual environment simulator and there is a problem that can not manipulate each.
또한, 종래의 대인 공포증 치료를 위한 가상 환경 시스템은 가상 환경 시뮬레이터에 등장하는 각각의 모습, 행동 등을 환자의 증세에 맞게 단계적으로 제공하지 못하는 문제점이 있다.In addition, the conventional virtual environment system for the treatment of interpersonal phobia has a problem in that it does not provide a step, each step and the like appearing in the virtual environment simulator according to the symptoms of the patient.
따라서, 본 발명의 목적은 가상의 아바타들이 청중으로 제시되는 것이 아니라 실제 사람의 동영상을 그대로 가상의 청중으로 제시하고, 그 청중 각각을 치료자의 목적에 맞게 조작하고, 그 청중을 자신이 공포를 느끼는 대상(상사, 가족, 친구 등)으로 제시하는 대인 공포증 치료를 위한 가상 연설 시뮬레이터를 제공하는 데 있다.Accordingly, an object of the present invention is to present a video of a real person as a virtual audience, not to present the virtual avatars to the audience, to manipulate each of the audiences according to the purpose of the therapist, and to fear the audience himself. It is to provide a virtual speech simulator for the treatment of interpersonal phobia presented to the subject (boss, family, friends, etc.).
본 발명의 다른 목적은 가상 환경 시뮬레이터의 배경 화면 및 청중 등을 실제 사진 이미지와 같은 영화 기반으로 제공하여 현실감있는 치료를 제공하는 대인 공포증 치료를 위한 가상 연설 시뮬레이터를 제공하는 데 있다.Another object of the present invention is to provide a virtual speech simulator for the treatment of interpersonal phobia that provides realistic treatment by providing a background and the audience of the virtual environment simulator on the basis of a film such as a real photographic image.
본 발명의 또 다른 목적은 가상 환경 시뮬레이터에 등장하는 각각에 상응하는 다양한 모습, 행동 등을 제공하여 보다 현실감있는 대인 공포증 치료를 위한 가상 연설 시뮬레이터를 제공하는 데 있다.Another object of the present invention to provide a virtual speech simulator for the treatment of more realistic interpersonal phobia by providing a variety of appearances, behaviors and the like corresponding to each appearing in the virtual environment simulator.
본 발명의 또 다른 목적은 가상 환경 시뮬레이터에 등장하는 각각의 모습, 행동 등을 치료자의 증세에 맞게 단계적으로 제공함으로써 치료자가 안전하게 치료를 받을 수 있도록 하는 대인 공포증 치료를 위한 가상 연설 시뮬레이터를 제공하는 데 있다.Another object of the present invention is to provide a virtual speech simulator for the treatment of interpersonal phobia, which allows the therapist to be safely treated by providing each appearance, behavior, and the like appearing in the virtual environment simulator step by step according to the condition of the therapist. have.
본 발명의 또 다른 목적은 가상 환경 시뮬레이터에 등장하는 청중들 각각의 모습, 행동 등을 치료자의 치료 목적에 맞게 조작하여 제공함으로써 치료 효과를 극대화하는 대인 공포증 치료를 위한 가상 연설 시뮬레이터를 제공하는 데 있다.Another object of the present invention is to provide a virtual speech simulator for the treatment of interpersonal phobia by maximizing the therapeutic effect by manipulating the appearance, behavior, and the like of each audience appearing in the virtual environment simulator according to the therapeutic purpose of the therapist. .
도 1은 본 발명의 바람직한 일 실시예에 따른 대인 공포증 치료를 위한 가상 연설 시뮬레이터의 시스템 구성도.1 is a system diagram of a virtual speech simulator for the treatment of interpersonal phobia according to an embodiment of the present invention.
도 2는 본 발명의 바람직한 일 실시예에 따른 가상 연설 시뮬레이터에 등장하는 청중의 모습과 행동의 예시도.2 is an illustration of the appearance and behavior of an audience appearing in a virtual speech simulator in accordance with one preferred embodiment of the present invention.
도 3a 및 도 3b는 본 발명의 바람직한 일 실시예에 따른 치료자의 시선 및 움직임에 따라 현실감있게 변경되어 제공되는 영화 기반 가상 연설 시뮬레이터의 예시도.3A and 3B are exemplary views of a movie-based virtual speech simulator provided realistically changed according to the eyes and movements of a therapist according to an exemplary embodiment of the present invention.
도 4는 본 발명의 바람직한 일 실시예에 따른 개인별 조작이 가능한 영화 기반 가상 연설 시뮬레이터의 구성을 나타낸 도면.4 is a view showing the configuration of a movie-based virtual speech simulator capable of individual operation according to an embodiment of the present invention.
도 5는 본 발명의 바람직한 일 실시예에 따른 가상 연설 시뮬레이터의 프레임 구성을 나타낸 도면.5 is a diagram showing the frame configuration of a virtual speech simulator according to an embodiment of the present invention.
도 6은 본 발명의 바람직한 일 실시예에 따른 가상 연설 시뮬레이터의 소프트웨어의 구성을 나타낸 도면.6 is a view showing the configuration of the software of the virtual speech simulator according to an embodiment of the present invention.
도 7은 본 발명의 바람직한 일 실시예에 따른 가상 연설 시뮬레이터가 실행되는 과정을 나타낸 순서도.7 is a flowchart illustrating a process of executing a virtual speech simulator according to an embodiment of the present invention.
도 8a 및 도 8d는 본 발명의 바람직한 일 실시예에 따른 가상 연설 시뮬레이터 프로그램 소스의 예시도.8A and 8D illustrate exemplary virtual speech simulator program sources according to one preferred embodiment of the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
100 : 대인 공포증 환자 101 : 시야 이동 감지 수단100: patient phobia 101: vision shift detection means
102 : 가상 현실 엔진 104 : 헤드 마운티드 디스플레이102: Virtual Reality Engine 104: Head Mounted Display
107 : 입력 장치 108 : 송신기107: input device 108: transmitter
601 : 신호 변환기 603 : 위치 및 방향 추적기601: Signal Converter 603: Position & Direction Tracker
605 : 3D 그래픽 보드 607 : 3D 음향 처리부605: 3D graphics board 607: 3D sound processor
609 : 시야각 계산부 611 : 가상 현실 이미지 생성기609: viewing angle calculator 611: virtual reality image generator
613 : 영상 데이터 저장부613: Image data storage unit
상기 목적들을 달성하기 위하여 본 발명의 일 측면에 따르면, 실질적인 이미지의 가상 현실 영상을 제공하는 데에 있어서, 적어도 배경, 청중의 모습 및 행동을 포함하는 영상 설정 정보를 수신하고-여기서, 상기 영상 설정 정보는 상기 가상 현실 시뮬레이터와 연결된 입력 장치에 의해 입력됨-, 치료자가 착용한 헤드 마운티드 디스플레이의 포지션 센서로부터 위치 정보를 수신하고, 상기 위치 정보에 상응하는 프레임을 판단하고, 영상 데이터 저장부로부터 상기 프레임 및 상기 영상설정 정보에 상응하는 배경 영상 및 청중 영상을 추출하고, 상기 청중 영상 부분에 상응하는 배경 영상을 투명하게 처리하고, 상기 배경 영상 및 청중 영상을 합성하여 가상 현실 이미지를 생성하고, 상기 가상 현실 이미지를 상기 치료자가 착용한 헤드 마운티드 디스플레이로 전송하는 실질적인 이미지 제공 기반의 가상 현실 시뮬레이팅 방법, 상기 방법에 상응하는 장치 및 시스템을 제공할 수 있다.According to an aspect of the present invention for achieving the above objects, in providing a virtual reality image of a practical image, receiving image setting information including at least a background, the appearance and behavior of the audience, wherein the image setting The information is input by an input device connected to the virtual reality simulator, receiving position information from a position sensor of a head mounted display worn by a therapist, determining a frame corresponding to the position information, and receiving the image data from the image data storage unit. Extracting a background image and an audience image corresponding to the frame and the image setting information, transparently processing the background image corresponding to the audience image portion, synthesizing the background image and the audience image, and generating a virtual reality image; Head mounted display of the therapist wearing virtual reality images This substantial image transfer service based on the virtual reality simulated way, it is possible to provide an apparatus and a system corresponding to the method.
상기 가상 현실 이미지를 상기 치료자가 착용한 헤드 마운티드 디스플레이로 전송하는 단계는 상기 프레임 및 상기 영상 설정 정보에 상응하는 사운드를 추출하고, 상기 추출된 사운드를 상기 치료자에게 제공하는 단계를 더 포함할 수 있다.The transmitting of the virtual reality image to the head mounted display worn by the therapist may further include extracting a sound corresponding to the frame and the image setting information and providing the extracted sound to the therapist. .
상기 위치 정보는 상기 치료자가 바라보는 시야에 상응하는 시야각 및 원근값을 포함할 수 있다.The location information may include a viewing angle and a perspective value corresponding to the field of view viewed by the therapist.
상기 영상 설정 정보는 상기 치료자가 착용한 동작 감지 장치로부터 전송된 동작 정보를 더 포함할 수 있다.The image setting information may further include motion information transmitted from the motion detection device worn by the therapist.
상기 영상 데이터 저장부에는 프레임별로 구별되는 복수의 배경 영상이 저장될 수 있다. 상기 영상 데이터 저장부에는 프레임별로 구별되는 복수의 청중 영상이 저장될 수 있다. 상기 청중 영상은 상기 청중에 상응하는 모습, 행동, 표정을 포함할 수 있다.The image data storage unit may store a plurality of background images distinguished for each frame. The image data storage unit may store a plurality of audience images distinguished by frames. The audience image may include a figure, an action, and an expression corresponding to the audience.
상기 청중 영상 부분에 상응하는 배경 영상을 투명하게 처리하는 단계는 상기 청중 영상 부분에서 사람을 제외한 픽셀 부분을 판단하고, 상기 픽셀 부분의 알파 채널 값을 0으로 설정하는 단계를 포함할 수 있다.Transparently processing the background image corresponding to the audience image portion may include determining a pixel portion excluding a person in the audience image portion and setting an alpha channel value of the pixel portion to zero.
상기 배경 영상 및 상기 청중 영상은 사진 및 동영상 촬영 장치를 이용하여미리 촬영될 수 있다.The background image and the audience image may be photographed in advance using a photographing and moving image photographing apparatus.
상기 목적들을 달성하기 위하여 본 발명의 다른 측면에 따르면, 대인 공포증 치료를 위해 치료자의 증세에 적합한 가상 현실 영상을 제공하는 데에 있어서, 상기 가상 현실 시뮬레이터와 연결된 입력 장치를 통해 치료자의 증세를 입력받고, 상기 치료자가 착용한 헤드 마운티드 디스플레이의 포지션 센서로부터 위치 정보를 수신하고, 상기 위치 정보에 상응하는 프레임을 판단하고, 영상 데이터 저장부로부터 상기 프레임 및 상기 증세에 상응하는 배경 영상 및 청중 영상을 추출하고, 상기 청중 영상 부분에 상응하는 배경 영상을 투명하게 처리하고, 상기 배경 영상 및 청중 영상을 합성하여 가상 현실 이미지를 생성하고, 상기 가상 현실 이미지를 상기 치료자가 착용한 헤드 마운티드 디스플레이로 전송하는 치료자의 증세에 적합한 가상 현실 영상 제공 방법, 상기 방법에 상응하는 장치 및 시스템을 제공할 수 있다.According to another aspect of the present invention to achieve the above object, in providing a virtual reality image suitable for the therapist's symptoms for the treatment of interpersonal phobia, receiving the therapist's symptoms through an input device connected to the virtual reality simulator Receiving position information from a position sensor of a head mounted display worn by the therapist, determining a frame corresponding to the position information, and extracting a background image and an audience image corresponding to the frame and the symptoms from an image data storage unit. And a therapist for transparently processing the background image corresponding to the audience image portion, synthesizing the background image and the audience image to generate a virtual reality image, and transmitting the virtual reality image to a head mounted display worn by the therapist. Virtual reality video Ball method, it is possible to provide an apparatus and a system corresponding to the method.
상기 가상 현실 이미지를 상기 치료자가 착용한 헤드 마운티드 디스플레이로 전송하는 단계는 상기 프레임 및 상기 영상 설정 정보에 상응하는 사운드를 추출하고, 상기 추출된 사운드를 상기 치료자에게 제공하는 단계를 더 포함할 수 있다.The transmitting of the virtual reality image to the head mounted display worn by the therapist may further include extracting a sound corresponding to the frame and the image setting information and providing the extracted sound to the therapist. .
상기 위치 정보는 상기 치료자가 바라보는 시야에 상응하는 시야각 및 원근값을 포함할 수 있다.The location information may include a viewing angle and a perspective value corresponding to the field of view viewed by the therapist.
상기 영상 설정 정보는 상기 치료자가 착용한 동작 감지 장치로부터 전송된 동작 정보를 더 포함할 수 있다.The image setting information may further include motion information transmitted from the motion detection device worn by the therapist.
상기 영상 데이터 저장부에는 프레임별로 구별되는 복수의 배경 영상이 저장될 수 있다. 상기 영상 데이터 저장부에는 프레임별로 구별되는 복수의 청중 영상이 저장될 수 있다. 상기 청중 영상은 상기 청중에 상응하는 모습, 행동, 표정을 포함할 수 있다.The image data storage unit may store a plurality of background images distinguished for each frame. The image data storage unit may store a plurality of audience images distinguished by frames. The audience image may include a figure, an action, and an expression corresponding to the audience.
상기 청중 영상 부분에 상응하는 배경 영상을 투명하게 처리하는 단계는 상기 청중 영상 부분에서 사람을 제외한 픽셀 부분을 판단하고, 상기 픽셀 부분의 알파 채널 값을 0으로 설정하는 단계를 포함할 수 있다.Transparently processing the background image corresponding to the audience image portion may include determining a pixel portion excluding a person in the audience image portion and setting an alpha channel value of the pixel portion to zero.
상기 배경 영상 및 상기 청중 영상은 사진 및 동영상 촬영 장치를 이용하여 미리 촬영될 수 있다.The background image and the audience image may be photographed in advance using a photo and video capturing apparatus.
상기 목적들을 달성하기 위하여 본 발명의 또 다른 측면에 따르면, 실질적인 이미지의 가상 현실 영상을 제공하는 데에 있어서, 치료자가 착용한 헤드 마운티드 디스플레이의 포지션 센서로부터 위치 정보를 수신하고, 상기 위치 정보에 상응하는 프레임을 판단하고, 영상 데이터 저장부로부터 상기 프레임에 상응하는 배경 영상 및 청중 영상을 추출하고, 상기 청중 영상 부분에 상응하는 배경 영상을 투명하게 처리하고, 상기 배경 영상 및 청중 영상을 합성하여 가상 현실 이미지를 생성하고, 상기 가상 현실 이미지를 상기 치료자가 착용한 헤드 마운티드 디스플레이로 전송하는 실질적인 이미지 제공 기반의 가상 현실 시뮬레이팅 방법, 상기 방법에 상응하는 장치 및 시스템을 제공할 수 있다.According to another aspect of the present invention for achieving the above objects, in providing a virtual reality image of the actual image, receiving the position information from the position sensor of the head mounted display worn by the therapist, corresponding to the position information Determine a frame to be extracted, extract a background image and an audience image corresponding to the frame from an image data storage unit, process the background image corresponding to the audience image portion transparently, and synthesize the background image and the audience image A virtual image simulation-based virtual reality simulation method for generating a reality image and transmitting the virtual reality image to a head mounted display worn by the therapist, and an apparatus and system corresponding thereto.
이어서, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.Next, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 바람직한 일 실시예에 따른 대인 공포증 치료를 위한 가상 연설 시뮬레이터의 시스템 구성도이다.1 is a system configuration of a virtual speech simulator for the treatment of interpersonal phobia according to an embodiment of the present invention.
도 1을 참조하면, 가상 현실 시스템의 예로서 PC(Personal Computer) 기반의 플랫폼을 이용한 시스템은 대인 공포증 환자인 치료자(100)가 착용할 헤드 마운티드 디스플레이(HMD, Head Mounted Display), 송신기, 입력 장치, 가상 연설 시뮬레이터를 구비한 컴퓨터 등으로 구성된다.Referring to FIG. 1, a system using a personal computer (PC) based platform as an example of a virtual reality system includes a head mounted display (HMD), a transmitter, and an input device to be worn by a therapist 100 who is a patient with interpersonal phobia. And a computer equipped with a virtual speech simulator.
대인 공포증을 가진 사람의 대부분이 여러 사람 앞에서 발표하는 것을 가장 두려워하기 때문에, 본 발명에서는 가상 연설 시뮬레이터를 제안한다. 가상 환경은 대인 공포증을 가진 사람이 발표할 수 있는 세미나실이나 강당을 배경 영상으로 구성한다. 강당의 앞쪽에는 연단이 있고, 연단 앞쪽으로 가상의 청중들을 두어 치료자의 발표를 듣고 있는 것처럼 구성한다. 이때 가상 연설 시뮬레이터는 가상의 청중들이 치료자의 연설에 귀를 기울이거나 필기를 하는 등의 긍정적인 반응을 보이게 할 수 있고, 비웃거나 하품을 하는 등의 부정적인 반응을 보이게 할 수도 있다. 이때 청중들의 반응은 치료자(100)의 조작에 의해 설정 가능하다.Since most of the people with interpersonal phobia are most afraid to present in front of several people, the present invention proposes a virtual speech simulator. The virtual environment consists of a background image of a seminar room or auditorium where a person with interpersonal phobia can present. There is a podium in front of the auditorium, with a virtual audience in front of the podium, making it look as if it is listening to the therapist's presentation. In this case, the virtual speech simulator may allow the virtual audience to respond positively, such as listening to the therapist's speech or taking notes, or negative reactions such as laughing or yawning. At this time, the response of the audience can be set by the operation of the healer 100.
가상 현실의 가상 청중이라면 모델 기반의 아바타를 생각할 것이다. 이 모델기반의 가상 환경은 환경을 쉽게 만들고, 조작할 수 있다는 장점이 있는 반면에, 치료자에게 실제 같지 않은, 즉 만화 같은 자극을 제공한다는 단점을 가지고 있다. 반면에 가상의 청중을 제시할 때, 실제 청중들을 영화화하여 제공하고 이를 치료자(100)의 조작에 의해 각 장면을 바꿀 수 있게 하면 그 단점을 보완할 수 있을 것이다. 이는 치료자에게 실제 강당이나 세미나실에서 발표하는 느낌을 제공해줄 것이며, 각각의 반응들이 영화화되어있기 때문에 치료자(100)의 조작에 의해 즉석해서 그 반응들을 제시할 수 있을 것이다.A virtual audience in virtual reality might think of a model-based avatar. While this model-based virtual environment has the advantage of being easy to create and manipulate, it has the disadvantage of providing the therapist with unrealistic, comic-like stimuli. On the other hand, when presenting the virtual audience, it is possible to compensate for the disadvantages by providing the actual audience by filming and to change each scene by the operation of the therapist (100). This will give the therapist the feeling of presenting in the actual auditorium or seminar room, and since each response is filmed, the therapist 100 can promptly present the responses.
이 기술은 기존의 아바타들이 제시되는 가상 환경에 앞 배경을 미리 촬영된 청중의 영화로 대체하고, 그 배경을 촬영된 영화의 배경과 일치시켜 모델을 제작한 후, 치료자에게 제공함으로써 가능하다.This technique is possible by replacing the front background with a film of a pre-recorded audience in the virtual environment where the avatars are presented, creating a model by matching the background with the background of the film, and providing the therapist.
이렇게 영화화하여 만들어진 영화 기반의 가상 환경은 청중 전체를 영화화하였기 때문에 전체 분위기(긍정적인 반응, 부정적인 반응)를 제시할 수는 있지만, 각 가상 청중을 하나하나 조작하기는 불가능하다. 이러한 단점을 보완하기 위해 각각의 영화 기반의 가상 청중을 조작할 수 있게 하기 위해서 각각의 청중을 따로 영화화하여 치료자(100)의 목적에 맞는 행동을 할 수 있도록 한다. 이는 실제적인 자극을 치료자에게 제공할 수 있고, 또한 각각의 가상 청중을 치료자(100)의 목적에 맞게 조작할 수 있으므로 더욱 효과적인 치료를 행할 수 있다.The movie-based virtual environment created by cinematography can present the whole atmosphere (positive reaction, negative reaction) because the entire audience is filmed, but it is impossible to manipulate each virtual audience one by one. In order to compensate for these disadvantages, in order to be able to manipulate each movie-based virtual audience, each audience can be filmed separately so as to act according to the purpose of the therapist 100. This can provide the practitioner with practical stimuli, and can also manipulate each virtual audience for the therapist 100's purposes, thereby providing a more effective treatment.
이는 각각의 청중들을 찍은 영화에서 청중의 배경을 발표 장소의 배경으로 대체하는 컴퓨터 그래픽스 기술을 이용함으로써 임의의 배경 및 임의의 인물을 가상 환경에서 제시하는 것이 가능하고, 또한 각각의 청중이 영화화되어있기 때문에 제시되는 청중 각각의 조작이 가능할 것이다.It is possible to present any background and any character in a virtual environment by using computer graphics technology that replaces the audience's background with the background of the presentation place in the film of each audience, and also that each audience is filmed. This will allow the manipulation of each of the audience presented.
위의 기술을 이용하여 대인 공포증 치료를 위해서 임의의 청중을 임상의가 직접 촬영하여 삽입할 수 있도록 한다. 대인 공포증을 가진 환자들은 자신의 상황에 맞는 청중에 대해 공포감을 느끼므로, 필요에 따라서는 자신의 상사, 가족 또는 친구 등 여러 사람들의 얼굴이나 행동 등을 촬영한다. 그리고 이를 가상 환경에 제시하여, 기존의 가상 연설 시뮬레이터의 단점을 보완하고 가상 현실을 이용한 대인 공포증의 치료 효과를 더욱 높일 수 있을 것이다.Using the above technique, a clinician can directly photograph and insert any audience for the treatment of interpersonal phobia. Patients with interpersonal phobia are afraid of the audience that fits their situation, so if necessary, they photograph faces or actions of their bosses, family members or friends. And by presenting this in the virtual environment, it will be possible to supplement the shortcomings of the existing virtual speech simulator and to enhance the treatment effect of interpersonal phobia using virtual reality.
상기 헤드 마운티드 디스플레이는 머리에 쓰고 초대형 화면을 보는 듯한 효과를 낼 수 있는 휴대용 디스플레이 장치로서, 시야 이동 감지 수단(Head Tracker)(101), 입체 음악을 제공하기 위한 스피커(109), 영상을 디스플레이해 주는 영상 발생기(110) 등으로 구성된다. 헤드 마운티드 디스플레이에 장착된 시야 이동 감지 수단(Head Tracker)(101)은 치료자(100)의 머리가 상·하·좌·우·전·후의 위치로 움직이는가를 검출한다. 그리고 정확하게 눈의 위치를 알아내기 위해서 헤드 마운티드 디스플레이가 머리에서 벗겨지거나 틀어지지 않아야 하므로 경량화해야 하고 격렬한 움직임에도 균형을 잡을 수 있도록 관자놀이 부분에서 고정하는 방식이어야 한다. 본 발명의 시스템에서는 헤드 마운티드 디스플레이를 이용하여 최대한 치료자(100)의 시야를 가리고 오직 제공하는 장면에만 몰입할 수 있도록 하여 가상 현실에서의 몰입감을 증가시킨다.The head mounted display is a portable display device that can be worn on the head and produce an effect such as viewing a large screen. The head mounted display displays a head tracker 101, a speaker 109 for providing stereoscopic music, and an image. The main unit is composed of an image generator 110 and the like. The head tracker 101 mounted on the head mounted display detects whether the head of the therapist 100 moves to the up, down, left, right, front and back positions. And in order to accurately locate the eye, the head mounted display should not be peeled or twisted from the head, so it should be light and fixed in the temple to balance strenuous movements. In the system of the present invention, the head mounted display is used to cover the field of view of the therapist 100 as much as possible and to be immersed in only the provided scene, thereby increasing the immersion in virtual reality.
상기 가상 연설 시뮬레이터(102)는 대인 공포증 환자인 치료자(100)에게 가상의 발표 장소(배경) 및 청중을 제시하며, 치료자(100)의 헤드 마운티드 디스플레이(104)와 연결된 컴퓨터(105)에 구비될 수 있다.The virtual speech simulator 102 presents a virtual presentation place (background) and an audience to a therapist 100 who is a patient with interpersonal phobia, and is provided in the computer 105 connected to the head mounted display 104 of the therapist 100. Can be.
다른 예로, 네트워크를 기반으로 치료자(100)가 헤드 마운티드 디스플레이(104)를 착용하고 있고, 상기 헤드 마운티드 디스플레이(104)와 연결된 컴퓨터(105)와 네트워크를 통해 연결된 서버(미도시)가 가상 연설 시뮬레이터(102)를 구비한 경우가 있을 수 있다. 이때 치료자(100)가 착용한 헤드 마운티드 디스플레이(104)로부터 전송된 위치 정보 및 치료자(100)가 입력 장치(키보드, 마우스 등)를 이용해 입력한 영상 설정 정보 등이 컴퓨터(105)를 통해 상기 서버(미도시)로 전송된다. 그러면 상기 서버는 가상 연설 시뮬레이터(102)를 통해 상기 위치 정보 및 상기 영상 설정 정보에 상응하는 배경 영상 및 청중 영상을 포함하는 가상 현실 이미지를 컴퓨터(105)로 전송한다. 컴퓨터(105)로 전송된 가상 현실 이미지는 헤드 마운티드 디스플레이(104)를 통해 재생되며, 치료자(100)는 원하는 가상 현실 화면을 보게 된다.As another example, the therapist 100 wears the head mounted display 104 based on a network, and a computer 105 connected to the head mounted display 104 and a server (not shown) connected through the network are virtual speech simulators. 102 may be provided. At this time, the location information transmitted from the head mounted display 104 worn by the therapist 100 and the image setting information input by the therapist 100 using an input device (keyboard, mouse, etc.) may be transmitted through the computer 105. (Not shown). The server then transmits the virtual reality image including the background image and the audience image corresponding to the location information and the image setting information to the computer 105 through the virtual speech simulator 102. The virtual reality image transmitted to the computer 105 is played back through the head mounted display 104, and the therapist 100 sees the desired virtual reality screen.
이와 같은 시스템에서 치료자(100)의 머리 움직임에 상응하는 위치 정보는 송신기(108), 시야 이동 감지 수단(101) 및 위치 및 방향 추적기(603, 하기의 도 6을 참조)에 의해 추적되어 가상 연설 시뮬레이터(102)로 전송된다. 그러면, 가상 연설 시뮬레이터(102)는 상기 위치 정보에 상응하는 배경 영상 및 청중 영상을 추출하여 가상 현실 이미지를 합성하여 치료자(100)에게 제공한다. 또한, 4 채널 사운드 카드 등에 의한 전후좌우의 소리를 각각 조절함으로써 치료자(100)에게 입체 사운드를 제공하여 현실감을 배가시킨다. 그리고 각 화면에 상응하는 사운드를 제공함으로써 치료의 효과를 높일 수 있다.In such a system, the positional information corresponding to the head movement of the therapist 100 is tracked by the transmitter 108, the field movement detecting means 101, and the position and direction tracker 603 (see FIG. 6 below) to provide a virtual speech. Is sent to the simulator 102. Then, the virtual speech simulator 102 extracts a background image and an audience image corresponding to the location information, synthesizes the virtual reality image, and provides the synthesized virtual reality image to the therapist 100. In addition, by adjusting the sound of the front, rear, left and right by the four-channel sound card, etc., the therapist 100 provides a three-dimensional sound to double the realism. And by providing a sound corresponding to each screen can increase the effectiveness of the treatment.
가상 연설 시뮬레이터(102)를 통한 가상 현실 이미지 제공 과정은 하기의 도 7에서 상세히 설명하기로 한다.A process of providing a virtual reality image through the virtual speech simulator 102 will be described in detail with reference to FIG. 7.
도 2는 본 발명의 바람직한 일 실시예에 따른 가상 연설 시뮬레이터에 등장하는 청중의 모습과 행동의 예시도이다.Figure 2 is an illustration of the appearance and behavior of the audience appearing in the virtual speech simulator according to an embodiment of the present invention.
도 2를 참조하면, 가상 연설 시뮬레이터(102)의 영상 데이터 저장부(613, 하기의 도 6을 참조)에는 미리 캠코더 등을 이용하여 촬영한 프레임별 배경 영상 및 청중 영상이 저장되어 있다.Referring to FIG. 2, the image data storage unit 613 of the virtual speech simulator 102 (see FIG. 6 below) stores a background image and an audience image for each frame previously photographed using a camcorder or the like.
치료자(100)는 가상 연설 시뮬레이터(102)가 구비된 치료자 장치(105)와 연결된 입력 장치(107)를 조작하여 가상 현실 이미지에 등장할 배경 및 청중을 설정할 수 있다. 치료자(100)의 키입력(Key Input)(201)을 통해 설정할 수 있는 복수 개의 청중 영상(203)이 영상 데이터 저장부(613)에 미리 저장되며, 상기 청중 영상 각각에 대한 복수 개의 행동 영상(205)이 미리 촬영되어 영상 데이터 저장부(613)에 저장될 수 있다. 즉, 치료자(100)가 설정한 청중, 행동이 추출되어 현실감있고 치료자(100)의 증세에 맞는 가상 현실 이미지가 제공된다.The therapist 100 may operate the input device 107 connected to the therapist device 105 equipped with the virtual speech simulator 102 to set a background and an audience to appear in the virtual reality image. A plurality of audience images 203 that can be set through the key input 201 of the therapist 100 are stored in the image data storage 613 in advance, and a plurality of behavior images for each of the audience images ( 205 may be photographed in advance and stored in the image data storage 613. That is, the audience and behavior set by the therapist 100 are extracted to provide a realistic and virtual reality image suitable for the symptoms of the therapist 100.
예를 들어, 치료자(100)가 가상 연설 시뮬레이터(102)를 이용한 대인 공포증 치료 가상 현실에 참여하고 있다고 하자. 상기 가상 연설 시뮬레이터(102)의 영상 데이터 저장부(613)에는 치료자(100)가 공포를 느끼는 대상인 선생님들의 영상이 청중 영상으로 미리 저장되어 있다. 처음 치료자(100)가 상기 가상 현실에 참여하였을 때에는 치료자(100)가 모르는 임의의 사람들을 청중으로 등장시키고, 치료자(100)는 상기 청중들과 대화를 주고 받게 된다.For example, assume that the therapist 100 participates in interpersonal phobia treatment virtual reality using the virtual speech simulator 102. In the image data storage unit 613 of the virtual speech simulator 102, an image of teachers, which are the subjects of which the therapist 100 feels fear, is stored in advance as an audience image. When the therapist 100 first participates in the virtual reality, any person unknown to the therapist 100 is introduced to the audience, and the therapist 100 communicates with the audience.
대화를 통해 어느 정도 대화 환경에 적응을 하게되면, 치료자(100)는 치료자 장치(105)와 연결된 입력 장치(107)를 이용하여 자신이 공포를 느끼는 선생님을 한명씩 가상 현실의 청중으로 선택한다. 그리고 상기 선생님들의 행동이나 표정 등을 선택한다. 선택한 청중이 가상 현실에 등장하게 되면, 상기 치료자(100)는 더 강한 공포를 느끼게 되지만, 그들과 대화를 하거나 청중을 대상으로 발표를 함으로써 공포심을 줄이고 적응할 수 있는 능력을 갖게된다. 치료자(100)가 이러한 청중, 행동 및 표정의 선택을 통한 가상 현실을 접함으로써, 보다 단계적이고 안전하게 대인 공포증 치료를 받을 수 있다.When the adaptation is made to the dialogue environment to some extent through the dialogue, the therapist 100 selects the teacher who feels fear by using the input device 107 connected to the therapist apparatus 105 as the audience of the virtual reality. And the teacher's actions or facial expressions are selected. When the selected audience appears in the virtual reality, the therapist 100 may feel stronger fear, but have the ability to reduce fear and adapt by talking to them or presenting to the audience. By treating the virtual reality through the selection of the audience, the behavior, and the facial expression, the therapist 100 can receive the treatment of interpersonal phobias more safely and stepwise.
도 3a 및 도 3b는 본 발명의 바람직한 일 실시예에 따른 치료자의 시선 및 움직임에 따라 현실감있게 변경되어 제공되는 영화 기반 가상 연설 시뮬레이터의 예시도이다.3A and 3B are exemplary views of a movie-based virtual speech simulator provided realistically changed according to a gaze and a movement of a therapist according to an exemplary embodiment of the present invention.
도 3a 및 도 3b를 참조하면, 치료자(100)는 세미나실이나 강연장 등의 장소에 청중들이 있는 가상 연설 상황에서 연설을 하게 된다. 상기 가상 연설 상황에 등장하는 배경 영상 및 청중 영상은 실질적인 사진 이미지(301)이며, 치료자(100)의 시선의 이동에 따라 상기 배경 영상 및 청중 영상이 변경되어 실제와 비슷한 상황의 가상 현실 이미지(303)가 치료자(100)에게 제공된다.3A and 3B, the therapist 100 makes a speech in a virtual speech situation in which the audience is in a place such as a seminar room or a lecture hall. The background image and the audience image appearing in the virtual speech situation are the actual photographic image 301, and the background image and the audience image are changed according to the movement of the therapist's 100 gaze so that the virtual reality image 303 in a situation similar to the reality is shown. ) Is provided to the therapist 100.
이하, 가상 연설 시뮬레이터(102)의 발표 장소인 배경 영상과 발표 대상인 청중 영상을 예를 들어 설명하기로 한다.Hereinafter, the background image which is the presentation place of the virtual speech simulator 102 and the audience image which is the presentation target will be described by way of example.
대인 공포증 치료를 위한 발표 상황은 일상적으로 자주 접하게 되는 6∼8 명 앞에서 발표하는 상황으로 설정한다. 따라서 장소는 6명의 가상 인물이 있는 세미나실을 배경으로 제작되었다. 가상의 세미나실에는 6명이 앉을 수 있는 의자와 책상이 있고, 세미나실의 뒤에는 캐비넷이나 책장과 같은 익숙한 가구가 있으며 치료자의 뒤에 칠판을 두고, 앞에는 연단을 두었다. 치료자(100)는 연단 앞에서 가상의 청중들을 대상으로 발표하게 된다.The presentation situation for the treatment of interpersonal phobia is set up to be presented in front of six to eight people who are frequently encountered. Therefore, the place was created in a seminar room with six virtual characters. In the virtual seminar room, there are chairs and desks for six people, and behind the seminar room are familiar furniture, such as cabinets and bookcases, with a blackboard behind the therapist and a podium in front. The therapist 100 will present the virtual audience in front of the podium.
이러한 실제 발표 장소를 캠코더를 이용하여 촬영한 후, 그 영상을 프레임별배경 영상으로 컴퓨터에 저장하여 가상 환경에 적용하여, 치료자(100)로 하여금 더욱 실제감을 느낄 수 있도록 구성하였다.After recording the actual presentation place using a camcorder, the image is stored in a computer as a background image for each frame and applied to a virtual environment, so that the therapist 100 can feel more real.
대인 공포증을 가진 사람들은 자신이 발표하고 있을 때 청중들의 반응에 따라서 여러 가지 불안정도를 갖는다. 따라서 치료자의 불안을 적당히 유발시키기 위해 각각의 청중은 실제 사람과 비슷한 동작과 목소리 표정 등을 가지고 있어야 하며, 치료자의 상황에 적절히 반응하여야 한다.People with interpersonal phobia have varying degrees of instability, depending on the audience's response when they are presenting. Therefore, in order to properly induce the anxiety of the therapist, each audience should have similar movements and voice expressions as the real person, and respond appropriately to the situation of the therapist.
따라서 가상의 인물이 실제 살아있는 것처럼 보이게 하기 위해 연속적인 간단한 동작이나 표정들을 무작위로 되풀이하며, 또한 치료자(100)가 원하는 시점에 명령을 주어 청중에게 다양한 동작을 하도록 할 수 있게 구성한다.Therefore, in order to make the virtual figure appear to be actually alive, a series of simple simple movements or facial expressions are randomly repeated, and the therapist 100 is configured to allow the audience to perform various movements by giving a command at a desired point in time.
이러한 청중은 실제 사람의 연기를 개인별로 촬영한 후, 촬영한 영상을 청중 영상으로 컴퓨터에 저장하여 삼차원 가상 공간에 위치시키게 된다. 이때, 실제 사람을 제외한 배경 부분을 발표 장소로 바꾸는 기법(상기 기법은 하기의 도 7에서 기술하기로 함.)을 이용하여 실제 그 청중이 발표 장소에 있는 것처럼 구성한다. 그리고 청중의 행동에 상응하는 행동 영상이 따로 저장되어 있어 치료자(100)에게 보일 청중의 행동 영상들은 실시간 편집 기술을 이용하여 치료자(100)가 원하는 방식대로 제어된다.Such an audience captures the actual person's performance by individual, and then stores the captured image as an audience image on a computer and places it in a three-dimensional virtual space. At this time, using the technique of changing the background portion excluding the actual person to the presentation place (the above technique will be described in FIG. 7 below), the audience is configured as if the actual audience is at the presentation place. In addition, the behavioral images corresponding to the behavior of the audience are stored separately so that the behavioral images of the audience to be seen by the therapist 100 are controlled in a manner desired by the therapist 100 using real-time editing technology.
이 방법은 영화 기반의 가상 현실에서 각각의 청중을 조작하는 것이 불가능하였던 것을 보완할 수 있다. 따라서 조작이 편리한 모델 기반의 장점과 영화 기반의 실제적인 영상 제시가 가능한 장점을 하나로 묶을 수 있게 한다. 이에 더하여 가상 환경이 임의의(미리 프로그램화되어있는) 청중을 제시하는 것이 아니라, 자신이 공포를 느끼는 대상(직장 상사, 가족, 친구 등)이 제시되어 치료 효과를 극대화할 수 있다는 장점이 있다.This method can compensate for the impossibility of manipulating each audience in film-based virtual reality. Therefore, it is possible to combine the advantages of easy-to-operate model-based and film-based realistic image presentation. In addition, the virtual environment does not present an arbitrary (pre-programmed) audience, but the object of fear (work boss, family, friends, etc.) is presented to maximize the therapeutic effect.
도 4는 본 발명의 바람직한 일 실시예에 따른 개인별 조작이 가능한 영화 기반 가상 연설 시뮬레이터의 구성을 나타낸 도면이다.4 is a diagram showing the configuration of a movie-based virtual speech simulator that can be individually manipulated according to an exemplary embodiment of the present invention.
도 4를 참조하면, 가상 연설 시뮬레이터(102)의 화면(401)은 배경 영상(403), 청중 영상(405), 강단 등의 가구 영상(407) 등으로 구성된다. 청중 영상(405)에서 실제 사람을 제외한 배경 부분(409)은 청중 영상을 투명하게 처리한다.Referring to FIG. 4, the screen 401 of the virtual speech simulator 102 includes a background image 403, an audience image 405, a furniture image 407 such as a pulpit, and the like. The background portion 409 of the audience image 405 excluding the actual person processes the audience image transparently.
상기 배경 영상(403), 청중 영상(405), 가구 영상(407) 등은 치료자(100)의 키입력에 의해 다양하게 설정될 수 있다. 또한, 치료자(100)가 특정한 증세 및 공포 대상 등을 입력 장치(107)를 이용하여 입력하면, 상기 증세 및 공포 대상에 상응하는 배경 영상(403), 청중 영상(405), 가구 영상(407)이 자동적으로 추출되어 가상 현실 이미지로 생성되어 치료자(100)에게 제공된다.The background image 403, the audience image 405, the furniture image 407, etc. may be variously set by a key input of the therapist 100. In addition, when the therapist 100 inputs a specific symptom and fear object using the input device 107, the background image 403, the audience image 405, and the furniture image 407 corresponding to the symptom and fear object are input. This is automatically extracted and generated as a virtual reality image is provided to the therapist (100).
도 5는 본 발명의 바람직한 일 실시예에 따른 가상 연설 시뮬레이터의 프레임 구성을 나타낸 도면이다.5 is a diagram showing the frame configuration of a virtual speech simulator according to an embodiment of the present invention.
도 5를 참조하면, 가상 연설 시뮬레이터(102)는 치료자(100)의 시야각 및 원근값에 따른 다수의 프레임 정보(501, 503, 505)를 미리 설정하고 있다. 그리고 상기 프레임 각각(501, 503, 505)에 상응하는 배경 영상 및 청중 영상을 영상 데이터 저장부(613, 하기의 도 6을 참조)에 미리 저장하고 있다. 가상 연설 시뮬레이터(102)는 치료자(100)가 착용한 헤드 마운티드 디스플레이(104)의 시야이동 감지 수단(101)으로부터 전송된 시야각 및 원근값에 상응하는 프레임을 판단한다. 그리고 프레임에 상응하는 배경 영상 및 청중 영상을 영상 데이터 저장부(613)로부터 추출하여 배경 영상과 청중 영상을 합성하여 보다 사실감있는 가상 현실 이미지를 생성한다.Referring to FIG. 5, the virtual speech simulator 102 presets a plurality of frame information 501, 503, and 505 according to the viewing angle and perspective value of the therapist 100. The background image and the audience image corresponding to each of the frames 501, 503, and 505 are stored in advance in the image data storage 613 (see FIG. 6 below). The virtual speech simulator 102 determines a frame corresponding to the field of view and perspective value transmitted from the field of view detecting means 101 of the head mounted display 104 worn by the therapist 100. The background image and the audience image corresponding to the frame are extracted from the image data storage 613 to synthesize the background image and the audience image to generate a more realistic virtual reality image.
도 6은 본 발명의 바람직한 일 실시예에 따른 가상 연설 시뮬레이터의 소프트웨어의 구성을 나타낸 도면이다.6 is a diagram showing the configuration of the software of the virtual speech simulator according to an embodiment of the present invention.
도 6을 참조하면, 가상 연설 시뮬레이터(102)는 신호 변환기(601), 위치 및 방향 추적기(603), 3D 그래픽 보드(605), 3D 음향 처리부(607), 시야각 계산부(609), 가상 현실 이미지 생성기(611), 영상 데이터 저장부(613) 등으로 구성된다.Referring to FIG. 6, the virtual speech simulator 102 includes a signal converter 601, a position and direction tracker 603, a 3D graphics board 605, a 3D sound processor 607, a viewing angle calculator 609, virtual reality. And an image generator 611, an image data storage unit 613, and the like.
영상 데이터 저장부(613)에는 캠코더 등을 이용하여 미리 촬영된 프레임별 배경 영상 및 청중 영상이 저장된다. 이러한 영상 데이터 저장부(613)로는 하드 디스크 드라이브(HDD) 혹은 다른 보조 기억 장치 등이 적용될 수 있다.The image data storage unit 613 stores a frame-specific background image and an audience image photographed in advance using a camcorder or the like. As the image data storage unit 613, a hard disk drive (HDD) or another auxiliary storage device may be applied.
가상 현실 이미지 생성기(611)는 현재의 프레임 및 치료자(100)로부터 요청된 영상 설정 정보(배경, 청중, 행동, 표정 등)에 상응하는 배경 영상 및 청중 영상을 영상 데이터 저장부(613)로부터 추출한다. 그리고 3D 그래픽 보드(605)는 상기 프레임에 상응하여 추출된 배경 영상과 청중 영상의 중첩 부분을 투명하게 처리하여 사실적인 가상 현실 이미지를 생성한다.The virtual reality image generator 611 extracts a background image and an audience image corresponding to the current frame and image setting information (background, audience, behavior, facial expression, etc.) requested from the therapist 100 from the image data storage unit 613. do. The 3D graphics board 605 transparently processes the overlapping portion of the extracted background image and the audience image corresponding to the frame to generate a realistic virtual reality image.
위치 및 방향 추적기(603)는 치료자(100)가 착용한 헤드 마운티드 디스플레이로부터 전송된 시야각 및 원근값을 감지하여 송신기(108)로 전송한다.The position and direction tracker 603 senses the viewing angle and perspective value transmitted from the head mounted display worn by the therapist 100 and transmits it to the transmitter 108.
시야각 계산부(609)는 위치 및 방향 추적기(603)로부터 입력되는 치료자(100)의 움직임 신호에 따라 치료자 헤드의 각도 변화량을 계산한 후, 이에 따라 디스플레이상의 픽셀 변화량을 계산한다.The viewing angle calculator 609 calculates an angle change amount of the therapist head according to the movement signal of the therapist 100 input from the position and direction tracker 603, and then calculates an amount of pixel change on the display accordingly.
신호 변환기(601)는 3D 그래픽 보드(605)에서 생성된 RGB 출력을 TV 영상 신호로 변환한다. 그리고 3D 음향 처리부(607)는 치료자(100)에게 제공될 가상 현실 이미지에 상응하는 음향을 추출하여 치료자(100)의 헤드 마운티드 디스플레이(104)로 전송한다.The signal converter 601 converts the RGB output generated by the 3D graphics board 605 into a TV video signal. The 3D sound processor 607 extracts a sound corresponding to the virtual reality image to be provided to the therapist 100 and transmits the sound to the head mounted display 104 of the therapist 100.
입력 장치(107)는 치료자(100)에게 가상 연설 시뮬레이터(102)의 배경 및 청중을 조작하기 위한 키입력을 제공하는 장치로서, 키보드, 마우스, 조이스틱 등이 될 수 이용될 수 있다.The input device 107 is a device that provides the therapist 100 with a key input for manipulating the background and the audience of the virtual speech simulator 102, and may be used as a keyboard, a mouse, a joystick, and the like.
도 7은 본 발명의 바람직한 일 실시예에 따른 가상 연설 시뮬레이터가 실행되는 과정을 나타낸 순서도이다.7 is a flowchart illustrating a process of executing a virtual speech simulator according to an embodiment of the present invention.
도 7을 참조하면, 치료자(100)가 입력한 배경, 청중의 모습 및 행동 등의 영상 설정 정보를 수신(S701)하고, 상기 치료자(100)가 착용한 헤드 마운티드 디스플레이의 포지션 센서로부터 현재의 시야각 및 원근값을 수신(S703)한다. 그러면 상기 시야각 및 원근값에 상응하는 프레임을 판단(S705)하고, 영상 데이터 저장부(613)로부터 상기 프레임 및 상기 영상 설정 정보에 상응하는 배경 영상 및 청중 영상을 추출(S707)한다. 상기 치료자(100)는 가상 연설 시뮬레이터(102)가 구비된 치료자 장치(105)와 연결된 입력 장치(107)를 조작하여 상기 영상 설정 정보를 설정할 수 있다. 즉, 치료자(100)는 치료 단계에 맞는 청중, 청중의 표정, 행동등을 설정함으로써, 보다 단계적이고 안정적으로 치료를 받을 수 있다.Referring to FIG. 7, an image setting information such as a background, an audience's appearance and behavior input by the therapist 100 is received (S701), and a current viewing angle is obtained from a position sensor of the head mounted display worn by the therapist 100. And a perspective value (S703). Then, the frame corresponding to the viewing angle and the perspective value is determined (S705), and the background image and the audience image corresponding to the frame and the image setting information are extracted from the image data storage unit 613 (S707). The therapist 100 may set the image setting information by manipulating the input device 107 connected to the therapist device 105 having the virtual speech simulator 102. That is, the therapist 100 may be treated more step by step and stably by setting the audience, facial expressions, behaviors and the like for the treatment stage.
이렇게 배경 영상 및 청중 영상이 추출되면, 청중 영상 중 실제 사람을 제외한 배경 부분을 투명하게 처리(S709)한다. 그리고 상기 배경 영상 및 청중 영상을 합성(S711)하고, 합성된 가상 현실 이미지를 치료자(100)의 헤드 마운티드 디스플레이로 전송(S713)한다.When the background image and the audience image are extracted as described above, the background portion of the audience image except for the real person is transparently processed (S709). The background image and the audience image are synthesized (S711), and the synthesized virtual reality image is transmitted to the head mounted display of the therapist 100 (S713).
도 8a 및 도 8d는 본 발명의 바람직한 일 실시예에 따른 가상 연설 시뮬레이터의 프로그램 소스의 예시도이다.8A and 8D are exemplary diagrams of a program source of a virtual speech simulator according to a preferred embodiment of the present invention.
도 8a 및 도 8d를 참조하면, 입력 장치(107)를 이용하여 입력되어진 키 입력값으로 움직일 가상의 청중들을 선택하고, 청중이 행해야 할 모션(웃음, 집중, 박수 등)을 선택(801)한다.Referring to FIGS. 8A and 8D, a virtual audience to be moved using a key input value using the input device 107 is selected, and a motion (laugh, concentration, applause, etc.) to be performed by the audience is selected (801). .
치료자(100)의 시야각 및 원근값에 상응하며, 선택되어진 가상 청중의 영상 시퀀스에서 현재 디스플레이되어야 할 프레임을 찾아낸다(803).Corresponding to the therapist 100's viewing angle and perspective value, a frame to be currently displayed is found in the selected image sequence of the virtual audience (803).
그리고 찾아진 프레임에 상응하는 배경 영상 및 청중 영상을 추출하여, 배경 영상과 청중 영상이 중첩되는 부분을 추출하여 그 부분을 투명하게 처리하기 위해서 알파 채널(Alpha Channel)을 셋팅(805)한다. 여기서, 알파 채널이란 이미지를 구성하는 픽셀의 투명도에 관한 값이다. 보통의 이미지는 4가지 채널(R, G, B, A)을 갖고 있다. 처음의 3개 채널(R, G, B)은 이미지의 색깔을 나타내고, 마지막 알파 채널은 그 이미지의 투명도를 나타내게 된다. 보통 알파 채널이 이 255(8비트를 사용했을 경우)일 경우 그 해당 픽셀은 불투명함을 나타내고, 0일 경우 투명함을 나타낸다.In addition, the background image and the audience image corresponding to the found frame are extracted, and an alpha channel is set in order to extract a portion where the background image and the audience image overlap and process the portion transparently. Here, the alpha channel is a value relating to the transparency of pixels constituting the image. The normal image has four channels (R, G, B, A). The first three channels (R, G, B) represent the color of the image, and the last alpha channel represents the transparency of the image. Normally, if the alpha channel is 255 (when 8 bits are used), that pixel is opaque; if 0, it is transparent.
이렇게 배경 영상의 투명 처리가 완료되면, 상기 배경 영상 및 청중 영상을 합성하여 사실적인 가상 현실 이미지를 생성(807)한다. 이때, 치료자(100)의 머리에 부착된 포지션 센서는 머리의 움직임을 감지하여 그 시야각이나 원근값을 가상 연설 시뮬레이터가 구비된 컴퓨터로 전달하여, 프로그램에 적용하여 보는 방향의 이미지가 보이도록 한다.When the transparent processing of the background image is completed, the background image and the audience image are synthesized to generate a realistic virtual reality image (807). At this time, the position sensor attached to the head of the therapist 100 detects the movement of the head and transmits the viewing angle or perspective value to the computer equipped with the virtual speech simulator, so that the image of the viewing direction is applied to the program.
본 발명은 상기 실시예에 한정되지 않으며, 많은 변형이 본 발명의 사상 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 가능함은 물론이다.The present invention is not limited to the above embodiments, and many variations are possible by those skilled in the art within the spirit of the present invention.
상술한 바와 같이 본 발명에 따르면, 가상의 아바타들이 청중으로 제시되는 것이 아니라 실제 사람의 동영상을 그대로 가상의 청중으로 제시하고, 그 청중들의 개개인을 치료자의 목적에 맞게 조작하고, 그 청중을 자신이 공포를 느끼는 대상(상사, 가족, 친구 등)으로 제시하는 대인 공포증 치료를 위한 가상 연설 시뮬레이터를 제공할 수 있다.As described above, according to the present invention, the virtual avatars are not presented to the audience, but the actual human video is presented to the virtual audience, the individual of the audience is manipulated according to the therapist's purpose, and the audience is A virtual speech simulator can be provided for the treatment of interpersonal phobias presented to feared subjects (boss, family, friends, etc.).
또한, 본 발명에 따르면 가상 환경 시뮬레이터의 배경 화면 및 청중 등을 실제 사진 이미지와 같은 영화 기반으로 제공하여 현실감있는 치료를 제공하는 대인 공포증 치료를 위한 가상 연설 시뮬레이터를 제공할 수 있다.In addition, according to the present invention can provide a virtual speech simulator for the treatment of interpersonal phobia providing realistic treatment by providing a background screen and the audience of the virtual environment simulator on the basis of a film such as a real photographic image.
또한, 본 발명에 따르면 가상 환경 시뮬레이터에 등장하는 각각에 상응하는 다양한 모습, 행동 등을 제공하여 보다 현실감있는 대인 공포증 치료를 위한 가상 연설 시뮬레이터를 제공할 수 있다.In addition, according to the present invention, it is possible to provide a virtual speech simulator for more realistic treatment of interpersonal phobia by providing various shapes, actions, and the like corresponding to each of the virtual environment simulators.
또한, 본 발명에 따르면 가상 환경 시뮬레이터에 등장하는 각각의 모습, 행동 등을 치료자의 증세에 맞게 단계적으로 제공함으로써 치료자가 안전하게 치료를 받을 수 있도록 하는 대인 공포증 치료를 위한 가상 연설 시뮬레이터를 제공할 수 있다.In addition, according to the present invention can provide a virtual speech simulator for the treatment of interpersonal phobia, so that the therapist can be safely treated by providing each appearance, behavior, and the like appearing in the virtual environment simulator step by step according to the condition of the therapist. .
또한, 본 발명에 따르면 치료자의 치료 목적에 맞게 가상 환경의 배경, 청중 그리고 상기 청중 각각의 모습 및 행동을 조작하여 제작되는 대인 공포증 치료를 위한 가상 연설 시뮬레이터를 제공할 수 있다.In addition, according to the present invention can provide a virtual speech simulator for the treatment of interpersonal phobia produced by manipulating the background, the audience and the appearance and behavior of each of the audience in accordance with the therapeutic purpose of the therapist.
또한, 본 발명에 따르면 기존의 모델 기반의 가상 연설 시뮬레이터보다 실제적인 자극을 제시하기 때문에 치료 효과를 극대화하는 대인 공포증 치료를 위한 가상 연설 시뮬레이터를 제공할 수 있다.In addition, the present invention can provide a virtual speech simulator for the treatment of interpersonal phobia, which maximizes the therapeutic effect because it presents a more realistic stimulus than the existing model-based virtual speech simulator.
Claims (22)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0057599A KR100445846B1 (en) | 2001-09-18 | 2001-09-18 | A Public Speaking Simulator for treating anthropophobia |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0057599A KR100445846B1 (en) | 2001-09-18 | 2001-09-18 | A Public Speaking Simulator for treating anthropophobia |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20010099277A KR20010099277A (en) | 2001-11-09 |
| KR100445846B1 true KR100445846B1 (en) | 2004-08-25 |
Family
ID=19714396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2001-0057599A KR100445846B1 (en) | 2001-09-18 | 2001-09-18 | A Public Speaking Simulator for treating anthropophobia |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100445846B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102104202B1 (en) * | 2019-03-13 | 2020-05-29 | 영산대학교산학협력단 | Behavioral therapy apparatus for recovering psychological problems using virtual reality |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030039211A (en) * | 2001-11-12 | 2003-05-17 | 이스타뱅크(주) | A system having function of synthesizing user's image with an animation object |
| KR100452093B1 (en) * | 2002-02-25 | 2004-10-08 | (주)블루미디어텍 | Virtual reality apparatus for curing mental disorder |
| KR20040037608A (en) * | 2002-10-29 | 2004-05-07 | 한국전자통신연구원 | A system and method for implementing cyber theme park for virtual therapy treatment it |
| CN111596761B (en) * | 2020-05-03 | 2024-06-21 | 清华大学 | Face-changing technology and virtual reality technology-based method and device for simulating speech |
| KR102263340B1 (en) * | 2020-08-06 | 2021-06-11 | 정덕환 | Method for providing adaptive vr content to support panic disorder management and adaptive vr content controlling device using the same |
| KR102499966B1 (en) * | 2020-12-30 | 2023-02-14 | 고려대학교 산학협력단 | Social anxiety improvement system through biofeedback and exposure method based on video conference and recording medium in which a program for excuting the method of the same is recorded |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09311618A (en) * | 1996-05-22 | 1997-12-02 | Sharp Corp | Virtual reality producing device |
| KR19980016952A (en) * | 1996-08-30 | 1998-06-05 | 조원장 | Field Experience Language Training System Using Virtual Reality |
| KR19980019288A (en) * | 1998-03-04 | 1998-06-05 | 심우섭 | The implementation of VR system On PC. |
| KR20010000648A (en) * | 2000-10-11 | 2001-01-05 | 박병근 | Method for studying step by step interview using internet |
| KR20010080567A (en) * | 1998-11-25 | 2001-08-22 | 추후보정 | Apparatus and method for training using a human interaction simulator |
| KR20010110893A (en) * | 2000-06-09 | 2001-12-15 | 이계철 | Apparatus and method for preforming virtual presentation using 3-dimensional virtual reality |
| KR20020084564A (en) * | 2001-05-03 | 2002-11-09 | 장충엽 | Internet-based virtual interview system and the method thereof |
-
2001
- 2001-09-18 KR KR10-2001-0057599A patent/KR100445846B1/en not_active IP Right Cessation
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09311618A (en) * | 1996-05-22 | 1997-12-02 | Sharp Corp | Virtual reality producing device |
| KR19980016952A (en) * | 1996-08-30 | 1998-06-05 | 조원장 | Field Experience Language Training System Using Virtual Reality |
| KR19980019288A (en) * | 1998-03-04 | 1998-06-05 | 심우섭 | The implementation of VR system On PC. |
| KR20010080567A (en) * | 1998-11-25 | 2001-08-22 | 추후보정 | Apparatus and method for training using a human interaction simulator |
| KR20010110893A (en) * | 2000-06-09 | 2001-12-15 | 이계철 | Apparatus and method for preforming virtual presentation using 3-dimensional virtual reality |
| KR20010000648A (en) * | 2000-10-11 | 2001-01-05 | 박병근 | Method for studying step by step interview using internet |
| KR20020084564A (en) * | 2001-05-03 | 2002-11-09 | 장충엽 | Internet-based virtual interview system and the method thereof |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102104202B1 (en) * | 2019-03-13 | 2020-05-29 | 영산대학교산학협력단 | Behavioral therapy apparatus for recovering psychological problems using virtual reality |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20010099277A (en) | 2001-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3096208B1 (en) | Image processing for head mounted display devices | |
| Hughes et al. | Mixed reality in education, entertainment, and training | |
| US8953909B2 (en) | System, method, and computer software code for mimic training | |
| US8714982B2 (en) | System and method for teaching social skills, social thinking, and social awareness | |
| JP6683864B1 (en) | Content control system, content control method, and content control program | |
| US12032735B2 (en) | Method and apparatus for real-time data communication in full-presence immersive platforms | |
| WO2015027286A1 (en) | A medical training simulation system and method | |
| JP2023501832A (en) | Realization method, apparatus and related products for lens division | |
| De La Peña | Towards behavioural realism: Experiments in immersive journalism | |
| KR100445846B1 (en) | A Public Speaking Simulator for treating anthropophobia | |
| Radoeva et al. | Overview on hardware characteristics of virtual reality systems | |
| CN111596761A (en) | Method and device for simulating lecture based on face changing technology and virtual reality technology | |
| Waters et al. | Play frames, or framed play? The use of film cameras in visual ethnographic research with children | |
| US20240221518A1 (en) | System and method for virtual online medical team training and assessment | |
| JP6892478B2 (en) | Content control systems, content control methods, and content control programs | |
| Jin | A Constructivism-based 3D Scene Display Teaching System for Wushu Teaching. | |
| JP2021009351A (en) | Content control system, content control method, and content control program | |
| Li et al. | Trends in virtual and augmented reality research: a review of latest eye tracking research papers and beyond | |
| KR20210131830A (en) | Effective data sharing system and method of virtual reality model for lecture | |
| Cotton et al. | Virtual Reality | |
| Dayan | ARGAMAN: rapid deployment virtual reality system for PTSD rehabilitation | |
| CN109461351A (en) | The augmented reality game training system of three screens interaction | |
| Wang | Artificial Intelligence Narration in Virtual Reality | |
| JP6733027B1 (en) | Content control system, content control method, and content control program | |
| Denisov et al. | Perspectives and development of mixed reality technologies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20080630 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |