KR20100021387A - 가상 현실 시스템에서 사운드 처리를 수행하기 위한 장치 및 방법 - Google Patents

가상 현실 시스템에서 사운드 처리를 수행하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR20100021387A
KR20100021387A KR1020090075459A KR20090075459A KR20100021387A KR 20100021387 A KR20100021387 A KR 20100021387A KR 1020090075459 A KR1020090075459 A KR 1020090075459A KR 20090075459 A KR20090075459 A KR 20090075459A KR 20100021387 A KR20100021387 A KR 20100021387A
Authority
KR
South Korea
Prior art keywords
sound
space
focus area
sensory
virtual
Prior art date
Application number
KR1020090075459A
Other languages
English (en)
Other versions
KR101576294B1 (ko
Inventor
장석우
강상기
이근섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20100021387A publication Critical patent/KR20100021387A/ko
Application granted granted Critical
Publication of KR101576294B1 publication Critical patent/KR101576294B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 가상 현실 시스템에서 사운드 처리 장치 및 방법에 관한 것으로, 본 발명에 따른 가상 현실 시스템에서 사운드 처리 장치는 가상 현실 환경의 가상 공간에 해당하는 사운드 출력을 생성 및 처리하는 사운드 처리부; 및 상기 가상 현실 환경의 가상 공간을 상기 포커스 영역과 상기 넌-포커스 영역으로 구분하고, 상기 가상 현실 공간에서의 제1 가상 공간에서 상기 가상 현실 공간에서의 제2 가상 공간으로 공간 이동이 감지된 경우 상기 제1 가상 공간에 해당하는 사운드 크기를 점진적으로 감소시키면서 상기 제2 가상 공간에 해당하는 사운드 크기를 점진적으로 증가시키도록 상기 사운드 처리부의 사운드 출력을 제어하는 제어부를 포함하고, 상기 가상 공간은 포커스 영역과 넌-포커스 영역으로 구분되고, 상기 포커스 영역의 사운드 출력은 상기 넌-포커스 영역의 사운드 출력과 구분하여 생성 및 처리됨을 포함한다.
가상 현실 시스템, 포커스 영역, 넌-포커스 영역, 공간 이동, 지연

Description

가상 현실 시스템에서 사운드 처리를 수행하기 위한 장치 및 방법{APPARATUS AND METHOD TO PERFORM PROCESSING A SOUND IN A VIRTUAL REALITY SYSTEM}
본 발명은 가상 현실 시스템에서 사운드 처리를 수행하기 위한 장치 및 방법에 관한 것으로, 특히 가상 현실 시스템에서 출력되는 사운드를 포커스 사운드와 넌-포커스 사운드로 구분하여 처리하는 사운드 처리 장치 및 방법에 관한 것이다.
최근에는 실제 상황과 동일한 3차원 가상 현실에서 사용자가 실제로 생활하는 것처럼 체험하는 시뮬레이터의 필요성 증가에 따라 가상 현실 시스템이 개발되었다. 이러한 가상 현실 시스템은 가상 현실 게임이나 3D 게임 등과 같이 전자적으로 형성된 환경에서 높은 현실감을 제공하기 위해 사용될 수 있다.
상기 가상 현실 시스템은 가상으로 만든 공간에서 다양하게 형성되는 감각(시각 청각 촉각 등) 입력들을 현실처럼 느끼게 해주는 것이다. 상기 감각 입력들은 다양한 현실감을 갖도록 가상 세계의 감각 경험들을 복제할 수 있다. 예를 들어, 가상 현실 게임에서 현실적인 영상들 및 사운드들이 생성될 수 있지만, 게임 조이스틱(joystick) 또는 제어기는 오직 진동을 통해 실제의 감각을 개략적으로 모방할 수 있을 뿐이다. 가상 현실 시스템의 영상은 모니터 장치, 두부 장착 표시 장치(HMD : Head Mounted Display), 텔레비전(television), 프로젝터(projector), 또 다른 가상 디스플레이 장치를 사용하여 3D로 가상 현실의 영상을 구현될 수 있다. 또한 상기 가상 현실 시스템의 사운드의 경우, 가상 위치를 표현하는 위치를 측정하는 기술(localization)을 사용한다. 가상 현실 시스템의 사운드는 스피커(speaker), 헤드셋(headset), 또 다른 오디오 장치에 의해 생성될 수 있다.
상기와 같은 가상 현실 시스템에서 사운드 처리 방법은 사운드에 사실감을 주기 위하여 사운드를 발생하는 객체의 상대적인 위치, 주변 사물의 위치, 소리가 나고 있는 방향 등에 따라 소리의 도달 경로와 소리의 변화를 모델링하여 소리에 변화를 가하거나, 방향성을 나타내기 위해 청취자 입장에서 소리의 방향성을 결정짓는 두 귀에 도달되는 소리의 차이가 발생되는 경로를 예를 들어 HRTF(Head Related Transfer Function)와 같은 사운드 처리 기법을 이용하여 모델링함으로써 출력되는 사운드를 결정한다.
가상 환경에서 사용자가 이동할 경우 현실 세계를 최대한 구현하지만, 만약 가상 환경에서 이동이 가상 세계를 정확하게 구현되지 않는다면, 반면에 현실 세계를 뛰어넘는 더 편리한 가상 환경도 제공할 수 있다. 예를 들어, 시간에 따라서 연속적으로 움직이는 현실 세계와 달리 가상 현실 세계에서는 사용자가 거리 또는 시간을 통과할 필요 없이 어떤 공간과 가상 공간 간의 이동이 가능하다. 이러한 가상 공간의 예로는 미합중국에서 운용하고 있는 Second Life와 같은 가상 현실 게임을 들 수 있다. 이런 가상 공간에서 사용자의 캐릭터가 이동 시 공간이 바뀌면서 사용자에게 보이는 영상과 사용자에게 들리는 사운드가 공간의 이동/변경에 따라 바뀌어야 한다. 이때 사용자의 캐릭터가 이동하는 두 공간은 완전히 다른 공간이기 때문에 각 공간에서 들리는 두 가지의 사운드는 서로 다른 사운드 소스로부터 출력되므로 공간이 전환되는 시점에 출력되는 사운드에 시간 지연이 발생된다. 이런 경우 사운드의 현실감은 저하되므로 보다 현실감 높은 가상 현실을 제공하기 위한 사운드 처리 기법이 필요하다.
따라서 본 발명은 향상된 현실적인 감각을 제공하기 위해 가상 현실 시스템에서 모든 객체의 사운드를 현실감 있게 처리하기 위한 사운드 처리를 수행하기 위한 장치 및 방법을 제공한다.또한 본 발명은 가상 현실 시스템에서 공간 이동을 고려하여 사운드의 출력을 사실감 있게 조절하는 사운드 처리를 수행하기 위한 장치 및 방법을 제공한다.
또한 본 발명은 가상 현실 시스템에서 가상 공간 이동 시 사운드 변환 과정에서 발생하는 지연 시간을 최소화할 수 있는 사운드 처리를 수행하기 위한 장치 및 방법을 제공한다.
본 발명에 따른 가상 현실 시스템에서 사운드 처리 장치는 가상 현실 환경의 가상 공간에 해당하는 사운드 출력을 생성 및 처리하는 사운드 처리부; 및 상기 가상 현실 환경의 가상 공간을 상기 포커스 영역과 상기 넌-포커스 영역으로 구분하고, 상기 가상 현실 공간에서의 제1 가상 공간에서 상기 가상 현실 공간에서의 제2 가상 공간으로 공간 이동이 감지된 경우 상기 제1 가상 공간에 해당하는 사운드 크기를 점진적으로 감소시키면서 상기 제2 가상 공간에 해당하는 사운드 크기를 점진적으로 증가시키도록 상기 사운드 처리부의 사운드 출력을 제어하는 제어부를 포함하고, 상기 가상 공간은 포커스 영역과 넌-포커스 영역으로 구분되고, 상기 포커스 영역의 사운드 출력은 상기 넌-포커스 영역의 사운드 출력과 구분하여 생성 및 처리됨을 포함한다.
본 발명에 따른 가상 현실 시스템에서 사운드 처리 방법은 가상 현실 환경의 가상 공간을 포커스 영역과 넌-포커스 영역으로 구분하는 과정; 상기 포커스 영역의 사운드 출력과 상기 넌-포커스 영역의 사운드 출력을 구분하여 처리하는 과정; 및 상기 가상 현실 공간에서의 제1 가상 공간에서 상기 가상 현실 공간에서의 제2 가상 공간으로 공간 이동이 감지된 경우 상기 제1 가상 공간의 사운드 크기를 점진적으로 감소시키면서 상기 제2 가상 공간의 사운드 크기를 점진적으로 증가시키는 과정을 포함한다.
본 발명에 따른 가상 현실 장치는 가상 환경에서 제1 가상 공간에서 제2 가상 공간으로의 공간 이동이 감지하고, 상기 제2 가상 공간을 포커스 영역과 적어도 하나의 넌-포커스 영역으로 구분하는 제어부와, 상기 제어부의 제어 신호에 의해서 감각 출력 신호를 생성하는 감각 처리부와, 상기 제어부는, 공간 이동이 감지된 경우, 상기 감각 처리부가 상기 제1 가상 공간의 감각 출력 신호를 점진적으로 감소시키면서 상기 제2 가상 공간의 감각 출력 신호를 점진적으로 증가시키는 과정을 포함한다.
본 발명에 따른 가상 현실 시스템에서 감각 출력을 생성하는 방법은 적어도 제1 감각 소스를 구비하는 제1 가상 공간을 생성하는 과정; 상기 제1 가상 공간으로부터, 적어도 제2 감각 소스를 구비하는 제2 가상 공간으로의 공간 이동을 감지하는 과정; 상기 제2 가상 공간을 포커스 영역과 넌-포커스 영역으로 구분하는 과 정; 및 상기 제1 가상 공간의 상기 제1 감각 소스의 감각 출력의 크기를 감소시키면서 상기 제2 가상 공간의 상기 제2 감각 소스의 감각 출력의 크기를 증가시키는 과정을 포함한다.
본 발명에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 저장하는 컴퓨터-판독 가능 매체는 적어도 제1 감각 소스를 구비하는 제1 가상 공간을 생성하는 과정; 상기 제1 가상 공간으로부터, 적어도 제2 감각 소스를 구비하는 제2 가상 공간으로의 공간 이동을 감지하는 과정; 상기 제2 가상 공간을 포커스 영역과 넌-포커스 영역으로 구분하는 과정; 및 상기 제1 가상 공간의 해당하는 사운드 크기를 감소시킴과 동시에 상기 제2 가상 공간에 해당하는 사운드 크기를 증가시키는 과정을 포함한다.
본 발명에 따른 가상 현실 시스템에 있어서, 상기 가상 현실 시스템은 가상 현실 서버와 가상 현실 장치를 포함하며, 상기 가상 현실 서버는, 가상 환경 내의 사운드 소스들에 해당하는 데이터와 상기 가상 환경 내의 사용자에 의해 제어 가능한 캐릭터에 해당하는 데이터를 수신하는 제1 제어부; 적어도 제1 공간과 제2 공간을 포함하는 상기 가상 환경 내의 공간들에 해당하는 데이터를 저장하는 저장부; 및 외부 장치와 통신하는 통신부를 포함하며, 상기 가상 현실 장치는, 상기 가상 현실 서버의 상기 통신부와 통신하는 통신부; 상기 가상 환경 내의 상기 공간들에 해당하는 오디오 신호들을 처리 및 생성하는 사운드 처리부; 및 상기 가상 현실 서버로부터 사운드 소스 데이터를 수신하고, 상기 가상 환경 내에서 상기 제1 공간으로부터 상기 제2 공간으로의 상기 캐릭터의 공간 이동을 감지하며, 상기 공간 이동 이 감지될 때 상기 사운드 처리부가 상기 제1 공간에 해당하는 크기를 감소시킴과 동시에 상기 제2 공간에 해당하는 크기를 증가시키도록 상기 사운드 처리부를 제어하는 제2 제어부를 포함한다.
본 발명에 의하면 가상 현실 시스템 등에서 사운드가 발생되는 객체의 위치에 따라 상기 사운드의 크기 및 좌, 우 밸런스를 조절함은 물론 출력되는 사운드를 포커스 사운드와 넌-포커스 사운드로 구분하여 사운드 출력을 조절함으로써 사운드 객체가 많은 가상 현실에서도 현실감을 떨어뜨리지 않고 각 객체의 자유로운 사운드 변화를 표현할 수 있다. 또한, 가상 현실 시스템에서 가상 공간 이동 시 사운드 처리 과정에서 발생하는 지연 시간을 최소화할 수 있다.
이하, 본 발명에 따른 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 또한, 하기 설명에서는 구체적인 특정 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 상세한 설명을 생략한다.
가상 현실 또는 가상 환경은 소프트웨어 코드의 실행을 통해 생성될 수 있다. 소프트웨어 코드는 메모리 모듈, 가상 현실 디스플레이 장치와 통신하는 서버, CD, DVD, 또는 다른 디스크, 컴퓨터 판독 가능 매체를 포함한 메모리 저장 장치 등에 저장될 수 있다. 실행 가능한 코드는 가상 현실 장치, 모듈, 콘솔, 또는 오락 또는 계산 장치를 제어할 수 있다. 상기 가상 현실 장치가 코드를 실행할 때, 오디오, 시각, 촉각, 후각, 또는 다른 장치를 포함하는 감각 장치를 제어하도록 할 수 있다. 예를 들면, 가상 현실 장치는 실물 같은 영상을 표시하고 실제 같은 사운드를 출력하도록 하는 코드를 실행할 수 있다. 실물 같은 영상 및 사운드는 시청자 및/또는 청취자에게 현실의 위치 대신에 실물 같은 가상 위치에 있는 것 같은 인상을 준다. 예를 들면, 가상 현실 장치가 농구장의 실제 같은 영상과 농구 게임의 실제 같은 사운드를 출력하면, 시청자 및/또는 청취자는 그들이 집에 있는 것 보다는 농구 경기를 하고 있는 것 같은 느낌을 갖는다.
도 1a는 본 발명의 실시 예에 따른 가상 현실 장치(110)를 나타낸 블록도이다.
가상 현실 장치(110)는 제어부(114), 감각 처리부(118), 및 저장부(102)를 포함한다. 상기 제어부(114)는 가상 현실 공간에 관련한 입력 정보를 수신한다. 상기 가상 현실 공간은 아바타, 캐릭터, 또는 사용자가 감지할 수 있는 가상 환경으로부터의 시각을 제공하는 다른 물체를 포함할 수 있다. 예를 들면, 사용자는 아바타를 이용하여 가상 환경과 상호 작용을 할 수 있다. 상기 사용자는 아바타의 시각으로부터 가상 환경을 보고, 듣고, 감지할 수 있다.
상기 가상 현실 공간 정보를 수신하면, 상기 제어부(114)는 상기 저장부(102)에 접속하여 사용자에게 가상 환경을 표시하기 위해 오디오, 음성, 및/또는 감각 데이터에 접근한다. 현재 실시 예에 따르면, 상기 제어부(114)는 감각 데이터를 제어하여 가상 환경에 대응한다. 상기 제어부(114)는 사용자의 아바타 또는 캐릭터 및 가상 환경의 다른 아바타들, 캐릭터들, 사물들, 특징들을 포함하여 가상 현실의 감각 데이터를 믹스한다. 상기 제어부(114)는 상기 감각 데이터를 포커스 영역과 넌-포커스 영역으로 분할하고 넌-포커스 영역의 감각 요소와 상이한 포커스 영역의 감각 요소들을 출력하도록 상기 감각 처리부(118)를 제어한다. 예를 들면, 상기 제어부(114)는 포커스 영역의 오디오 요소보다 소음 저감되고 조용한 넌-포커스 영역들의 오디오 요소들을 발생하도록 상기 감각 처리부(118)에 지시한다. 이러한 가상 감각 요소에 있어서, 상기 제어부(114)는 넌-포커스 영역의 시각적 요소들을 덜 선명하고, 흐리고, 어둡게 되도록 하고 상기 포커스 영역의 시각적 요소들을 구체적이고 선명하게 되도록 상기 감각 처리부(118)에 지시한다.
상기 제어부(114)는 상기 가상 환경에서 가상 공간의 변화가 있었는지를 감지하고 공간에서의 변화에 대응하도록 상기 감각 처리부(118)을 제어한다. 상기 제어부(114)는 제1 공간의 감각 요소들이 사라져 제2 공간의 감각 요소들이 뚜렷해지도록 상기 감각 처리부(118)에 지시한다. 상기 제어부(114)는 먼저 제2 공간의 포커스 영역의 감각 요소들이 뚜렷해지고 이후 제2 공간의 넌-포커스 영역들의 감각 요소들을 포함하도록 상기 감각 처리부(118)에 지시한다.
상기 감각 처리부(118)는 감각 출력부(120)를 통해 사용자에게 출력을 위한 데이터를 준비할 수 있다. 예를 들면, 상기 감각 출력부(120)는 음향 감각 데이터 출력을 위한 스피커, 시각 감각 데이터 출력을 위한 TV, 및/또는 촉각적 데이터 출력을 위한 촉각 장치를 포함할 수 있다.
도 1b는 본 발명의 실시 예에 따른 가상 현실 시스템을 도시한 블록도이다.
도 1b에 도시된 실시 예에 따른 상기 가상 현실 시스템은 가상 현실 서버(100)와 가상 현실 장치(110)를 포함할 수 있다.
상기 가상 현실 서버(100)는 가상 현실 게임과 같은 소정 가상 현실 환경과, 상기 가상 현실 환경에서 제공되는 각종 사운드 소스를 사용자의 가상 현실 장치(110)로 제공하도록 제어부(104), 저장부(102) 및 통신부(106)를 포함한다. 도 1b에서 상기 제어부(104)는 가상 현실 서버(100)의 전반적인 동작을 제어하며, 상기 가상 현실 장치(110)로 가상 현실 환경에서 발생되는 영상 소스는 물론 사운드 소스를 제공한다.
상기 제어부(104)는 가상 현실 환경을 제공 받는 사용자로부터 상기 사용자가 원하는 가상 현실의 캐릭터를 선택 받은 후, 상기 저장부(102)에 기 저장하고 있는 가상 현실 공간 안에 존재하는 상기 사용자의 캐릭터를 제외한 다른 캐릭터와 기타 객체들에 대한 사운드 소스 정보를 확인하고, 가상 현실 환경에서 상기 캐릭터의 상대적 위치나 상황에 따라 실시간으로 발생되는 사운드 소스를 가상 현실 장치(110)로 제공한다. 도 1b에서 상기 통신부(106)는 상기 제어부(104)를 통해 전달된 사운드 소스를 상기 가상 현실 장치(110)로 정해진 통신 방식에 따라 전달한다. 상기 통신부(106)는 가상 현실 시스템에 적용될 수 있는 각종 유무선 통신 방식을 이용할 수 있다.
상기 가상 현실 장치(110)는 가상 현실 서비스를 이용하는 사용자의 단말 장치로 이는 통신부(112), 제어부(114) 및 사운드 처리부(116)를 포함한다. 상기 가상 현실 장치(110)의 제어부(114)는 상기 가상 현실 서버(100)로부터 수신한 사운드 소스를 분석하여 사용자의 캐릭터의 사운드와 가상 현실 공간에서 그 사용자의 주변에 존재하는 다른 캐릭터의 사운드를 현재 실시 예에 따라 구분되는 사운드 영역에 따라 각 사운드의 크기와 좌우 밸런스를 조절하여 믹싱 하도록 처리한다. 즉 상기 제어부(114)는 가상 현실 공간을 다수의 사운드 영역으로 분할하고, 상기 분할한 각 사운드 영역에서 발생하는 사운드의 크기 및 좌, 우 밸런스를 조절하도록 처리할 수 있다. 상기 사운드 영역의 분할 방식을 구체적으로 설명하면, 상기 사운드 처리부(116)는 상기 제어부(114)의 제어 하에 상기 가상 현실 공간에서 사운드 영역을 포커스 영역과 넌-포커스 영역으로 구분하고, 사용자가 선택한 캐릭터의 시야 내에 있는 상기 포커스 영역(Focus Area)에서 발생하는 사운드를 확인하여 상기 포커스 영역에서 발생하는 사운드의 정확한 발생 위치를 확인한다. 여기서 사운드의 발생 위치를 확인하기 위한 알고리즘으로 머리 전달 함수(HRTF)을 이용할 수 있다. 또한, 상기 사운드 처리부(116)는 상기 제어부(114)의 제어 하에 상기 가상 현실 공간의 사운드 영역에서 상기 캐릭터의 넌-포커스 영역(Non-Focus Area)에 발생하는 사운드를 확인하고, 해당 사운드의 크기 및 좌, 우 밸런스를 조절하도록 처리한다.
또한 상기 제어부(114)는 캐릭터의 가상 공간 이동을 감지하여 예컨대, 캐릭 터가 제1 공간에서 제2 공간으로 이동 시 제1 공간의 사운드 크기는 점진적으로 감소시키면서, 제2 공간의 사운드 크기는 점진적으로 증가시키도록 상기 사운드 처리부(116)의 동작을 제어한다. 이때 상기 제어부(114)는 제2 공간의 사운드 출력 시 상기 포커스 영역의 사운드가 먼저 출력된 후, 상기 넌-포커스 영역의 사운드가 출력되도록 제어한다. 그리고 상기 통신부(112)는 정해진 통신 방식에 따라 상기 가상 현실 서버(100)로부터 전달되는 가상 현실 환경의 사운드 소스를 수신하도록 처리한다. 상기 통신부(112)는 가상 현실 서버(100)의 이용 여부에 따라 선택적으로 구비될 수 있다. 도 1b의 예에서는 가상 현실 서버(100)와 가상 현실 장치(110)를 구분하여 도시하였으나, 이를 하나의 장치로 구성하는 것도 가능할 것이다.
이하 도 2를 참조하여 상기 포커스 영역 및 넌-포커스 영역을 보다 구체적으로 설명한다.
도 2는 본 발명의 실시 예에 따른 가상 현실 장치에서 가상 현실 공간의 사운드 영역을 분할하는 방법을 도시한 도면이다.
도 2를 참조하면, 상기 가상 현실 장치의 사용자의 캐릭터(또는, 액터)(200)가 정면에 위치한 동행자 1(220)을 바라보고 동행자 2(230), 동행자 3(240)은 상기 캐릭터(200)를 바라보고 있는 상황을 가정한다.
이 경우 상기 가상 현실 장치는 상기 가상 현실 공간을 상기 가상 현실 장치를 사용하고자 하는 캐릭터(200)의 시야 내에 있는 포커스 영역과, 시야 외에 있는 넌-포커스 영역으로 분할할 수 있다. 여기에서, 상기 캐릭터(200)의 시야 내에 있는 포커스 영역은 상기 캐릭터(200)의 시야 내에 있는 정면 공간에서 상기 캐릭 터(200)와 가까운 위치의 영역(203)(음영으로 도시된 부분)을 의미하고, 상기 캐릭터(200)의 시야 외에 있는 영역은 상기 캐릭터(200)의 시야 내에 있는 정면 공간에 위치하지만 상기 캐릭터(200)와 상대적으로 거리가 먼 영역(201)과 상기 캐릭터(200)의 시야 외에 있는 영역(205,207,209,211)을 의미한다. 도 2에서 상기 포커스 영역과 상기 넌-포커스 영역의 구분은 일 예를 나타낸 것으로 이는 가상 현실 공간에서 캐릭터가 위치된 영역 및/또는 캐릭터가 위치된 가상 지형의 특성에 따라 다양한 형태로 변형될 수 있을 것이다. 예를 들어, 사운드 영역들의 분할은 캐릭터(200)에 관해서 묘사되고, 상대방(220, 230 및 240)은 플레이어(player)들 또는 사람들일 필요는 없다. 반대로 각각 분할된 포커스 또는 넌-포커스 영역은 예를 들어, 오디오 및 가상 데이터를 포함할 수 있는 감각 데이터에 의해 표현되는 어떠한 다수의 가상 물체들을 포함할 수 있다. 또한 상기 포커스 영역과 상기 넌-포커스 영역의 적어도 하나는 가상 현실 공간에서 사운드의 크기 및/또는 좌, 우 밸런스 조절에 있어 미리 정해진 우선순위에 따라 각각 복수 개의 영역으로 구분될 수 있다.
도 3은 도 1b의 가상 현실 시스템에서 가상 현실 장치(110)의 구성을 나타낸 블록도로서, 이는 특히 사운드 처리부(116)을 상세하게 나타낸 것이다.
도 3에서 상기 사운드 처리부(116)는 포커스 영역의 사운드를 처리하기 위한 포커스된 사운드 처리부(1162), 넌-포커스 영역의 사운드를 처리하기 위한 넌포커스된 사운드 처리부(1164), 사운드 크기 조절부(1166) 및 믹서(1168)를 포함한다.
먼저, 상기 포커스된 사운드 처리부(1162)는 제어부(114)의 제어 하에 도 2 에서 설명한 가상 현실 공간의 사운드 영역 구분에 따라 즉, 상기 가상 현실 공간을 사용자가 선택한 캐릭터의 시야 내에 있는 포커스 영역에서 발생하는 사운드(이하, "포커스된 사운드")를 확인하여 상기 포커스된 사운드의 크기 및 좌, 우 밸런스를 조절하도록 처리한다. 또한 상기 넌포커스된 사운드 처리부(1164)는 상기 제어부(114)의 지시에 따라 상기 캐릭터의 시야, 즉 화면 외의 영역인 넌-포커스 영역(Non-Focus Area)에서 발생하는 사운드(이하, "넌포커스된 사운드")의 정확한 위치를 확인하고, 상기 넌포커스된 사운드의 크기 및 좌, 우 밸런스를 조절하도록 처리한다.
한편 상기 사운드 크기 조절부(1166)는 가상 공간 이동에 따라 예컨대, 가상 현실의 공간이 제1 공간에서 제2 공간으로 전환되는 경우 상기 제어부(114)의 지시에 따라 이동 전 가상 공간인 제1 공간의 사운드 크기를 서서히 감소시키고, 상기 제1 공간의 사운드 감소와 비례하여 이동 후 가상 공간인 제2 공간의 사운드를 서서히 증가시키도록 처리한다. 여기서 상기 제1 공간에서 제2 공간으로의 이동은 예컨대, 가상 현실 장치(110)의 도시되지 않은 키 입력 수단을 통한 캐릭터 이동을 위한 사용자의 키 입력을 제어부(114)가 감지하거나, 도시되지 않은 비디오 출력에서 공간 이동에 따른 장면 전환을 제어부(114)가 감지하는 등 다양한 형태로 감지될 수 있을 것이다.
상기 믹서(1168)는 상기 제어부(114)의 지시에 따라 상기 사운드 크기 조절부(1166)에서 출력되는 사운드 데이터를 믹싱하여 믹싱된 사운드를 출력한다.
상기 제어부(114)는 사용자가 선택한 캐릭터의 주변에 존재하는 다른 캐릭터 의 사운드를 가상 현실 공간의 사운드 영역에 따라 사운드 크기 조절 및 좌우 밸런스 조절하여 믹싱하도록 처리한다. 이때, 상기 제어부(114)는 가상 현실 공간을 다수의 영역으로 분할하여 상기 분할한 영역에서 발생하는 사운드의 크기 및 좌우 밸런스를 조절하도록 하고, 상기 제1 영역 및 제2 영역의 사운드 크기를 조절하도록 처리한다.
이하에서 도 4를 참조하여 상기 가상 현실 장치(110)에서 가상 현실 사운드를 제공하기 위한 사운드 처리 과정을 구체적으로 설명한다.
도 4는 본 발명의 실시 예에 따라 가상 현실 사운드를 제공하기 위한 사운드 처리 방법을 나타낸 순서도로서, 이는 특히 사운드 출력 시 공간 이동이 감지된 경우 가상 현실 장치(110)에서 수행되는 동작을 나타낸 것이다.
먼저 가상 현실 환경 내에서 사운드 소스가 예를 들어, 가상 현실 서버(100)에 의해 상기 제어부(114)로 제공됨을 가정한다. 그러나 이는 일 예를 나타낸 것으로 이러한 사운드 소스는 가상 현실 장치(110) 내에서도 생성될 수 있다. 도 4의 401단계에서 제어부(114)는 가상 현실 서버(100)로부터 제공되는 가상 공간을 확인한 후, 403단계에서 가상 공간에서 사운드 출력을 위한 사운드 영역을 포커스 영역 과 넌-포커스 영역으로 분할하도록 처리한다. 상기 401 단계, 403 단계에서 가상 공간의 확인과, 확인된 가상 공간에서 사운드 영역을 구분할 수 있도록 가상 공간 영역을 미리 정해진 방식에 따라 분할한다. 이후, 제어부(114)는 405단계로 진행하여 포커스 영역에서 발생하는 사운드가 존재하는지 판단한다. 만일, 포커스 영역에서 발생하는 사운드가 존재하는 것으로 판단된다면, 407단계에서 상기 포커스 영역 에서 발생하는 사운드의 우선순위를 설정한다. 도 4의 방법은 오직 상기 가상 환경의 사운드 소스가 상기 제어부(114)로 제공되는 경우를 실시하고 있는 것이므로, 만약 상기 사운드 소스가 포커스 영역 이내에 존재하지 않는다면, 넌-포커스 영역에 반드시 존재한다. 상기 제어부(114)는 409단계에서 넌-포커스 영역에서 발생하는 사운드의 우선순위를 설정한다. 또한 도 4에는 도시되지 않았으나, 상기 포커스 영역과 상기 넌-포커스 영역 모두에서 사운드 발생이 있는 경우 상기 포커스 영역과 상기 넌-포커스 영역 중 적어도 하나에 대해 사운드의 우선순위을 설정할 수 있다.
그리고 411단계에서 제어부(114)는 사용자 캐릭터의 공간 이동이 있는 지 여부를 체크하여 공간 이동이 감지된 경우 413 단계에서 제어부(114)의 제어 하에 사운드 크기 조절부(1166)는 제2 공간으로 이동하기 전의 공간인 제1 공간의 사운드 크기를 감소시키면서, 설정된 제2 공간의 사운드 우선순위에 따라 발생하는 사운드의 크기 즉 볼륨을 증가시켜 출력한다. 그리고 415 단계에서 상기 사운드 크기 조절부(1166)로부터 출력된 제1 공간 및 제2 공간의 사운드는 믹서(1168)를 통해 믹싱되어 출력된다. 한편 상기 411 단계에서 공간 이동이 감지되지 않은 경우 상기 413 단계의 동작은 수행되지 않고, 상기 415 단계의 동작이 바로 수행된다. 도 4에는 도시되지 않았으나, 상기 415 단계의 사운드 출력 중에 사용자 캐릭터의 공간 이동이 있을 경우 제어부(114)는 이를 감지하여 상기 413 단계 이후의 동작을 수행하게 된다.
이하에서 도 5를 참조하여 농구장에서 회의실로 가상 공간 이동 시의 본 발 명의 실시 예를 구체적으로 설명한다.
도 5는 일반적인 가상 현실 장치에서 가상 현실 사운드를 제공하기 위한 사운드 처리 과정의 일 예를 나타낸 도면이다.
상기 도 5는 농구장(500)에서 회의실(510)로 가상 공간을 이동할 경우를 가정하여 도시한 것이다. 즉, 가장 환경에서 사용자의 아바타(avatar) 또는 캐릭터의 원근감을 제1 공간에서 제2 공간으로 변경하는 것이다.
예를 들어, 농구장(500)에서 회의실(510)로 가상 공간 이동을 할 경우, 이상적으로는 도 5의 (a)와 같이 농구장(500)에서 발생하는 농구장의 사람들(501a 내지 501d) 소리 및 스피커(503) 소리 등과 같은 농구장 사운드(515)를 제공하다가 제1 공간에서 제2 공간으로의 가상 공간 이동이 감지되면 가상 공간의 이동과 동시에 이동 하고자 하는 제2 공간인 회의실(510)에서 발생하는 사람들(511a 내지 511f) 소리 및 TV(513) 소리 등과 같은 회의실 사운드(515)로 변환하여 제공해야 한다.
하지만 도 5의 (b)에 도시된 바와 같이, 공간 이동이 발생하는 시점과 새로운 공간에서 발생하는 사운드의 시작 시점간의 지연이 발생한다. 예를 들어, 회의실 사운드(517)를 제공하기 위해 회의실(510)의 모든 객체에 대한 회의실 사운드(517)를 전송 받아야 하기 때문에 일정 기간 동안 지연이 발생하게 된다. 또한 새로운 공간에 존재하는 사운드 소스가 많을수록 전송 시간이 길어져 서비스의 질이 떨어지고, 새로운 공간에 대한 현실감도 떨어지게 된다.
이러한 점을 고려하여 제안된 본 발명에 따라 도 6은 본 발명의 실시 예에 따른 가상 현실 장치에서 가상 현실 사운드를 제공하기 위한 사운드 믹싱 과정을 개략적으로 나타낸 도면이다.
상기 도 6은 농구장(600)에서 회의실(610)로 가상 공간을 이동할 경우를 가정하여 도시한 것이다.
이상적으로는 도 6의 (a)와 같이 농구장(600)에서 발생하는 농구장의 사람들(601a 내지 601d) 소리 및 스피커(603) 소리 등과 같은 농구장 사운드(605)를 제공하다가 제1 공간에서 제2 공간으로의 가상 공간 이동이 감지되면 가상 공간의 이동과 동시에 이동 하고자 하는 제2 공간인 회의실(610)에서 발생하는 사람들(611a 내지 611f) 소리 및 TV(613) 소리 등과 같은 회의실 사운드(615)로 변환하여 제공해야 한다.
그러나 이전에 기재된 바와 같이, 공간 이동이 감지되는 때와 제2 공간의 사운드가 수신되는 때 간의 지연이 발생한다. 따라서 상기 농구장(600)에서 회의실(610)로 가상 공간을 이동할 때 발생하는 지연 시간을 최소화하기 위해 먼저 회의실(610)의 포커스 영역 또는 넌-포커스 영역 사운드의 우선순위를 설정한다. 이후, 도 6의 (b)에 도시된 바와 같이, 상기 농구장 사운드(607)의 크기를 감소 또는 페이드(fade) 시키면서, 상기 설정된 회의실(610)의 포커스 영역 또는 넌-포커스 영역 사운드의 우선순위에 따라 발생하는 회의실 사운드(617)의 크기 즉 볼륨을 증가시켜 출력한다. 이러한 사운드 크기 조절 방법은 도 6의 참조 번호 620과 같은 형태로 나타낼 수 있다. 이를 구체적으로 도시한 도 7을 참조하여 가상 공간 이동 시 사운드 변환 과정을 설명한다.
도 7은 본 발명의 실시 예에 따른 가상 현실 장치에서 가상 공간 이동 시 사 운드 변환 과정을 나타낸 도면이다. 구성요소 731 및 733의 높이는 사운드 소스의 볼륨과 같은 사운드 신호의 크기를 나타내는 것이다. 그러므로 구성요소 731이 가장 높은 높이일 때, 가장 큰 소리를 갖는다.
먼저 가상 공간 이동이 감지되면, 현재 캐릭터가 존재하는 제1 공간의 사운드(731)는 점차 감소시킨다. 그리고 이동하고자 하는 제2 공간의 사운드(733)는 포커스 영역 및 넌-포커스 영역으로 분할하여, 포커스 영역에서 발생하는 사운드(733a)부터 우선순위를 설정하고, 상기 설정된 우선순위에 따라 사운드의 크기를 순차적으로 증가시키며 출력한다. 이후 제1 공간의 사운드 출력이 완료되는 시점 근처에서 넌-포커스 영역에서 발생하는 사운드(733b)의 우선순위를 설정하고, 상기 설정된 우선순위에 따라 상기 포커스 영역에서 발생하는 사운드(733a)와 넌-포커스 영역에서 발생하는 사운드를 믹싱한 사운드(733b) 또한 순차적으로 증가시키며 출력한다.
상기 실시 예에서는 가상 현실 장치의 오디오 특성과 관련하여 기재되어 있지만, 일반적인 발명적 개념이 임의의 감각 출력에 적용될 수 있다. 도 8a 내지 8C는 가상 환경에서 공간 이동이 감지되었을 때 제1 공간의 감각 출력이 사라지고 제2 공간의 감각 출력이 나타나는 과정을 도시하고 있다.
도 8a에 따르면, 제1 공간의 감각 출력(831)의 크기는 공간 이동이 감지될 때까지 약 100%이다. 가상 공간은 사용자가 가상 환경에 존재하는 것과 같은 느낌을 주기 위해 감각 출력을 통해 사용자에게 보여지는 물체들 또는 캐릭터들을 포함한다. 사용자는 아바타, 캐릭터, 또는 물체에 해당하는 특정의 시각으로부터 가상 환경을 경험한다. 예를 들면, 공간 이동은 사용자의 캐릭터가 상기 가상 환경 내의 제1 가상 공간에서 제2 가상 공간으로 갑자기 이동하였을 경우 발생한다. 일단 공간 이동이 감지되면, 공간 이동에서의 제1 공간 또는 상기 캐릭터가 이동한 공간에서의 감각 출력의 크기가 작아지기 시작한다. 또한, 제2 공간 또는 상기 캐릭터가 이동하는 공간의 감각 출력들(833)에 해당하는 데이터는 가상 현실 장치 또는 가상 현실 장치의 일부로 전송되기 시작하여 출력을 위해 감각 출력 장치를 통해 준비한다.
예를 들면, 사용자의 캐릭터가 농구 경기장에서 회의실로 이동하면, 농구 경기장의 시각적, 음향적, 촉각적 요소들의 크기가 줄어들고, 회의실의 시각적, 음향적, 촉각적 요소들이 가상 현실 장치 또는 가상 현실 장치의 일부로 전송된다. 상기 제2 공간의 감각 출력 데이터를 전송하는 것은 상기 가상 현실 장치 외부의 소스 또는 상기 가상 현실 장치 내의 저장부에서 제어부로 데이터를 전송하는 것을 포함한다.
상기 제2 공간의 감각 출력 데이터를 출력할 때, 상기 감각 출력 데이터는 먼저, 상기에서 언급한 바와 같이, 포커스 영역과 넌-포커스 영역으로 구분된다. 데이터가 전송되면, 제2 공간의 포커스 영역에 해당하는 상기 감각 데이터는 감각 출력(833)으로 출력된다. 한편, 넌-포커스 영역 또는 제2 공간의 영역들에 해당하는 상기 감각 데이터가 전송되기 시작한다. 일단 상기 넌-포커스 영역(들)에 해당하는 충분한 감각 데이터가 전송되면, 상기 넌-포커스 영역 감각 데이터는 상기 포커스 영역 감각 데이터와 믹스되어 감각 출력(833)으로 출력된다.
도 8a는 포커스 영역 감각 데이터의 전송이 공간 이동 감지 시점에서 시작하는 것으로 도시하고 있지만, 실제로 데이터 전송은 감지 시점 이후 임의의 시점에서 시작할 수 있다. 또한, 도 8a는 제2 공간의 넌-포커스 영역들에 대응하는 감각 출력이 시작할 때 제1 공간 감각 출력(831)이 종료되는 것을 나타내고 있지만, 제1 공간 감각 출력(831)은 제2 공간의 넌-포커스 영역들에 대응하는 감각 출력의 시작 이전 또는 이후의 임의의 시점에서 종료될 수 있다.
도 8b 내지 8C는 본 발명의 실시 예에 따른 감각 출력의 점진적 변화를 도시하고 있다.
도 8b에 도시된 바와 같이, 제1 공간 감각 출력 831의 점진적 감소 및 제2 공간 감각 출력 (833)의 점진적 증가는 곡선 형태일 수 있기 때문에 넌-포커스 감각 출력(833b)의 증가가 포커스 영역 감각 출력(833a)의 증가보다 빠르기 일어난다. 예를 들면, 상기 곡선은 로그 형태 또는 다른 지수적으로 변화하는 형태를 가질 수 있다. 이러한 과정은 공간 이동의 가까운 시점에서 "점진적 감소"되는 감각을 만들어내어 공간 이동을 빠르게 완료하도록 하기 위해 사용될 수 있다. 또는, 이러한 과정은 적은 수의 감각 출력 생산 물체들 또는 캐릭터들이 포커스 영역에 비해 넌-포커스 영역들에서 감지된 경우 사용될 수 있다. 예를 들면, 많은 감각 출력 생산 물체들이 포커스 영역에 위치하지만 넌-포커스 영역에는 소수의 감각 출력 생산 물체들이 위치할 경우, 상기 포커스 영역 감각 출력(833a)은 비교적 점차적인 속도로 시작할 것이고, 넌-포커스 영역 감각 출력(833b)은 더 빠른 속도로 발생할 것이다.
도 8c는 제1 공간 감각 출력(831)의 점진적 감소와 더 빠른 속도로 시작하여 더 늦은 속도로 줄어드는 제2 공간 감각 출력(833)의 점진적 증가를 도시하고 있다. 이러한 과정은 제1 공간에서 제2 공간으로의 느린 변화를 설명하기 위해 사용된다. 또는, 이러한 과정은 많은 수의 감각 출력 생산 물체들 또는 캐릭터들인 포커스 영역에 비해 넌-포커스 영역에서 감지되는 경우 사용될 수 있다. 이러한 경우, 제1 공간에서 제2 공간으로의 변화는 제2 공간의 포커스 영역의 감각 출력(833a)을 빠르게 출력한 후 제2 공간의 넌-포커스 영역들의 출력(833b)을 점차적으로 증가시킴으로써 부드럽게 이루어질 수 있다.
본 발명의 일반적인 개념은 컴퓨터-판독 가능 매체에서 컴퓨터-판독 가능 코드로써 구체화될 수 있다. 컴퓨터-판독 가능 매체는 컴퓨터-판독 가능 기록 매체 및 컴퓨터-판독 가능 전송 매체를 포함할 수 있다. 컴퓨터-판독 가능 기록 매체는 데이터를 프로그램으로써 저장하고 이후 컴퓨터 시스템에 의해 판독될 수 있는 임의의 데이터 저장 장치일 수 있다. 컴퓨터-판독 가능 기록 매체의 예로는 읽기 전용 메모리(ROM), 임의 접근 메모리(RAM), CD-ROMs, DVDs, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다. 또한, 컴퓨터-판독 가능 기록 매체는 컴퓨터 시스템들과 결합된 네트워크를 통해 분산될 수 있기 때문에 컴퓨터 판독 가능 코드는 분산 방식으로 저장되고 실행된다. 컴퓨터-판독 가능 전송 매체는 반송파 또는 신호(예, 인터넷을 통한 유선 또는 무선 데이터 송신)를 송신하기 위한 네트워크 서버 또는 다른 컴퓨터를 포함하는 네트워크를 포함할 수 있다. 또한, 본 발명의 일반적 진보적 개념을 달성하기 위한 함수 프로그램, 코드, 및 코드 세 그먼트들은 당업계에 통상의 지식을 가진 프로그래머들에 의해 용이하게 파악될 수 있을 것이다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
도 1a는 본 발명의 실시 예에 따른 가상 현실 장치를 나타낸 블록도,
도 1b는 본 발명의 실시 예에 따른 가상 현실 시스템을 도시한 블록도,
도 2는 본 발명의 실시 예에 따른 가상 현실 장치에서 가상 현실 공간의 사운드 영역을 분할하는 방법을 도시한 도면,
도 3은 도 1b의 가상 현실 시스템에서 가상 현실 장치를 나타낸 블록도,
도 4는 본 발명의 실시 예에 따라 가상 현실 사운드를 제공하기 위한 사운드 처리 방법을 나타낸 순서도,
도 5는 일반적인 가상 현실 장치에서 가상 현실 사운드를 제공하기 위한 사운드 처리 과정의 일 예를 나타낸 도면,
도 6은 본 발명의 실시 예에 따른 가상 현실 장치에서 가상 현실 사운드를 제공하기 위한 사운드 믹싱 과정을 개략적으로 나타낸 도면,
도 7은 본 발명의 실시 예에 따른 가상 현실 장치에서 가상 공간 이동 시 사운드 변환 과정을 나타낸 도면.
도 8a 내지 도 8c는 본 발명의 실시 예에 따른 가상 공간 이동의 사운드 변환 과정을 나타낸 도면.

Claims (44)

  1. 가상 현실 시스템에서 사운드 처리 장치에 있어서,
    가상 현실 환경의 가상 공간에 해당하는 사운드 출력을 생성 및 처리하는 사운드 처리부; 및
    상기 가상 현실 환경의 가상 공간을 상기 포커스 영역과 상기 넌-포커스 영역으로 구분하고, 상기 가상 현실 공간에서의 제1 가상 공간에서 상기 가상 현실 공간에서의 제2 가상 공간으로 공간 이동이 감지된 경우 상기 제1 가상 공간에 해당하는 사운드 크기를 점진적으로 감소시키면서 상기 제2 가상 공간에 해당하는 사운드 크기를 점진적으로 증가시키도록 상기 사운드 처리부의 사운드 출력을 제어하는 제어부를 포함하고,
    상기 가상 공간은 포커스 영역과 넌-포커스 영역으로 구분되고, 상기 포커스 영역의 사운드 출력은 상기 넌-포커스 영역의 사운드 출력과 구분하여 생성 및 처리됨을 포함하는 사운드 처리 장치.
  2. 제 1 항에 있어서,
    상기 제어부는 상기 공간 이동이 감지된 후, 상기 제2 가상 공간에서의 포커스 영역에 해당하는 사운드가 상기 제2 가상 공간에서의 넌-포커스 영역에 해당하는 사운드가 출력되기 전에 출력되고,
    일정 시간이 경과된 후, 상기 제2 가상 공간에서의 포커스 영역의 사운드와 상기 넌-포커스 영역의 사운드가 함께 출력되도록 제어하는 사운드 처리 장치.
  3. 제 1 항에 있어서,
    상기 사운드 처리부는 상기 제1 가상 공간의 사운드 크기와 상기 제2 가상 공간의 사운드 크기를 구분하기 위해서 상기 제1 가상 공간의 사운드 크기와 상기 제2 가상 공간의 사운드 크기를 조절하는 사운드 크기 조절부를 더 포함하는 사운드 처리 장치.
  4. 제 1 항에 있어서,
    상기 제어부는 상기 포커스 영역을 각각의 미리 결정된 우선순위가 주어진 복수 개의 영역으로 구분하고, 복수의 사운드 소스 중 상기 포커스 영역에서 출력되는 제1 사운드 소스에 대해 상기 미리 결정된 우선순위에 따라 사운드 출력을 제어하도록 더 구성된 사운드 처리 장치.
  5. 제 1 항에 있어서,
    상기 제어부는 상기 넌-포커스 영역을 우선순위가 설정된 복수 개의 영역으로 구분 하고, 상기 사운드 소스 중 상기 넌-포커스 영역에서 출력되는 제2 사운드 소스에 대해 상기 우선순위에 따라 사운드 출력을 제어하도록 더 구성된 사운드 처리 장치.
  6. 제 1 항에 있어서,
    정해진 통신 방식에 따라 상기 가상 현실 시스템의 서버와 통신하는 통신부를 더 포함하고, 상기 사운드 소스는 상기 서버로부터 상기 통신부를 통해 수신하는 사운드 처리 장치.
  7. 제 1 항에 있어서,
    상기 제어부는 상기 가상 현실 공간에서 사용자 캐릭터의 상기 공간 이동을 위한 키 입력을 확인하여 상기 공간 이동을 감지하도록 더 구성된 사운드 처리 장치.
  8. 가상 현실 시스템에서 사운드 처리 방법에 있어서,
    가상 현실 환경의 가상 공간을 포커스 영역과 넌-포커스 영역으로 구분하는 과정;
    상기 포커스 영역의 사운드 출력과 상기 넌-포커스 영역의 사운드 출력을 구분하여 처리하는 과정; 및
    상기 가상 현실 공간에서의 제1 가상 공간에서 상기 가상 현실 공간에서의 제2 가상 공간으로 공간 이동이 감지된 경우 상기 제1 가상 공간의 사운드 크기를 점진적으로 감소시키면서 상기 제2 가상 공간의 사운드 크기를 점진적으로 증가시키는 과정을 포함하는 사운드 처리 방법.
  9. 제 8 항에 있어서,
    상기 넌-포커스 영역에서의 사운드가 출력되기 전에, 상기 포커스 영역에서의 사운드를 출력하는 과정; 및
    일정 시간이 경과된 후 상기 포커스 영역의 사운드와 상기 넌-포커스 영역의 사운드를 함께 출력하는 과정을 더 포함하는 사운드 처리 방법.
  10. 제 8 항에 있어서,
    상기 포커스 영역을 각각의 미리 결정된 우선순위를 가지는 복수 개의 영역으로 구분하고, 복수의 사운드 소스 중 상기 포커스 영역에서 출력되는 제1 사운드 소스에 대해 상기 미리 결정된 우선순위에 따라 사운드 출력을 제어하는 과정을 더 포함하는 사운드 처리 방법.
  11. 제 8 항에 있어서,
    상기 넌-포커스 영역을 각각의 미리 결정된 우선순위를 가지는 복수 개의 영역으로 구분하고, 복수의 사운드 소스 중 상기 넌-포커스 영역에서 출력되는 제1 사운드 소스에 대해 상기 미리 결정된 우선순위에 따라 사운드 출력을 제어하는 과정을 더 포함하는 사운드 처리 방법.
  12. 제 8 항에 있어서,
    상기 가상 현실 공간에서 사용자 캐릭터의 상기 공간 이동을 위한 키 입력을 확인하여 상기 공간 이동을 감지함을 더 포함하는 사운드 처리 방법.
  13. 가상 현실 장치에 있어서,
    가상 환경에서 제1 가상 공간에서 제2 가상 공간으로의 공간 이동이 감지하고, 상기 제2 가상 공간을 포커스 영역과 적어도 하나의 넌-포커스 영역으로 구분하는 제어부와,
    상기 제어부의 제어 신호에 의해서 감각 출력 신호를 생성하는 감각 처리부와,
    상기 제어부는, 공간 이동이 감지된 경우, 상기 감각 처리부가 상기 제1 가 상 공간의 감각 출력 신호를 점진적으로 감소시키면서 상기 제2 가상 공간의 감각 출력 신호를 점진적으로 증가시키는 과정을 포함하는 가상 현실 장치.
  14. 제13항에 있어서, 상기 감각 처리부는 사운드 처리부를 포함하고, 상기 감각 출력 신호는 사운드 신호를 포함하는 가상 현실 장치.
  15. 제14항에 있어서,상기 사운드 처리부는,
    상기 포커스 영역에 해당하는 사운드를 처리하는 포커스된 사운드 처리부;
    상기 넌-포커스 영역에 해당하는 사운드를 처리하는 넌-포커스된 사운드 처리부;
    각각의 포커스 영역 및 넌-포커스 영역에 해당하는 사운드의 크기를 조절하는 사운드 크기 조절부와; 및
    크기 조절된 포커스 영역과 넌-포커스 영역의 사운드 신호에 해당하는 신호들을 결합하고, 단일의 사운드 출력 신호를 출력하는 믹스를 포함하는 가상 현실 장치.
  16. 제13항에 있어서,
    상기 가상 환경에 해당하는 감각 데이터를 저장하고, 상기 제어부로 상기 감각 데이터를 출력하는 컴퓨터-판독 가능 매체를 더 포함하는 가상 현실 장치.
  17. 제13항에 있어서,
    가상 현실 서버로부터 상기 가상 환경에 해당하는 감각 데이터를 수신하기 위해 상기 가상 현실 서버와 통신하는 통신부를 더 포함하는 가상 현실 장치.
  18. 제13항에 있어서,
    상기 감각 처리부는 상기 포커스 영역에 해당하는 감각 출력 데이터가 상기 넌-포커스 영역에 해당하는 감각 출력 데이터와 구분되도록 처리하는 가상 현실 장치.
  19. 제18항에 있어서,
    상기 제어부는 상기 감각 처리부가 넌-포커스 영역에 해당하는 감각 신호들의 크기 보다 큰 포커스 영역에 해당하는 감각 신호들을 출력하도록 제어하는 가상 현실 장치.
  20. 제13항에 있어서, 상기 제어부는 상기 감각 처리부가 상기 제2 가상 공간에서의 넌-포커스 영역에 해당하는 감각 출력 신호가 출력되기 전에 상기 제2 가상 공간의 상기 포커스 영역에 해당하는 감각 출력 신호를 출력하도록 제어하는 가상 현실 장치.
  21. 제13항에 있어서,
    상기 감각 처리부의 상기 감각 출력 신호에 해당하는 감각 출력을 생성하는 감각 출력부를 더 포함하는 가상 현실 장치.
  22. 제13항에 있어서, 상기 포커스 영역은 미리 결정된 지점과 인접하는 상기 가상 환경에서의 영역을 포함하는 가상 현실 장치.
  23. 제22 항에 있어서, 상기 미리 결정된 지점은 사용자에 의해 사용 가능한 캐릭터에 대응하며, 상기 가상 환경의 상기 캐릭터의 시야는 상기 사용자의 시야를 포함하는 가상 현실 장치.
  24. 제23 항에 있어서, 상기 포커스 영역은 상기 캐릭터의 시야의 직접적인 전방에 위치한 상기 가상 환경 내의 영역을 포함하는 가상 현실 장치.
  25. 제24 항에 있어서, 상기 넌-포커스 영역은 상기 가상 환경 내의 상기 캐릭터의 시야의 직접적인 전방의 외측의 영역을 포함하는 것을 특징으로 하는 가상 현실 장치.
  26. 제25항에 있어서, 상기 감각 처리부는 상기 포커스 영역에 해당하는 사운드 소스들보다 더 작은 크기로 상기 넌-포커스 영역에 해당하는 사운드 소스들을 출력함을 포함하는 가상 현실 장치.
  27. 제25항에 있어서,
    상기 감각 출력 신호들은 오디오 출력 신호들이며, 상기 제어부가 공간 이동을 감지하면, 상기 감각 처리부가 상기 제1 가상 공간에 해당하는 오디오 출력 신호들의 크기를 감소시키면서 상기 제2 가상 공간에 해당하는 오디오 출력 신호들의 크기를 증가시키도록 제어함을 포함하는 가상 현실 장치.
  28. 제27 항에 있어서, 상기 제어부는 상기 감각 처리부가 상기 넌-포커스 영역의 오디오 출력 신호들을 출력하기 이전에 상기 제2 공간의 상기 포커스 영역의 오디오 출력 신호들을 출력하도록 제어함을 포함하는 가상 현실 장치.
  29. 가상 현실 시스템에서 감각 출력을 생성하는 방법에 있어서,
    적어도 제1 감각 소스를 구비하는 제1 가상 공간을 생성하는 과정;
    상기 제1 가상 공간으로부터, 적어도 제2 감각 소스를 구비하는 제2 가상 공간으로의 공간 이동을 감지하는 과정;
    상기 제2 가상 공간을 포커스 영역과 넌-포커스 영역으로 구분하는 과정; 및
    상기 제1 가상 공간의 상기 제1 감각 소스의 감각 출력의 크기를 감소시키면서 상기 제2 가상 공간의 상기 제2 감각 소스의 감각 출력의 크기를 증가시키는 과정을 포함하는 가상 현실 시스템에서 감각 출력을 생성하는 방법.
  30. 제29항에 있어서, 상기 제2 가상 공간의 상기 넌-포커스 영역에 해당하는 감각 출력을 생성하기 이전에 상기 제2 가상 공간의 상기 포커스 영역에 해당하는 감각 출력을 생성하는 과정을 더 포함하는 가상 현실 시스템에서 감각 출력을 생성하 는 방법.
  31. 제30 항에 있어서, 상기 제2 가상 공간의 상기 감각 출력은, 상기 넌-포커스 영역에 해당하는 상기 감각 출력이 상기 포커스 영역에 해당하는 상기 감각 출력 보다 더 빠른 속도로 증가하도록, 기하 급수적인 속도로 증가하는 것을 특징으로 하는 가상 현실 시스템에서 감각 출력을 생성하는 방법.
  32. 제30 항에 있어서, 상기 제2 가상 공간의 상기 감각 출력은, 상기 포커스 영역에 해당하는 상기 감각 출력이 상기 넌-포커스 영역에 해당하는 상기 감각 출력 보다 더 빠른 속도로 증가하도록, 역의 속도로 출력함을 포함하는 가상 현실 시스템에서 감각 출력을 생성하는 방법.
  33. 제29 항에 있어서, 상기 제1 및 제2 감각 소스들은 오디오 소스들을 포함하는 가상 현실 시스템에서 감각 출력을 생성하는 방법.
  34. 제29 항에 있어서,
    상기 포커스 영역 내에 복수의 감각 소스들이 존재하는 지 판단하는 과정;
    상기 포커스 영역 내에 복수의 감각 소스들이 존재하는 것으로 판단되는 경우, 상기 포커스 영역 내의 상기 복수의 감각 소스들 각각의 우선권을 결정하는 과정; 및
    각각의 우선권을 근거로 하여 상기 포커스 영역 내의 상기 복수의 감각 소스들 각각의 출력을 조절하는 과정을 더 포함하는 가상 현실 시스템에서 감각 출력을 생성하는 방법.
  35. 제34 항에 있어서,
    상기 넌-포커스 영역 내에 복수의 감각 소스들이 존재하는 지 판단하는 과정;
    상기 넌-포커스 영역 내에 복수의 감각 소스들이 존재하는 것으로 판단되는 경우, 상기 넌-포커스 영역 내의 상기 복수의 감각 소스들 각각의 우선권을 결정하는 과정; 및
    각각의 우선권을 근거로 하여 상기 넌-포커스 영역 내의 상기 복수의 감각 소스들 각각의 출력을 제어하는 과정을 더 포함하는 가상 현실 시스템에서 감각 출력을 생성하는 방법.
  36. 제29 항에 있어서, 상기 포커스 영역과 상기 넌-포커스 영역의 출력들을 통합한 단일의 감각 출력을 출력하도록, 상기 포커스 영역에 해당하는 출력과 상기 넌-포커스 영역에 해당하는 출력을 믹싱하는 과정을 더 포함하는 가상 현실 시스템에서 감각 출력을 생성하는 방법.
  37. 제29 항에 있어서, 상기 포커스 영역은 사용자에 해당하는 캐릭터의 시야의 직접적인 전방에 위치한 상기 가상 환경 내의 영역에 해당하며,
    상기 넌-포커스 영역은 상기 캐릭터의 시야의 직접적인 전방에 위치하지 않는 영역에 해당하는 것을 특징으로 하는 가상 현실 시스템에서 감각 출력을 생성하는 방법.
  38. 방법을 실행하기 위한 컴퓨터 프로그램을 저장하는 컴퓨터-판독 가능 매체에 있어서, 상기 방법은,
    적어도 제1 감각 소스를 구비하는 제1 가상 공간을 생성하는 과정;
    상기 제1 가상 공간으로부터, 적어도 제2 감각 소스를 구비하는 제2 가상 공간으로의 공간 이동을 감지하는 과정;
    상기 제2 가상 공간을 포커스 영역과 넌-포커스 영역으로 구분하는 과정; 및
    상기 제1 가상 공간의 해당하는 사운드 크기를 감소시킴과 동시에 상기 제2 가상 공간에 해당하는 사운드 크기를 증가시키는 과정을 포함하는 컴퓨터-판독 가능 매체.
  39. 제38 항에 있어서, 상기 포커스 영역은 사용자에 해당하는 캐릭터의 시야의 직접적인 전방에 위치한 상기 가상 환경 내의 영역에 해당하며,
    상기 넌-포커스 영역은 상기 캐릭터의 시야의 직접적인 전방에 위치하지 않는 영역에 해당하는 컴퓨터-판독 가능 매체.
  40. 제38 항에 있어서, 상기 컴퓨터 프로그램에 의해 실행되는 상기 방법은,
    공간 이동이 감지되면, 상기 제2 공간의 상기 넌-포커스 영역에 해당하는 데이터를 전송하기 이전에 상기 제2 가상 공간의 상기 포커스 영역에 해당하는 데이터를 전송하는 과정; 및
    상기 제2 공간의 넌-포커스 영역에 해당하는 사운드를 출력하기 이전에 상기 제2 공간의 포커스 영역에 해당하는 사운드를 출력하는 과정을 더 포함하는 컴퓨터-판독 가능 매체.
  41. 가상 현실 시스템에 있어서,
    상기 가상 현실 시스템은 가상 현실 서버와 가상 현실 장치를 포함하며, 상기 가상 현실 서버는,
    가상 환경 내의 사운드 소스들에 해당하는 데이터와 상기 가상 환경 내의 사용자에 의해 제어 가능한 캐릭터에 해당하는 데이터를 수신하는 제1 제어부;
    적어도 제1 공간과 제2 공간을 포함하는 상기 가상 환경 내의 공간들에 해당하는 데이터를 저장하는 저장부; 및
    외부 장치와 통신하는 통신부를 포함하며,
    상기 가상 현실 장치는,
    상기 가상 현실 서버의 상기 통신부와 통신하는 통신부;
    상기 가상 환경 내의 상기 공간들에 해당하는 오디오 신호들을 처리 및 생성하는 사운드 처리부; 및
    상기 가상 현실 서버로부터 사운드 소스 데이터를 수신하고, 상기 가상 환경 내에서 상기 제1 공간으로부터 상기 제2 공간으로의 상기 캐릭터의 공간 이동을 감지하며, 상기 공간 이동이 감지될 때 상기 사운드 처리부가 상기 제1 공간에 해당하는 크기를 감소시킴과 동시에 상기 제2 공간에 해당하는 크기를 증가시키도록 상기 사운드 처리부를 제어하는 제2 제어부를 포함하는 가상 현실 시스템.
  42. 제41 항에 있어서, 상기 제2 제어부는 상기 사운드 처리부가 상기 넌-포커스 영역에 해당하는 오디오 신호를 상기 포커스 영역 보다 작은 크기로 출력하도록 제 어하는 가상 현실 시스템.
  43. 제41 항에 있어서, 공간 이동이 감지되면, 상기 가상 현실 서버는 상기 제2 공간의 상기 넌-포커스 영역에 해당하는 사운드 데이터를 전송하기 이전에 상기 제2 가상 공간의 상기 포커스 영역에 해당하는 사운드 데이터를 상기 가상 현실 장치에 전송하고,
    상기 제2 제어부는 상기 사운드 처리부가 상기 제2 공간의 넌-포커스 영역에 해당하는 사운드를 출력하기 이전에 상기 제2 공간의 포커스 영역에 해당하는 사운드를 출력하도록 제어하는 가상 현실 시스템.
  44. 제41 항에 있어서, 상기 사운드 처리부는,
    상기 포커스 영역에 해당하는 사운드를 처리하는 포커스 사운드 처리부;
    상기 넌-포커스 영역에 해당하는 사운드를 처리하는 넌-포커스 사운드 처리부;
    상기 포커스 영역과 상기 넌-포커스 영역 각각에 해당하는 사운드의 크기를 조절하는 사운드 크기 조절부; 및
    크기 조절된 포커스 및 넌-포커스 오디오 신호들에 해당하는 신호들을 결합하여 하나의 오디오 출력 신호를 출력하는 믹서를 포함하는 가상 현실 시스템.
KR1020090075459A 2008-08-14 2009-08-14 가상 현실 시스템에서 사운드 처리를 수행하기 위한 장치 및 방법 KR101576294B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080080107 2008-08-14
KR20080080107 2008-08-14

Publications (2)

Publication Number Publication Date
KR20100021387A true KR20100021387A (ko) 2010-02-24
KR101576294B1 KR101576294B1 (ko) 2015-12-11

Family

ID=41681290

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090075459A KR101576294B1 (ko) 2008-08-14 2009-08-14 가상 현실 시스템에서 사운드 처리를 수행하기 위한 장치 및 방법

Country Status (2)

Country Link
US (1) US8520872B2 (ko)
KR (1) KR101576294B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190020766A (ko) * 2016-06-21 2019-03-04 노키아 테크놀로지스 오와이 매개 현실에서의 사운드 객체의 인지 향상
KR20210133601A (ko) * 2020-04-29 2021-11-08 연세대학교 산학협력단 사운드의 병행 출력을 통한 공간 이동에 따른 사운드 인터렉션 시스템 및 방법

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110055703A1 (en) * 2009-09-03 2011-03-03 Niklas Lundback Spatial Apportioning of Audio in a Large Scale Multi-User, Multi-Touch System
US8825187B1 (en) * 2011-03-15 2014-09-02 Motion Reality, Inc. Surround sound in a sensory immersive motion capture simulation environment
US9563265B2 (en) * 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
AU2014204252B2 (en) 2013-01-03 2017-12-14 Meta View, Inc. Extramissive spatial imaging digital eye glass for virtual or augmediated vision
WO2015031080A2 (en) * 2013-08-30 2015-03-05 Gleim Conferencing, Llc Multidimensional virtual learning audio programming system and method
WO2015031074A2 (en) * 2013-08-30 2015-03-05 Gleim Conferencing, Llc Multidimensional virtual learning system and method
WO2016001909A1 (en) * 2014-07-03 2016-01-07 Imagine Mobile Augmented Reality Ltd Audiovisual surround augmented reality (asar)
US9922518B2 (en) 2014-12-11 2018-03-20 Elwha Llc Notification of incoming projectiles
US9741215B2 (en) 2014-12-11 2017-08-22 Elwha Llc Wearable haptic feedback devices and methods of fabricating wearable haptic feedback devices
US10449445B2 (en) 2014-12-11 2019-10-22 Elwha Llc Feedback for enhanced situational awareness
US10166466B2 (en) * 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US9338404B1 (en) * 2014-12-23 2016-05-10 Verizon Patent And Licensing Inc. Communication in a virtual reality environment
AU2015397085B2 (en) 2015-06-03 2018-08-09 Razer (Asia Pacific) Pte. Ltd. Headset devices and methods for controlling a headset device
US10373392B2 (en) 2015-08-26 2019-08-06 Microsoft Technology Licensing, Llc Transitioning views of a virtual model
JP6017664B1 (ja) * 2015-12-28 2016-11-02 株式会社コロプラ 情報処理方法及び情報処理プログラム
US10440496B2 (en) 2016-04-12 2019-10-08 Koninklijke Philips N.V. Spatial audio processing emphasizing sound sources close to a focal distance
CN105879390A (zh) * 2016-04-26 2016-08-24 乐视控股（北京）有限公司 虚拟现实游戏处理方法及设备
CN105954007B (zh) * 2016-05-18 2018-10-02 杭州映墨科技有限公司 用于虚拟现实头盔加速度运动的延时测试***和方法
EP3264259A1 (en) 2016-06-30 2018-01-03 Nokia Technologies Oy Audio volume handling
KR20180041464A (ko) * 2016-10-14 2018-04-24 주식회사 디이씨코리아 가상현실 게임의 사운드 처리 방법 및 어플리케이션
EP3370133B1 (en) * 2017-03-02 2023-10-18 Nokia Technologies Oy Audio processing
US10154360B2 (en) 2017-05-08 2018-12-11 Microsoft Technology Licensing, Llc Method and system of improving detection of environmental sounds in an immersive environment
CN116193213A (zh) * 2017-10-12 2023-05-30 弗劳恩霍夫应用研究促进协会 用于虚拟现实应用的音频传递优化
US10410432B2 (en) * 2017-10-27 2019-09-10 International Business Machines Corporation Incorporating external sounds in a virtual reality environment
EP3506080B1 (en) * 2017-12-27 2023-06-07 Nokia Technologies Oy Audio scene processing
EP3506081A1 (en) * 2017-12-27 2019-07-03 Nokia Technologies Oy Audio copy-paste function
EP3506082B1 (en) 2017-12-27 2022-12-28 Nokia Technologies Oy Audio rendering for augmented reality
GB2571572A (en) * 2018-03-02 2019-09-04 Nokia Technologies Oy Audio processing
GB2591066A (en) * 2018-08-24 2021-07-21 Nokia Technologies Oy Spatial audio processing
US10871939B2 (en) * 2018-11-07 2020-12-22 Nvidia Corporation Method and system for immersive virtual reality (VR) streaming with reduced audio latency
KR20210123198A (ko) * 2020-04-02 2021-10-13 주식회사 제이렙 증강 현실 기반의 전기 음향과 건축 음향 통합 시뮬레이션 장치
US11095857B1 (en) 2020-10-20 2021-08-17 Katmai Tech Holdings LLC Presenter mode in a three-dimensional virtual conference space, and applications thereof
US11070768B1 (en) 2020-10-20 2021-07-20 Katmai Tech Holdings LLC Volume areas in a three-dimensional virtual conference space, and applications thereof
US11076128B1 (en) 2020-10-20 2021-07-27 Katmai Tech Holdings LLC Determining video stream quality based on relative position in a virtual space, and applications thereof
US10979672B1 (en) 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
US11457178B2 (en) 2020-10-20 2022-09-27 Katmai Tech Inc. Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof
US10952006B1 (en) 2020-10-20 2021-03-16 Katmai Tech Holdings LLC Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof
US11184362B1 (en) 2021-05-06 2021-11-23 Katmai Tech Holdings LLC Securing private audio in a virtual conference, and applications thereof
US11743430B2 (en) 2021-05-06 2023-08-29 Katmai Tech Inc. Providing awareness of who can hear audio in a virtual conference, and applications thereof
US20230092103A1 (en) * 2021-09-21 2023-03-23 Meta Platforms Technologies, Llc Content linking for artificial reality environments
US20230086248A1 (en) * 2021-09-21 2023-03-23 Meta Platforms Technologies, Llc Visual navigation elements for artificial reality environments
US12009938B2 (en) 2022-07-20 2024-06-11 Katmai Tech Inc. Access control in zones
US11651108B1 (en) 2022-07-20 2023-05-16 Katmai Tech Inc. Time access control in virtual environment application
US11928774B2 (en) 2022-07-20 2024-03-12 Katmai Tech Inc. Multi-screen presentation in a virtual videoconferencing environment
US11876630B1 (en) 2022-07-20 2024-01-16 Katmai Tech Inc. Architecture to control zones
US11700354B1 (en) 2022-07-21 2023-07-11 Katmai Tech Inc. Resituating avatars in a virtual environment
US11741664B1 (en) 2022-07-21 2023-08-29 Katmai Tech Inc. Resituating virtual cameras and avatars in a virtual environment
US11593989B1 (en) 2022-07-28 2023-02-28 Katmai Tech Inc. Efficient shadows for alpha-mapped models
US11704864B1 (en) 2022-07-28 2023-07-18 Katmai Tech Inc. Static rendering for a combination of background and foreground objects
US11776203B1 (en) 2022-07-28 2023-10-03 Katmai Tech Inc. Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars
US11711494B1 (en) 2022-07-28 2023-07-25 Katmai Tech Inc. Automatic instancing for efficient rendering of three-dimensional virtual environment
US11562531B1 (en) 2022-07-28 2023-01-24 Katmai Tech Inc. Cascading shadow maps in areas of a three-dimensional environment
US11682164B1 (en) 2022-07-28 2023-06-20 Katmai Tech Inc. Sampling shadow maps at an offset
US11956571B2 (en) 2022-07-28 2024-04-09 Katmai Tech Inc. Scene freezing and unfreezing
US11748939B1 (en) 2022-09-13 2023-09-05 Katmai Tech Inc. Selecting a point to navigate video avatars in a three-dimensional environment

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9726338D0 (en) * 1997-12-13 1998-02-11 Central Research Lab Ltd A method of processing an audio signal
JP2003078999A (ja) 2001-08-31 2003-03-14 Tama Tlo Kk ３次元移動音生成方法とその装置
US7756275B2 (en) 2004-09-16 2010-07-13 1602 Group Llc Dynamically controlled digital audio signal processor
JP2006094315A (ja) 2004-09-27 2006-04-06 Hitachi Ltd 立体音響再生システム
JP3949701B1 (ja) * 2006-03-27 2007-07-25 株式会社コナミデジタルエンタテインメント 音声処理装置、音声処理方法、ならびに、プログラム
KR101408921B1 (ko) 2008-02-04 2014-06-17 삼성전자주식회사 가상 현실 시스템의 음향 처리 장치 및 방법
CN102318373B (zh) * 2009-03-26 2014-09-10 松下电器产业株式会社 解码装置、编解码装置及解码方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190020766A (ko) * 2016-06-21 2019-03-04 노키아 테크놀로지스 오와이 매개 현실에서의 사운드 객체의 인지 향상
US10764705B2 (en) 2016-06-21 2020-09-01 Nokia Technologies Oy Perception of sound objects in mediated reality
KR20210133601A (ko) * 2020-04-29 2021-11-08 연세대학교 산학협력단 사운드의 병행 출력을 통한 공간 이동에 따른 사운드 인터렉션 시스템 및 방법

Also Published As

Publication number Publication date
US20100040238A1 (en) 2010-02-18
KR101576294B1 (ko) 2015-12-11
US8520872B2 (en) 2013-08-27

Similar Documents

Publication Publication Date Title
KR101576294B1 (ko) 가상 현실 시스템에서 사운드 처리를 수행하기 위한 장치 및 방법
US10911882B2 (en) Methods and systems for generating spatialized audio
JP6961007B2 (ja) 複合現実デバイスにおける仮想および実オブジェクトの記録
US10304446B2 (en) Self calibration for smartphone goggles
US10848894B2 (en) Controlling audio in multi-viewpoint omnidirectional content
US9724608B2 (en) Computer-readable storage medium storing information processing program, information processing device, information processing system, and information processing method
US9744459B2 (en) Computer-readable storage medium storing information processing program, information processing device, information processing system, and information processing method
JP2017500989A (ja) 可変音声パラメータ設定
CN112602053B (zh) 音频装置和音频处理的方法
JP2014094160A (ja) ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム
CN111492342B (zh) 音频场景处理
CN111164990B (zh) 基于级别的音频对象交互
JP6757420B2 (ja) 音声制御装置、音声制御方法及びプログラム
JP2019208185A (ja) 情報処理装置および音発生方法
JP2013012811A (ja) 近接通過音発生装置
KR20210056414A (ko) 혼합 현실 환경들에서 오디오-가능 접속된 디바이스들을 제어하기 위한 시스템
CN112752190A (zh) 音频调整方法以及音频调整装置
US11641459B2 (en) Viewing system, distribution apparatus, viewing apparatus, and recording medium
EP4270155A1 (en) Virtual content
WO2024060959A1 (zh) 虚拟环境中的观影画面调整方法、装置、存储介质及设备
EP4210355A1 (en) 3d spatialisation of voice chat
EP4358084A1 (en) Audio cancellation system and method
CN117476014A (zh) 音频处理方法、装置、存储介质及设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191128

Year of fee payment: 5