KR102481528B1 - 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템 - Google Patents
가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템 Download PDFInfo
- Publication number
- KR102481528B1 KR102481528B1 KR1020200132747A KR20200132747A KR102481528B1 KR 102481528 B1 KR102481528 B1 KR 102481528B1 KR 1020200132747 A KR1020200132747 A KR 1020200132747A KR 20200132747 A KR20200132747 A KR 20200132747A KR 102481528 B1 KR102481528 B1 KR 102481528B1
- Authority
- KR
- South Korea
- Prior art keywords
- screen
- game
- virtual camera
- game user
- viewpoint
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/85—Providing additional services to players
- A63F13/86—Watching games played by other players
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4781—Games
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템이 개시된다. 개시되는 일 실시예에 따른 가상 현실 게임 방송 서비스 방법은, 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 가상 현실 게임의 진행에 따른 게임 유저의 움직임을 센싱한 센싱 데이터를 획득하는 동작, 센싱 데이터에 기반하여 게임 유저의 시점에서 바라본 게임 유저 시점 화면을 획득하는 동작, 가상 현실 게임 내에 마련되는 가상 카메라의 시점에서 바라본 가상 카메라 시점 화면을 획득하는 동작, 및 게임 유저 시점 화면 대신 가상 카메라 시점 화면을 방송 화면으로 송신하는 동작을 포함한다.
Description
개시되는 실시예는 가상 현실 게임 방송 서비스 기술과 관련된다.
최근 게임은 게이밍 디바이스 내에서만 실행되는 로컬 게임에서 네트워크를 통해 다른 게이밍 디바이스나 서버와의 연동을 통해 실행되는 온라인 게임 등 다양한 방식으로 진화하고 있다. 또한, 하드웨어 성능 및 네트워크 기술의 향상에 따라 개인용 컴퓨터나 게임 콘솔뿐 아니라 스마트폰(Smart Phone), 타블렛(Tablet) PC 등과 같은 모바일 장치에서도 게임이 실행 가능하도록 진화하고 있다.
한편, 게임 유저가 플레이 하고 있는 게임을 방송을 통해 송출하여 시청자들이 시청하도록 하는 게임 방송도 증가하고 있는 추세이다. 여기서, VR(Virtual Reality) 게임 방송의 경우, 게임 유저가 헤드 마운트 디스플레이를 장착한 상태에서 플레이를 진행하기 때문에, 게임 유저의 시선 변화에 따라 게임 화면의 이동 또는 흔들림이 발생하게 되며, 그로 인해 방송 시청 시 혼란스럽고 어지러움을 느끼게 되는 문제점이 있다.
개시되는 실시예는 게임 유저의 시선 이동 변화에 따른 게임 화면의 흔들림을 줄일 수 있는 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템을 제공하기 위한 것이다.
개시되는 일 실시예에 따른 가상 현실 게임 방송 서비스 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 가상 현실 게임의 진행에 따른 게임 유저의 움직임을 센싱한 센싱 데이터를 획득하는 동작; 상기 센싱 데이터에 기반하여 상기 게임 유저의 시점에서 바라본 게임 유저 시점 화면을 획득하는 동작; 상기 가상 현실 게임 내에 마련되는 가상 카메라의 시점에서 바라본 가상 카메라 시점 화면을 획득하는 동작; 및 상기 게임 유저 시점 화면 대신 상기 가상 카메라 시점 화면을 방송 화면으로 송신하는 동작을 포함한다.
상기 가상 카메라는, 상기 가상 현실 게임 내에서 상기 게임 유저의 위치에서 게임을 바라보도록 마련된 것일 수 있다.
상기 방송 화면으로 송신하는 동작은, 상기 게임 유저 시점 화면의 이동 변위에 따라 상기 가상 카메라 시점 화면의 이동 여부를 결정하는 동작을 포함할 수 있다.
상기 가상 카메라 시점 화면은, 상기 게임 유저 시점 화면 보다 크게 마련될 수 있다.
상기 방송 화면으로 송신하는 동작은, 상기 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우 상기 가상 카메라 시점 화면을 이동시키지 않고 송신하는 동작을 포함할 수 있다.
상기 게임 유저 시점 화면의 이동 변위가 상기 가상 카메라 시점 화면 내에서 이루어진 경우, 상기 기 설정된 임계치 미만인 것으로 판단할 수 있다.
상기 방송 화면으로 송신하는 동작은, 상기 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상인 경우 상기 가상 카메라 시점 화면을 상기 게임 유저 시점 화면의 이동 변위에 대응하여 이동시키고 송신하는 동작을 포함할 수 있다.
상기 게임 유저 시점 화면의 이동 변위가 상기 가상 카메라 시점 화면을 벗어난 경우, 상기 기 설정된 임계치 이상인 것으로 판단할 수 있다.
상기 가상 카메라 시점 화면의 이동 여부를 결정하는 동작은, 상기 게임 유저 시점 화면의 각 프레임 별로 특징점을 추출하는 동작; 상기 게임 유저 시점 화면의 각 프레임 간 특징점 이동 변위를 확인하는 동작; 및 상기 특징점 이동 변위에 따라 상기 가상 카메라 시점 화면의 이동 여부를 결정하는 동작을 포함할 수 있다.
상기 가상 카메라 시점 화면의 이동 여부를 결정하는 동작은, 상기 특징점 이동 변위가 기 설정된 임계치 미만인 경우, 상기 가상 카메라 시점 화면을 이동시키지 않고 송신하는 동작을 포함할 수 있다.
상기 가상 카메라 시점 화면의 이동 여부를 결정하는 동작은, 상기 특징점 이동 변위가 기 설정된 임계치 이상인 경우, 상기 가상 카메라 시점 화면을 상기 특징점 이동 방향과 반대 방향으로 상기 특징점의 이동 변위에 대응하여 이동시키고 송신하는 동작을 포함할 수 있다.
상기 가상 현실 게임 방송 서비스 방법은, 상기 가상 현실 게임 내 상기 게임 유저의 시선 방향을 확인하여 시선 인디케이터를 생성하는 동작; 및 상기 시선 인디케이터를 상기 가상 카메라 시점 화면에 표시하는 동작을 더 포함할 수 있다.
개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 가상 현실 게임의 진행에 따른 게임 유저의 움직임을 센싱하여 센싱 데이터를 생성하는 센서부; 상기 센싱 데이터에 기반하여 상기 게임 유저의 시점에서 바라본 게임 유저 시점 화면을 생성하는 제1화면 제공부; 상기 가상 현실 게임 내에 마련되는 가상 카메라의 시점에서 바라본 가상 카메라 시점 화면을 생성하는 제2 화면 제공부; 및 상기 게임 유저 시점 화면 대신 상기 가상 카메라 시점 화면을 방송 화면으로 송신하는 화면 송신부를 포함한다.
상기 가상 카메라는, 상기 가상 현실 게임 내에서 상기 게임 유저의 위치에서 게임을 바라보도록 마련된 것일 수 있다.
상기 화면 송신부는, 상기 게임 유저 시점 화면의 이동 변위에 따라 상기 가상 카메라 시점 화면의 이동 여부를 결정하여 송신할 수 있다.
상기 가상 카메라 시점 화면은, 상기 게임 유저 시점 화면 보다 크게 마련될 수 있다.
상기 화면 송신부는, 상기 게임 유저 시점 화면의 이동 변위가 상기 가상 카메라 시점 화면 내에서 이루어진 경우, 상기 가상 카메라 시점 화면을 이동시키지 않고 송신할 수 있다.
상기 화면 송신부는, 상기 게임 유저 시점 화면의 이동 변위가 상기 가상 카메라 시점 화면을 벗어난 경우, 상기 가상 카메라 시점 화면을 상기 게임 유저 시점 화면의 이동 변위에 대응하여 이동시키고 송신할 수 있다.
상기 화면 송신부는, 상기 게임 유저 시점 화면의 각 프레임 별로 특징점을 추출하고, 상기 게임 유저 시점 화면의 각 프레임 간 특징점 이동 변위를 확인하며, 상기 특징점 이동 변위에 따라 상기 가상 카메라 시점 화면의 이동 여부를 결정할 수 있다.
상기 화면 송신부는, 상기 특징점 이동 변위가 기 설정된 임계치 미만인 경우, 상기 가상 카메라 시점 화면을 이동시키지 않고 송신할 수 있다.
상기 화면 송신부는, 상기 특징점 이동 변위가 기 설정된 임계치 이상인 경우, 상기 가상 카메라 시점 화면을 상기 특징점 이동 방향과 반대 방향으로 상기 특징점의 이동 변위에 대응하여 이동시키고 송신할 수 있다.
상기 컴퓨팅 장치는, 상기 가상 현실 게임 내 상기 게임 유저의 시선 방향을 확인하여 시선 인디케이터를 생성하고, 상기 시선 인디케이터를 상기 가상 카메라 시점 화면에 표시하는 시선 인디케이터 생성부를 더 포함할 수 있다.
개시되는 일 실시예에 따른 가상 현실 게임 방송 서비스 시스템은, 사용자의 두부에 착용되는 헤드 마운트 디스플레이; 상기 헤드 마운트 디스플레이를 통해 가상 현실 게임을 제공하며, 상기 가상 현실 게임의 진행에 따른 게임 유저의 움직임을 센싱하여 상기 게임 유저의 시점에서 바라본 게임 유저 시점 화면을 상기 게임 유저에게 제공하고, 상기 가상 현실 게임 내에 마련되는 가상 카메라의 시점에서 바라본 가상 카메라 시점 화면을 생성하며, 상기 게임 유저 시점 화면 대신 상기 가상 카메라 시점 화면을 방송 화면으로 송신하는 게이밍 디바이스; 및 상기 게이밍 디바이스로부터 상기 가상 카메라 시점 화면을 수신하고 시청자 단말로 송신하는 방송 서버를 포함한다.
개시되는 실시예에 의하면, 게임 유저 시점 화면과는 별도의 가상 카메라 시점 화면을 생성하고, 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만이면 가상 카메라 시점 화면을 그대로 송신하고, 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상이면 가상 카메라 시점 화면을 그에 대응하는 만큼 이동시켜 송신함으로써, 게임 방송을 시청하는 시청자들이 게임 화면의 흔들림으로 인해 느끼는 혼란 또는 어지러움을 줄일 수 있으며, 동시에 게임 유저의 시선을 따라 가면서 게임 화면을 볼 수 있게 된다.
그리고, 가상 카메라 시점 화면이라는 게임 유저 시점 화면과는 별도의 게임 화면을 이용함으로써, 게임 유저 시점 화면에 작은 흔들림이 발생하여도 가상 카메라 시점 화면이 그대로 시청자에게 송출되기 때문에, 시청자들이 보는 게임 화면(즉, 가상 카메라 시점 화면)에서 작은 흔들림이 발생하는 것도 줄일 수 있게 된다.
또한, 가상 카메라 시점 화면에 시선 인디케이터를 표시함으로써, 시청자들이 게임 내에서 게임 유저의 시선 방향을 확인할 수 있으며, 그로 인해 가상 현실 게임 방송에 대한 몰입감을 높일 수 있게 된다.
도 1은 예시적인 일 실시예에 따른 가상 현실 게임 방송 서비스 시스템의 구성을 나타낸 도면
도 2는 개시되는 일 실시예에 따른 게이밍 디바이스의 구성을 나타낸 블록도
도 3은 개시되는 일 실시예에서 게임 유저 시점 화면과 가상 카메라 시점 화면을 비교한 도면
도 4는 개시되는 일 실시예에서 가상 카메라 시점 화면에 시선 인디케이터가 표시된 상태를 개략적으로 나타낸 도면
도 5는 개시되는 일 실시예에서 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우를 나타낸 도면
도 6은 개시되는 일 실시예에서 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상인 경우를 나타낸 도면
도 7은 개시되는 일 실시예에서 게임 유저 시점 화면의 프레임 간 특징점 이동 변위를 나타낸 도면
도 8은 개시되는 일 실시예에서 가상 카메라 시점 화면의 프레임을 이동하여 보정하는 상태를 나타낸 도면
도 9는 개시되는 다른 실시예에 따른 가상 현실 게임 방송 서비스 시스템의 구성을 나타낸 도면
도 10은 개시되는 실시예에 따른 방송 서버의 구성을 나타낸 블록도
도 11은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 개시되는 일 실시예에 따른 게이밍 디바이스의 구성을 나타낸 블록도
도 3은 개시되는 일 실시예에서 게임 유저 시점 화면과 가상 카메라 시점 화면을 비교한 도면
도 4는 개시되는 일 실시예에서 가상 카메라 시점 화면에 시선 인디케이터가 표시된 상태를 개략적으로 나타낸 도면
도 5는 개시되는 일 실시예에서 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우를 나타낸 도면
도 6은 개시되는 일 실시예에서 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상인 경우를 나타낸 도면
도 7은 개시되는 일 실시예에서 게임 유저 시점 화면의 프레임 간 특징점 이동 변위를 나타낸 도면
도 8은 개시되는 일 실시예에서 가상 카메라 시점 화면의 프레임을 이동하여 보정하는 상태를 나타낸 도면
도 9는 개시되는 다른 실시예에 따른 가상 현실 게임 방송 서비스 시스템의 구성을 나타낸 도면
도 10은 개시되는 실시예에 따른 방송 서버의 구성을 나타낸 블록도
도 11은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 이에 제한되지 않는다.
상세한 설명에서 사용되는 용어는 단지 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 명세서에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하에서 "게임"이란, 한 명 또는 그 이상의 게이머들이 게이밍 디바이스에 탑재되거나 연결된 입력장치를 이용하여 즐길 수 있는 소프트웨어를 의미한다. 통상 플레이어 캐릭터를 직접 조작하거나, 게임 내 오브젝트의 움직임을 조작하는 등의 방식으로 진행되며, 롤플레잉, 어드벤쳐, 아케이드 등으로 장르가 구분되기도 한다.
이하에서 "게이밍 디바이스"란 게임 소프트웨어를 실행하되 입력장치를 통한 사용자의 입력에 따라 연산을 수행하며, 출력장치를 통해 결과를 출력하는 하드웨어를 의미한다. 예컨대, 개인용 컴퓨터(Personal Computer), 랩탑(Laptop Computer), 게임 콘솔(Game Console), 스마트폰(Smart Phone), 타블렛(Tablet) PC, 스마트 밴드(Smart Band)나 스마트 와치(Smart Watch) 등의 웨어러블 디바이스(Wearable Device)의 형태일 수 있다. 이외에도 상기 정의를 만족하는 하드웨어라면 게이밍 디바이스에 속하는 것으로 해석된다.
이하에서 "온라인 게임"이란, 게임의 플레이를 위하여 네트워크를 경유하여야 하는 게임을 의미한다. 통상 원격지의 둘 이상의 게이밍 디바이스가 네트워크를 통해 서로 연결되거나, 서버를 통해 동기화되어 즐기는 게임을 의미한다. 상기의 정의를 만족하는 것이라면 게임을 실행하는 게이밍 디바이스의 형태에 제한을 두지 아니한다. 개인용 컴퓨터나 게임 콘솔에서 실행되는 게임뿐만 아니라, 스마트폰과 같은 모바일에서 실행되는 게임, 또는 서로 다른 복수개의 게이밍 디바이스(서로 다른 종류의 게이밍 디바이스도 포함한다)가 연동되거나 클라우드에서 실행되는 게임 또한 상기 정의를 만족하는 것이라면 온라인 게임에 속하는 것으로 해석된다.
이하에서 "입력장치(Input Device)"란, 게이밍 디바이스에 데이터를 입력하기 위한 장치를 의미한다. 예컨대, 조이스틱, 마우스, 키보드, 터치스크린, 하드웨어 버튼 또는 스티어링 휠, 악기, 총, 장갑, 발판 등의 형태로 제조된 게임 조작 전용 입력장치를 들 수 있다. 이외에도 게이밍 디바이스에 탑재되거나 연동되는 각종 센서(온도 센서, 적외선 센서, 모션센서, 자이로센서, 가속도 센서, 중력 센서 등)나 글로벌 포지셔닝 시스템(GPS; Global Positioning System), 실내 위치 확인 시스템(Indoor Positioning System) 등의 위치 확인 수단 또한 입력장치의 일 예로 들 수 있다.
도 1은 예시적인 일 실시예에 따른 가상 현실 게임 방송 서비스 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 가상 현실 게임 방송 서비스 시스템(100)은 게이밍 디바이스(102), 방송 서버(104), 및 시청자 단말(106)을 포함할 수 있다. 게이밍 디바이스(102) 및 시청자 단말(106)은 각각 통신 네트워크(150)를 통해 방송 서버(104)와 통신 가능하게 연결된다.
몇몇 실시예들에서, 통신 네트워크(150)는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wide area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.
게이밍 디바이스(102)에는 하나 이상의 게임 애플리케이션이 설치될 수 있다. 여기서, 게임 애플리케이션은 게임 유저에게 게임 서비스를 제공하기 위해 게이밍 디바이스(102)에 설치된 프로그램을 의미할 수 있다. 예시적인 실시예에서, 게이밍 디바이스(102)는 헤드 마운트 디스플레이(108)에 장착될 수 있다. 그러나, 이에 한정되는 것은 아니며 게이밍 디바이스(102)와 헤드 마운트 디스플레이(108)는 일체로 형성될 수도 있다. 또한, 게이밍 디바이스(102)는 헤드 마운트 디스플레이(108)와 무선, 유선, 및 유무선 등을 통해 통신 가능하게 연결될 수 있다.
게이밍 디바이스(102)는 헤드 마운트 디스플레이(108)를 통해 가상 현실 게임을 제공할 수 있다. 헤드 마운트 디스플레이(108)는 게임 유저의 머리 부분에 착용될 수 있다. 게이밍 디바이스(102)는 헤드 마운트 디스플레이(108)를 착용한 게임 유저의 움직임에 따라 게임 유저(즉, 플레이어)의 시점에서 게임 화면을 제공할 수 있다.
도 2는 개시되는 일 실시예에 따른 게이밍 디바이스(102)의 구성을 나타낸 블록도이다.
도 2를 참조하면, 게이밍 디바이스(102)는 게임 실행부(111), 센서부(113), 제1 화면 제공부(115), 제2 화면 제공부(117), 시선 인디케이터 생성부(119), 및 화면 송신부(121)를 포함할 수 있다.
일 실시예에서, 게임 실행부(111), 센서부(113), 제1 화면 제공부(115), 제2 화면 제공부(117), 시선 인디케이터 생성부(119), 및 화면 송신부(121)는 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.
게임 실행부(111)는 게임 유저의 명령에 따라 게임 애플리케이션을 실행시킬 수 있다. 게임 실행부(111)는 게임이 시작된 후 게임 유저로부터 입력되는 명령에 따라 게임을 진행시킬 수 있다. 게임 유저는 입력장치를 통해 게임 진행을 위한 명령을 입력할 수 있다.
센서부(113)는 게임 유저의 위치 및 자세 중 하나 이상을 센싱할 수 있다. 즉, 센서부(113)는 헤드 마운트 디스플레이(108)를 착용한 게임 유저의 움직임을 센싱할 수 있다. 게임 유저는 가상 현실 게임을 진행하면서 게임 상황에 따라 머리를 돌리거나 고개를 숙이거나 팔을 움직이는 등의 동작을 하게 되는데, 센서부(113)는 게임 유저의 동작에 따라 변화하는 게임 유저의 위치 및 자세 중 하나 이상을 센싱할 수 있다. 예시적인 실시예에서, 센서부(113)는 자이로 센서, 가속도 센서, 및 중력 센서 등을 포함할 수 있다.
제1 화면 제공부(115)는 게임 유저의 시점에서 바라본 게임 화면을 제공할 수 있다. 제1 화면 제공부(115)는 센서부(113)에서 센싱한 센싱 데이터(즉, 게임 유저의 위치 및 자세 중 하나 이상에 대한 센싱 값)에 기반하여 게임 유저의 시점에서 바라본 게임 화면을 제공할 수 있다. 이하에서, 게임 유저의 시점에서 바라본 게임 화면을 "게임 유저 시점 화면"이라 지칭할 수 있다.
게임 유저 시점 화면은 게임 진행 시 게임 유저의 위치 및 자세 변화 등이 그대로 반영된 게임 화면이기 때문에, 게임 유저의 위치 및 자세 변화에 따른 움직임 또는 흔들림이 발생하게 된다. 이때, 게임 유저 시점 화면은 게임 유저의 움직임에 따라 게임 유저 시점 화면의 중심을 기준으로 이동 변화가 생기게 된다.
제2 화면 제공부(117)는 가상 카메라의 시점에서 바라본 게임 화면을 제공할 수 있다. 가상 카메라는 게임 내에 가상으로 마련되는 것으로, 게임 유저의 고정된 위치에서 게임을 바라보도록 마련될 수 있다. 가상 카메라의 시점에서 바라본 게임 화면은 게임 유저 시점 화면과는 별도의 게임 화면으로, 시청자 단말(106)로 전송하기 위한 게임 화면일 수 있다.
즉, 가상 카메라의 시점에서 바라본 게임 화면은 시청자에게 전송하기 위한 방송용 게임 화면일 수 있다. 이하에서, 가상 카메라의 시점에서 바라본 게임 화면을 "가상 카메라 시점 화면"이라 지칭할 수 있다. 가상 카메라 시점 화면은 가상 카메라의 고정된 시점에서 게임을 바라본 화면으로, 게임 유저의 위치 및 자세 변화에 영향을 받지 않게 된다.
여기서, 가상 카메라 시점 화면은 게임 유저 시점 화면보다 크게 마련될 수 있다. 도 3은 개시되는 일 실시예에서 게임 유저 시점 화면과 가상 카메라 시점 화면을 비교한 도면이다. 도 3을 참조하면, 게임 유저 시점 화면(S1) 보다 가상 카메라 시점 화면(S2)이 크게 마련된 것을 볼 수 있다.
예시적인 실시예에서, 게임 유저 시점 화면(S1)과 가상 카메라 시점 화면(S2)의 중심이 일치한 상태에서, 가상 카메라 시점 화면(S2)은 게임 유저 시점 화면(S1)의 각 테두리에서 외측으로 연장된 면적을 가지도록 마련될 수 있다. 그러나, 이에 한정되는 것은 아니며 가상 카메라 시점 화면(S2)은 게임 유저 시점 화면(S1)과 동일한 크기를 가질 수도 있다.
시선 인디케이터 생성부(119)는 게임 내 게임 유저의 시선 방향에 대한 인디케이터(즉, 시선 인디케이터)를 생성할 수 있다. 예시적인 실시예에서, 시선 인디케이터 생성부(119)는 센서부(113)에서 센싱한 센싱 데이터에 기반하여 게임 내 게임 유저의 시선 방향을 확인할 수 있다. 예를 들어, 시선 인디케이터 생성부(119)는 센싱 데이터를 통해 게임 유저의 머리 방향을 확인하여 게임 내 게임 유저의 시선 방향을 확인할 수 있다. 그러나, 이에 한정되는 것은 아니며 시선 인디케이터 생성부(119)는 별도의 아이 트래커(Eye Tracker)와 같은 장비를 통해 게임 내 게임 유저의 시선 방향을 확인할 수도 있다.
시선 인디케이터 생성부(119)는 게임 내 게임 유저의 시선 방향을 확인한 후, 게임 유저의 시선 방향을 나타내기 위한 시선 인디케이터를 생성할 수 있다. 예시적인 실시예에서, 시선 인디케이터 생성부(119)는 시선 인디케이터를 가상 카메라 시점 화면에 렌더링하여 표시할 수 있다.
도 4는 개시되는 일 실시예에서 가상 카메라 시점 화면에 시선 인디케이터가 표시된 상태를 개략적으로 나타낸 도면이다. 도 4를 참조하면, 시선 인디케이터(I)는 가상 카메라 시점 화면(S2)에 렌더링 되어 표시될 수 있다.
여기서, 시선 인디케이터(I)는 3D로 구현될 수 있다. 즉, 시선 인디케이터(I)는 게임 유저의 시선 방향을 3축 방향(즉, x축, y축, 및 z축)으로 나타내도록 3D로 구현될 수 있다.
가상 카메라 시점 화면(S2)은 시청자에게 제공되는 게임 화면이기 때문에, 가상 카메라 시점 화면(S2)에 시선 인디케이터(I)를 표시함으로써, 시청자들이 게임 내에서 게임 유저의 시선 방향을 확인할 수 있으며, 그로 인해 가상 현실 게임 방송에 대한 몰입감을 높일 수 있게 된다.
화면 송신부(121)는 가상 카메라 시점 화면을 방송 서버(104)로 송신할 수 있다. 즉, 개시되는 실시예에서는, 게임 유저 시점 화면을 방송 서버(104)로 송신하는 것이 아니라 가상 카메라 시점 화면을 방송 서버(104)로 송신하게 된다. 이때, 화면 송신부(121)는 게임 유저 시점 화면(S1)의 이동 변위에 따라 가상 카메라 시점 화면을 그대로 송신(즉, 이동 없이 송신)하거나 이동시켜 송신할 수 있다.
구체적으로, 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우, 화면 송신부(121)는 가상 카메라 시점 화면을 게임 유저 시점 화면의 이동에 따라 보정하지 않고(즉, 이동시키지 않고) 방송 서버(104)로 송신할 수 있다.
즉, 게임 유저의 움직임에 의해 게임 유저 시점 화면이 이동을 하였는데, 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우(예를 들어, 게임 유저의 움직임이 눈 깜박임 또는 시선 이동 등과 같은 작거나 미세한 움직임이어서 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우), 화면 송신부(121)는 가상 카메라 시점 화면을 게임 유저 시점 화면의 이동에 따라 보정하지 않고 방송 서버(104)로 송신할 수 있다.
도 5는 개시되는 일 실시예에서 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우를 나타낸 도면이다. 도 5를 참조하면, 게임 유저 시점 화면(S1)의 이동 변위(d)가 기 설정된 임계치 미만인 경우는, 게임 유저 시점 화면(S1)의 이동 변위가 가상 카메라 시점 화면(S2) 내에서 이루어지는 것으로 설정될 수 있다.
예를 들어, 게임 유저 시점 화면(S1)과 가상 카메라 시점 화면(S2)의 중심이 일치한 상태에서, 게임 유저 시점 화면(S1)의 이동 변위(d)가 가상 카메라 시점 화면(S2) 내에 있으면, 화면 송신부(121)는 게임 유저 시점 화면(S1)의 이동 변위가 기 설정된 임계치 미만인 것으로 판단할 수 있다. 그러나, 이에 한정되는 것은 아니며, 게임 유저 시점 화면(S1)의 이동 변위(d)가 가상 카메라 시점 화면(S2)을 벗어나더라도 미세하게 벗어난 경우라면 게임 유저 시점 화면(S1)의 이동 변위가 기 설정된 임계치 미만인 것으로 판단할 수 있다.
또한, 화면 송신부(121)는 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상인 경우, 가상 카메라 시점 화면을 게임 유저 시점 화면의 이동에 따라 보정하여(즉, 이동하여) 방송 서버(104)로 송신할 수 있다. 이때, 화면 송신부(121)는 게임 유저 시점 화면의 이동 변위에 대응하여 가상 카메라 시점 화면을 이동시킬 수 있다. 즉, 화면 송신부(121)는 게임 유저 시점 화면의 이동 변위만큼 가상 카메라 시점 화면을 이동시킬 수 있다.
도 6은 개시되는 일 실시예에서 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상인 경우를 나타낸 도면이다. 도 6을 참조하면, 게임 유저 시점 화면(S1)의 이동 변위(d)가 기 설정된 임계치 이상인 경우는, 게임 유저 시점 화면(S1)의 이동 변위가 가상 카메라 시점 화면(S2)을 벗어나는 것으로 설정될 수 있다.
예를 들어, 게임 유저 시점 화면(S1)과 가상 카메라 시점 화면(S2)의 중심이 일치한 상태에서, 게임 유저 시점 화면(S1)의 이동 변위(d)가 가상 카메라 시점 화면(S2)을 벗어나면, 화면 송신부(121)는 게임 유저 시점 화면(S1)의 이동 변위가 기 설정된 임계치 이상인 것으로 판단할 수 있다. 화면 송신부(121)는 게임 유저 시점 화면의 이동 변위(d)에 대응하여 가상 카메라 시점 화면을 이동시킨 후 방송 서버(104)로 송신할 수 있다.
다시 도 1을 참조하면, 방송 서버(104)는 게임 유저가 플레이 하는 가상 현실 게임에 대한 방송 서비스를 제공하기 위한 서버 컴퓨팅 장치일 수 있다. 방송 서버(104)는 게이밍 디바이스(102)로부터 가상 카메라 시점 화면을 수신할 수 있다. 방송 서버(104)는 가상 카메라 시점 화면을 시청자 단말(106)로 송신할 수 있다.
시청자 단말(106)은 가상 현실 게임에 대한 방송을 시청하는 시청자의 단말일 수 있다. 시청자 단말(106)은 방송 서버(104)에 접속하고, 방송 서버(104)로부터 가상 카메라 시점 화면을 수신할 수 있다. 시청자 단말(106)은 스마트 폰, 태블릿 PC, 노트북 컴퓨터, 및 데스크 탑 컴퓨터 등을 포함할 수 있다.
개시되는 실시예에 의하면, 게임 유저 시점 화면과는 별도의 가상 카메라 시점 화면을 생성하고, 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만이면 가상 카메라 시점 화면을 그대로 송신하고, 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상이면 가상 카메라 시점 화면을 그에 대응하는 만큼 이동시켜 송신함으로써, 게임 방송을 시청하는 시청자들이 게임 화면의 흔들림으로 인해 느끼는 혼란 또는 어지러움을 줄일 수 있으며, 동시에 게임 유저의 시선을 따라 가면서 게임 화면을 볼 수 있게 된다.
그리고, 가상 카메라 시점 화면이라는 게임 유저 시점 화면과는 별도의 게임 화면을 이용함으로써, 게임 유저 시점 화면에 작은 흔들림이 발생하여도 가상 카메라 시점 화면이 그대로 시청자에게 송출되기 때문에, 시청자들이 보는 게임 화면(즉, 가상 카메라 시점 화면)에서 작은 흔들림이 발생하는 것도 줄일 수 있게 된다.
한편 여기서는, 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만 또는 이상인지 여부를 가상 카메라 시점 화면과 비교하여 판단하였으나, 이에 한정되는 것은 아니며 가상 카메라 시점 화면과 비교 없이 독립적으로 판단할 수도 있다. 즉, 화면 송신부(121)는 게임 유저 시점 화면에서 특징점을 추출하고, 특징점의 이동 변위가 기 설정된 임계치 미만 또는 이상인지 여부에 따라 가상 카메라 시점 화면의 보정 여부를 결정할 수도 있다.
구체적으로, 화면 송신부(121)는 게임 유저 시점 화면의 각 프레임 별로 특징점을 추출할 수 있다. 화면 송신부(121)는 게임 유저 시점 화면의 현재 프레임(n번째 프레임)과 이전 프레임(n-1번째 프레임) 간의 특징점 이동 변위를 확인할 수 있다.
도 7은 개시되는 일 실시예에서 게임 유저 시점 화면의 프레임 간 특징점 이동 변위를 나타낸 도면이다. 도 7을 참조하면, 화면 송신부(121)는 게임 유저 시점 화면의 각 프레임(예를 들어, 프레임 1, 프레임 2)마다 특징점(A, B, C, D, E)을 추출할 수 있다.
화면 송신부(121)는 게임 유저 시점 화면의 n번째 프레임(예를 들어, 프레임 2)와 그 이전 프레임인 n-1번째 프레임(예를 들어, 프레임 1) 간의 특징점(A, B, C, D, E)들의 이동 변위를 확인할 수 있다. 예시적인 실시예에서, 화면 송신부(121)는 각 특징점(A, B, C, D, E)들의 이동에 따른 벡터를 각각 산출하고, 이를 평균하여 특징점(A, B, C, D, E)들의 이동에 따른 평균 벡터를 산출할 수 있다. 여기서, 게임 유저의 시선 이동 방향이 오른쪽으로 이동하면 게임 유저 시점 화면은 왼쪽으로 이동(즉, 게임 유저 시점 화면에서 특징점들은 왼쪽으로 이동)하게 된다.
화면 송신부(121)는 특징점들의 이동에 따른 평균 벡터의 크기가 기 설정된 임계치 미만인 경우, 게임 유저 시점 화면의 해당 프레임에 대응하는 가상 카메라 시점 화면을 보정하지 않고(즉, 이동시키지 않고) 방송 서버(104)로 송신할 수 있다.
화면 송신부(121)는 특징점들의 이동에 따른 평균 벡터의 크기가 기 설정된 임계치 이상인 경우, 게임 유저 시점 화면의 해당 프레임에 대응하는 가상 카메라 시점 화면을 보정하여(즉, 이동하여) 방송 서버(104)로 송신할 수 있다.
도 8은 개시되는 일 실시예에서 가상 카메라 시점 화면의 프레임을 이동하여 보정하는 상태를 나타낸 도면이다. 도 8을 참조하면, 화면 송신부(121)는 특징점들의 이동에 따른 평균 벡터의 크기가 기 설정된 임계치 이상인 경우, 게임 유저 시점 화면의 해당 프레임에 대응하는 가상 카메라 시점 화면(S2)을 특징점들의 이동 변위(예를 들어, 특징점들의 이동에 따른 평균 벡터의 크기)에 대응하여 이동시킬 수 있다.
이때, 화면 송신부(121)는 특징점들의 이동 방향(예를 들어, 특징점들의 이동에 따른 평균 벡터의 방향)과 반대 방향(즉, 게임 유저의 시선 이동 방향과 같은 방향)으로 가상 카메라 시점 화면(S2)을 이동시킬 수 있다.
도 9는 개시되는 다른 실시예에 따른 가상 현실 게임 방송 서비스 시스템의 구성을 나타낸 도면이다. 여기서는, 도 1에 도시된 실시예와 차이가 나는 부분을 중점적으로 설명하기로 한다.
도 9를 참조하면, 가상 현실 게임 방송 서비스 시스템(200)은 게이밍 디바이스(202), 방송 서버(204), 및 시청자 단말(206)을 포함할 수 있다. 게이밍 디바이스(202) 및 시청자 단말(206)은 각각 통신 네트워크(250)를 통해 방송 서버(204)와 통신 가능하게 연결된다.
게이밍 디바이스(202)는 헤드 마운트 디스플레이(208)를 통해 가상 현실 게임을 제공할 수 있다. 게이밍 디바이스(202)는 헤드 마운트 디스플레이(208)에 장착되거나 헤드 마운트 디스플레이(208)와 일체로 형성될 수 있으나, 이에 한정되는 것은 아니며 유선, 무선, 유무선 등을 통해 헤드 마운트 디스플레이(208)와 통신 가능하게 연결될 수 있다.
게이밍 디바이스(202)는 게임 유저의 명령에 따라 게임 애플리케이션을 실행시킬 수 있다. 게이밍 디바이스(202)는 게임 유저의 위치 및 자세 중 하나 이상을 센싱한 센싱 데이터에 기반하여 게임 유저 시점 화면을 생성할 수 있다. 게이밍 디바이스(202)는 게임 유저 시점 화면를 방송 서버(204)로 송신할 수 있다. 게이밍 디바이스(202)는 게임 유저 시점 화면을 프레임 단위로 방송 서버(204)로 송신할 수 있다.
게이밍 디바이스(202)는 게임 내 게임 유저의 시선 방향을 확인하여 시선 방향 정보를 생성할 수 있다. 게이밍 디바이스(202)는 시선 방향 정보를 방송 서버(204)로 송신할 수 있다.
방송 서버(204)는 게이밍 디바이스(202)로부터 수신한 게임 유저 시점 화면을 게임 유저 시점 화면의 이동 변위에 따라 보정하여 시청자 단말(206)로 송신할 수 있다. 도 10은 개시되는 실시예에 따른 방송 서버(204)의 구성을 나타낸 블록도이다. 도 10을 참조하면, 방송 서버(204)는 통신부(211), 특징점 추출부(213), 화면 보정부(215), 및 시선 인디케이터 생성부(217)를 포함할 수 있다.
일 실시예에서, 통신부(211), 특징점 추출부(213), 화면 보정부(215), 및 시선 인디케이터 생성부(217)는 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.
통신부(211)는 게이밍 디바이스(202) 및 시청자 단말(206)과 통신을 수행할 수 있다. 통신부(211)는 게이밍 디바이스(202)로부터 게임 유저 시점 화면을 수신할 수 있다. 통신부(211)는 게이밍 디바이스(202)로부터 시선 방향 정보를 수신할 수 있다. 통신부(211)는 시청자 단말(206)로 게임 유저 시점 화면을 송신할 수 있다.
특징점 추출부(213)는 통신부(211)가 수신한 게임 유저 시점 화면에서 특징점을 추출할 수 있다. 예시적인 실시예에서, 특징점 추출부(213)는 게임 유저 시점 화면의 각 프레임 별로 특징점을 추출할 수 있다. 특징점 추출은 이미지에서 특징점을 추출하는 기 공지된 다양한 방식을 사용할 수 있다.
화면 보정부(215)는 게임 유저 시점 화면에서 특징점의 이동 변위를 기반으로 게임 유저 시점 화면의 보정 여부를 결정할 수 있다. 화면 보정부(215)는 게임 유저 시점 화면의 현재 프레임(n번째 프레임)과 이전 프레임(n-1번째 프레임) 간의 특징점 이동 변위를 확인할 수 있다. 예시적인 실시예에서, 화면 보정부(215)는 추출한 각 특징점들의 이동에 따른 벡터를 각각 산출하고, 이를 평균하여 특징점들의 이동에 따른 평균 벡터를 산출할 수 있다.
화면 보정부(215)는 특징점들의 이동에 따른 평균 벡터의 크기가 기 설정된 임계치 미만인 경우, 게임 유저 시점 화면의 해당 프레임(즉, n번째 프레임)을 보정하지 않고(즉, 이동시키지 않고) 시청자 단말(206)로 송신하는 것으로 결정할 수 있다. 화면 보정부(215)는 게임 유저 시점 화면의 해당 프레임을 통신부(211)를 통해 시청자 단말(206)로 송신할 수 있다.
화면 보정부(215)는 특징점들의 이동에 따른 평균 벡터의 크기가 기 설정된 임계치 이상인 경우, 게임 유저 시점 화면의 해당 프레임을 보정하여(즉, 이동하여) 시청자 단말(206)로 송신하는 것으로 결정할 수 있다.
화면 보정부(215)는 특징점들의 이동에 따른 평균 벡터의 크기가 기 설정된 임계치 이상인 경우, 게임 유저 시점 화면의 해당 프레임을 특징점들의 이동 변위(예를 들어, 특징점들의 이동에 따른 평균 벡터의 크기)에 대응하여 이동시킬 수 있다. 이때, 화면 보정부(215)는 특징점들의 이동 방향(예를 들어, 특징점들의 이동에 따른 평균 벡터의 방향)과 반대 방향으로 해당 프레임을 이동시킬 수 있다.
시선 인디케이터 생성부(217)는 통신부(211)가 수신한 시선 방향 정보에 기반하여 게임 내 게임 유저의 시선 방향을 나타내기 위한 시선 인디케이터를 생성할 수 있다. 시선 인디케이터 생성부(217)는 시선 인디케이터를 게임 유저 시점 화면에 렌더링 하여 표시할 수 있다.
개시되는 실시예에 의하면, 방송 서버(204)에서 게임 유저 시점 화면의 이동 변위에 따라 게임 유저 시점 화면을 후 보정하여 시청자 단말(206)로 전송함으로써, 게임 방송을 시청하는 시청자들이 게임 화면의 흔들림으로 인해 느끼는 혼란 또는 어지러움을 줄일 수 있게 된다. 그리고, 게임 유저 시점 화면에 시선 인디케이터를 렌더링 하여 표시함으로써, 시청자들이 게임 유저의 시선을 따라 가면서 게임 화면을 볼 수 있게 된다.
한편, 여기서는, 방송 서버(204)가 게임 유저 시점 화면에서 특징점을 추출한 후, 특징점의 이동 변위에 따라 게임 유저 시점 화면의 보정 여부를 결정하는 것으로 설명하였으나, 이에 한정되는 것은 아니다.
구체적으로, 방송 서버(204)는 게이밍 디바이스(202)로부터 게임 유저의 위치 및 자세 중 하나 이상을 센싱한 센싱 데이터를 수신할 수 있다. 방송 서버(204)는 센싱 데이터에 기반하여 게임 유저 시점 화면의 이동 변위를 확인할 수 있다. 즉, 방송 서버(204)는 센싱 데이터에 기반하여 게임 유저 시점 화면이 어느 방향으로 얼만큼 이동하였는지 여부를 확인할 수 있다.
방송 서버(204)는 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우, 게임 유저 시점 화면을 보정하지 않고 시청자 단말(206)로 송신할 수 있다. 방송 서버(204)는 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상인 경우, 게임 유저 시점 화면을 이동시켜 시청자 단말(206)로 송신할 수 있다.
즉, 방송 서버(204)는 게임 유저 시점 화면을 게임 유저 시점 화면의 이동 방향과 반대 방향(즉, 게임 유저의 시선 이동 방향과 동일한 방향)으로 이동시킬 수 있다. 이때, 방송 서버(204)는 게임 유저 시점 화면의 이동 변위만큼 그 반대 방향으로 게임 유저 시점 화면을 이동시킬 수 있다.
도 11은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 게이밍 디바이스(102, 202)일 수 있다. 또한, 컴퓨팅 장치(12)는 방송 서버(104, 204)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100, 200 : 가상 현실 게임 방송 서비스 시스템
102, 202 : 게이밍 디바이스
104, 204 : 방송 서버
106, 206 : 시청자 단말
108, 208 : 헤드 마운트 디스플레이
111 : 게임 실행부
113 : 센서부
115 : 제1 화면 제공부
117 : 제2 화면 제공부
119 : 시선 인디케이터 생성부
121 : 화면 송신부
211 : 통신부
213 : 특징점 추출부
215 : 화면 보정부
217 : 시선 인디케이터 생성부
102, 202 : 게이밍 디바이스
104, 204 : 방송 서버
106, 206 : 시청자 단말
108, 208 : 헤드 마운트 디스플레이
111 : 게임 실행부
113 : 센서부
115 : 제1 화면 제공부
117 : 제2 화면 제공부
119 : 시선 인디케이터 생성부
121 : 화면 송신부
211 : 통신부
213 : 특징점 추출부
215 : 화면 보정부
217 : 시선 인디케이터 생성부
Claims (23)
- 하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
가상 현실 게임의 진행에 따른 게임 유저의 움직임을 센싱한 센싱 데이터를 획득하는 동작;
상기 센싱 데이터에 기반하여 상기 게임 유저의 시점에서 바라본 게임 유저 시점 화면을 획득하는 동작;
상기 가상 현실 게임 내에 마련되는 가상 카메라의 시점에서 바라본 가상 카메라 시점 화면을 획득하는 동작; 및
상기 게임 유저 시점 화면 대신 상기 가상 카메라 시점 화면을 방송 화면으로 송신하는 동작을 포함하고,
상기 방송 화면으로 송신하는 동작은,
상기 게임 유저의 시선 이동에 따른 상기 방송 화면의 흔들림을 줄이기 위해 상기 게임 유저 시점 화면의 이동 변위에 따라 상기 가상 카메라 시점 화면의 이동 여부를 결정하는 동작을 포함하는, 가상 현실 게임 방송 서비스 방법. - 청구항 1에 있어서,
상기 가상 카메라는, 상기 가상 현실 게임 내에서 상기 게임 유저의 위치에서 게임을 바라보도록 마련된 것인, 가상 현실 게임 방송 서비스 방법. - 삭제
- 청구항 1에 있어서,
상기 가상 카메라 시점 화면은, 상기 게임 유저 시점 화면 보다 크게 마련되는, 가상 현실 게임 방송 서비스 방법. - 청구항 4에 있어서,
상기 방송 화면으로 송신하는 동작은,
상기 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 미만인 경우 상기 가상 카메라 시점 화면을 이동시키지 않고 송신하는 동작을 포함하는, 가상 현실 게임 방송 서비스 방법. - 청구항 5에 있어서,
상기 게임 유저 시점 화면의 이동 변위가 상기 가상 카메라 시점 화면 내에서 이루어진 경우, 상기 기 설정된 임계치 미만인 것으로 판단하는, 가상 현실 게임 방송 서비스 방법. - 청구항 4에 있어서,
상기 방송 화면으로 송신하는 동작은,
상기 게임 유저 시점 화면의 이동 변위가 기 설정된 임계치 이상인 경우 상기 가상 카메라 시점 화면을 상기 게임 유저 시점 화면의 이동 변위에 대응하여 이동시키고 송신하는 동작을 포함하는, 가상 현실 게임 방송 서비스 방법. - 청구항 7에 있어서,
상기 게임 유저 시점 화면의 이동 변위가 상기 가상 카메라 시점 화면을 벗어난 경우, 상기 기 설정된 임계치 이상인 것으로 판단하는, 가상 현실 게임 방송 서비스 방법. - 청구항 1에 있어서,
상기 가상 카메라 시점 화면의 이동 여부를 결정하는 동작은,
상기 게임 유저 시점 화면의 각 프레임 별로 특징점을 추출하는 동작;
상기 게임 유저 시점 화면의 각 프레임 간 특징점 이동 변위를 확인하는 동작; 및
상기 특징점 이동 변위에 따라 상기 가상 카메라 시점 화면의 이동 여부를 결정하는 동작을 포함하는, 가상 현실 게임 방송 서비스 방법. - 청구항 9에 있어서,
상기 가상 카메라 시점 화면의 이동 여부를 결정하는 동작은,
상기 특징점 이동 변위가 기 설정된 임계치 미만인 경우, 상기 가상 카메라 시점 화면을 이동시키지 않고 송신하는 동작을 포함하는, 가상 현실 게임 방송 서비스 방법. - 청구항 9에 있어서,
상기 가상 카메라 시점 화면의 이동 여부를 결정하는 동작은,
상기 특징점 이동 변위가 기 설정된 임계치 이상인 경우, 상기 가상 카메라 시점 화면을 상기 특징점 이동 방향과 반대 방향으로 상기 특징점의 이동 변위에 대응하여 이동시키고 송신하는 동작을 포함하는, 가상 현실 게임 방송 서비스 방법. - 청구항 1에 있어서,
상기 가상 현실 게임 방송 서비스 방법은,
상기 가상 현실 게임 내 상기 게임 유저의 시선 방향을 확인하여 시선 인디케이터를 생성하는 동작; 및
상기 시선 인디케이터를 상기 가상 카메라 시점 화면에 표시하는 동작을 더 포함하는, 가상 현실 게임 방송 서비스 방법. - 하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
가상 현실 게임의 진행에 따른 게임 유저의 움직임을 센싱하여 센싱 데이터를 생성하는 센서부;
상기 센싱 데이터에 기반하여 상기 게임 유저의 시점에서 바라본 게임 유저 시점 화면을 생성하는 제1 화면 제공부;
상기 가상 현실 게임 내에 마련되는 가상 카메라의 시점에서 바라본 가상 카메라 시점 화면을 생성하는 제2 화면 제공부; 및
상기 게임 유저 시점 화면 대신 상기 가상 카메라 시점 화면을 방송 화면으로 송신하는 화면 송신부를 포함하고,
상기 화면 송신부는,
상기 게임 유저의 시선 이동에 따른 상기 방송 화면의 흔들림을 줄이기 위해 상기 게임 유저 시점 화면의 이동 변위에 따라 상기 가상 카메라 시점 화면의 이동 여부를 결정하여 송신하는, 컴퓨팅 장치. - 청구항 13에 있어서,
상기 가상 카메라는, 상기 가상 현실 게임 내에서 상기 게임 유저의 위치에서 게임을 바라보도록 마련된 것인, 컴퓨팅 장치. - 삭제
- 청구항 13에 있어서,
상기 가상 카메라 시점 화면은, 상기 게임 유저 시점 화면 보다 크게 마련되는, 컴퓨팅 장치. - 청구항 16에 있어서,
상기 화면 송신부는,
상기 게임 유저 시점 화면의 이동 변위가 상기 가상 카메라 시점 화면 내에서 이루어진 경우, 상기 가상 카메라 시점 화면을 이동시키지 않고 송신하는, 컴퓨팅 장치. - 청구항 16에 있어서,
상기 화면 송신부는,
상기 게임 유저 시점 화면의 이동 변위가 상기 가상 카메라 시점 화면을 벗어난 경우, 상기 가상 카메라 시점 화면을 상기 게임 유저 시점 화면의 이동 변위에 대응하여 이동시키고 송신하는, 컴퓨팅 장치. - 청구항 13에 있어서,
상기 화면 송신부는,
상기 게임 유저 시점 화면의 각 프레임 별로 특징점을 추출하고, 상기 게임 유저 시점 화면의 각 프레임 간 특징점 이동 변위를 확인하며, 상기 특징점 이동 변위에 따라 상기 가상 카메라 시점 화면의 이동 여부를 결정하는, 컴퓨팅 장치. - 청구항 19에 있어서,
상기 화면 송신부는,
상기 특징점 이동 변위가 기 설정된 임계치 미만인 경우, 상기 가상 카메라 시점 화면을 이동시키지 않고 송신하는, 컴퓨팅 장치. - 청구항 19에 있어서,
상기 화면 송신부는,
상기 특징점 이동 변위가 기 설정된 임계치 이상인 경우, 상기 가상 카메라 시점 화면을 상기 특징점 이동 방향과 반대 방향으로 상기 특징점의 이동 변위에 대응하여 이동시키고 송신하는, 컴퓨팅 장치. - 청구항 13에 있어서,
상기 컴퓨팅 장치는,
상기 가상 현실 게임 내 상기 게임 유저의 시선 방향을 확인하여 시선 인디케이터를 생성하고, 상기 시선 인디케이터를 상기 가상 카메라 시점 화면에 표시하는 시선 인디케이터 생성부를 더 포함하는, 컴퓨팅 장치. - 사용자의 두부에 착용되는 헤드 마운트 디스플레이;
상기 헤드 마운트 디스플레이를 통해 가상 현실 게임을 제공하며, 상기 가상 현실 게임의 진행에 따른 게임 유저의 움직임을 센싱하여 상기 게임 유저의 시점에서 바라본 게임 유저 시점 화면을 상기 게임 유저에게 제공하고, 상기 가상 현실 게임 내에 마련되는 가상 카메라의 시점에서 바라본 가상 카메라 시점 화면을 생성하며, 상기 게임 유저 시점 화면 대신 상기 가상 카메라 시점 화면을 방송 화면으로 송신하는 게이밍 디바이스; 및
상기 게이밍 디바이스로부터 상기 가상 카메라 시점 화면을 수신하고 시청자 단말로 송신하는 방송 서버를 포함하고,
상기 게이밍 디바이스는,
상기 게임 유저의 시선 이동에 따른 상기 방송 화면의 흔들림을 줄이기 위해 상기 게임 유저 시점 화면의 이동 변위에 따라 상기 가상 카메라 시점 화면의 이동 여부를 결정하여 송신하는, 가상 현실 게임 방송 서비스 시스템.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200132747A KR102481528B1 (ko) | 2020-10-14 | 2020-10-14 | 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200132747A KR102481528B1 (ko) | 2020-10-14 | 2020-10-14 | 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220049290A KR20220049290A (ko) | 2022-04-21 |
KR102481528B1 true KR102481528B1 (ko) | 2022-12-26 |
Family
ID=81437370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200132747A KR102481528B1 (ko) | 2020-10-14 | 2020-10-14 | 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102481528B1 (ko) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020504959A (ja) * | 2016-12-29 | 2020-02-13 | 株式会社ソニー・インタラクティブエンタテインメント | 視線追跡を用いたvr、低遅延、無線hmdビデオストリーミングのためのフォービエイテッドビデオリンク |
JP2020518321A (ja) * | 2017-04-28 | 2020-06-25 | 株式会社ソニー・インタラクティブエンタテインメント | Vr環境への第2の画面の仮想ウィンドウ |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102086348B1 (ko) * | 2018-07-24 | 2020-03-09 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
-
2020
- 2020-10-14 KR KR1020200132747A patent/KR102481528B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020504959A (ja) * | 2016-12-29 | 2020-02-13 | 株式会社ソニー・インタラクティブエンタテインメント | 視線追跡を用いたvr、低遅延、無線hmdビデオストリーミングのためのフォービエイテッドビデオリンク |
JP2020518321A (ja) * | 2017-04-28 | 2020-06-25 | 株式会社ソニー・インタラクティブエンタテインメント | Vr環境への第2の画面の仮想ウィンドウ |
Also Published As
Publication number | Publication date |
---|---|
KR20220049290A (ko) | 2022-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10496158B2 (en) | Image generation device, image generation method and non-transitory recording medium storing image generation program | |
JP6342038B1 (ja) | 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法 | |
US20150070274A1 (en) | Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements | |
CN106873767B (zh) | 一种虚拟现实应用的运行控制方法和装置 | |
JP6434667B1 (ja) | 仮想空間を提供するためのプログラム、システム、及び方法 | |
CN116328317A (zh) | 应用处理***、应用处理方法以及应用处理程序 | |
CN110215685B (zh) | 游戏中的虚拟对象控制方法及装置、设备、存储介质 | |
US11833428B2 (en) | Positional haptics via head-mounted peripheral | |
US20230258948A1 (en) | Barometric pressure sensor arrays for detecting presence and motion of objects for tracking or triggering a response | |
CN115904060A (zh) | 基于手势的技能搜索 | |
JP2019211864A (ja) | コンピュータプログラム、情報処理装置および情報処理方法 | |
CN115641421A (zh) | 基于运动的导航 | |
KR102481528B1 (ko) | 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템 | |
JP2017142816A (ja) | 同期サーバ及び同期方法 | |
KR102423869B1 (ko) | 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템 | |
JP6114848B1 (ja) | 同期サーバ及び同期方法 | |
KR102204599B1 (ko) | 화면 출력 방법 및 이를 수행하기 위한 디스플레이 장치 | |
KR102584901B1 (ko) | 이벤트 정보 송신 장치 및 방법, 이벤트 정보 출력 장치 및 방법 | |
KR102170825B1 (ko) | 게임 제어 장치 및 방법 | |
US11908097B2 (en) | Information processing system, program, and information processing method | |
JP7286857B2 (ja) | 情報処理システム、プログラム及び情報処理方法 | |
JP7286856B2 (ja) | 情報処理システム、プログラム及び情報処理方法 | |
KR102211564B1 (ko) | 게임 서비스 제공 방법 및 장치 | |
JP7163526B1 (ja) | 情報処理システム、プログラム及び情報処理方法 | |
US20240189709A1 (en) | Using images of upper body motion only to generate running vr character |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |