KR20220053021A - 비디오 게임 오버레이 - Google Patents
비디오 게임 오버레이 Download PDFInfo
- Publication number
- KR20220053021A KR20220053021A KR1020227010941A KR20227010941A KR20220053021A KR 20220053021 A KR20220053021 A KR 20220053021A KR 1020227010941 A KR1020227010941 A KR 1020227010941A KR 20227010941 A KR20227010941 A KR 20227010941A KR 20220053021 A KR20220053021 A KR 20220053021A
- Authority
- KR
- South Korea
- Prior art keywords
- video
- player
- source video
- game
- source
- Prior art date
Links
- 230000009471 action Effects 0.000 claims abstract description 160
- 238000000034 method Methods 0.000 claims description 82
- 230000004044 response Effects 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000012092 media component Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
- A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
- A63F13/49—Saving the game status; Pausing or ending the game
- A63F13/497—Partially or entirely replaying previous game actions
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
- A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
- A63F13/5375—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for graphically or textually suggesting an action, e.g. by displaying an arrow indicating a turn in a driving game
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/62—Semi-transparency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
개시된 요지는 소스 비디오를 수신할 수 있고 소스 비디오에 기초하여 하나 이상의 플레이어 액션을 식별할 수 있다. 현재 실행 중인 게임 환경을 기반으로 제2 비디오를 수신할 수 있다. 제2 비디오의 게임플레이 상황과 유사한 제1 게임플레이 상황을 나타내는 소스 비디오의 부분이 결정될 수 있다. 소스 비디오에서 결정된 부분의 속성을 조절하여 가이드 비디오를 생성할 수 있다. 가이드 비디오는 현재 실행 중인 게임 환경에 오버레이될 수 있다.
Description
본 명세서는 비디오 게임 오버레이에 관한 것이다.
사용자는 비디오 게임의 어떤 부분이 다른 부분보다 더 어렵다고 생각할 수 있다. 사용자가 비디오 게임 진행을 중단하는 경우 비디오 서비스 또는 웹사이트에서 제공하는 게임플레이 튜토리얼을 시청할 수 있다. 비디오를 시청함으로써 사용자는 게임의 어려운 부분을 극복하는 데 도움이 되는 지식을 얻기를 희망한다. 두 개의 디스플레이 장치를 사용할 수 없는 경우 사용자는 게임을 종료하여 동일한 디스플레이에서 비디오를 실행하고 비디오를 시청한 후 게임을 다시 시작할 수 있다. 이 과정은 사용자가 진행할 때까지 여러 번 반복될 수 있으므로 사용자는 게임 경험이 덜 즐겁다고 느낄 수 있다.
사용자는 자신이 직면한 게임 시나리오와 일치하는 튜토리얼 또는 게임 플레이 비디오를 찾으려고 시도할 수 있다. 사용자가 관련 비디오를 찾는 데 성공하더라도 비디오가 불편한 관점에서 볼 수 있거나 게임 기술을 너무 빨리 시연하거나 불완전할 수 있다. 사용자는 비디오를 여러 번 일시 중지, 되감기 및 재생하기를 원할 수도 있으며 이는 사용자가 사용하는 디스플레이 장치에 따라 편리할 수도 있고 그렇지 않을 수도 있다.
개시된 요지의 실시예에 따르면, 컴퓨터 방법은 소스 비디오를 수신하는 단계 및 소스 비디오에서 캡처된 게임플레이에서 발생하는 복수의 플레이어 액션을 식별하는 단계를 포함할 수 있다. 방법은 제2 비디오를 수신하는 단계를 더 포함할 수 있다. 제2 비디오는 현재 실행 중인 게임 환경을 기반으로 할 수 있다. 방법은 소스 비디오의 부분이 제2 비디오의 게임플레이 상황과 유사할 수 있는 제1 게임플레이 상황을 나타내는지 결정하는 단계를 더 포함할 수 있다. 방법은 가이드 비디오를 생성하기 위해 소스 비디오의 결정된 부분의 속성을 조정하는 단계를 더 포함할 수 있다. 방법은 현재 실행 중인 게임 환경에 가이드 비디오를 오버레이하는 단계를 더 포함할 수 있다.
방법은 현재 실행 중인 게임 환경에서 완료된 플레이어 액션을 검출하고 검출에 따라 업데이트된 가이드 비디오를 오버레이하는 단계를 더 포함할 수 있다. 방법은 소스 비디오 부분을 복수의 플레이어 액션으로 분할하는 단계를 더 포함할 수 있다. 방법은 소스 비디오 내에 임베딩된 메타데이터로부터 플레이어 액션의 리스트를 추출하는 단계를 더 포함할 수 있다. 메타데이터는 플레이어의 스킬 레벨을 반영하는 하나 이상의 메트릭을 더 포함할 수 있다. 방법은 하나 이상의 메트릭에 기초하여 소스 비디오를 선택하는 단계를 더 포함할 수 있다. 식별된 각각의 플레이어 액션은 사용자로부터 수신된 게임 제어기 입력과 일대일 대응을 공유할 수 있다.
방법은 상기 소스 비디오 및 하나 이상의 2차 소스 비디오 중 적어도 하나, 그리고 상기 소스 비디오 및 상기 하나 이상의 2차 소스 비디오 중 적어도 하나의 하나 이상의 세그먼트에 해당하는 플레이어 액션의 리스트에 기초하여, 가상 워크스루(virtual walkthrough)를 컴파일하는 단계를 더 포함할 수 있다. 상기 결정하는 단계는 소스 비디오의 세그먼트의 제1 임베딩과 임베딩 공간에 걸친 상기 제2 비디오의 제2 임베딩 사이의 거리를 계산하는 것에 기초할 수 있다. 상기 속성을 조정하는 것은, 상기 결정된 부분을 회전시키는 것; 상기 결정된 부분을 변환하는 것; 상기 결정된 부분을 스케일링하는 것; 상기 결정된 부분의 재생 속도를 조정하는 것; 상기 결정된 부분에 요소를 추가하는 것; 상기 결정된 부분에서 요소를 제거하는 것; 그리고 상기 결정된 부분의 투명도를 조정하는 것으로 구성된 그룹에서 선택된 하나 이상을 포함할 수 있다. 방법은 복수의 플레이어 액션 중 하나 이상의 제안된 플레이어 액션을 식별하는 단계를 더 포함할 수 있다. 가이드 비디오를 오버레이하는 단계는 현재 실행 중인 게임 환경에서 제안된 하나 이상의 플레이어 액션을 오버레이하는 단계를 더 포함할 수 있다. 완료된 플레이어 액션의 검출하는 단계는 플레이어가 제안된 플레이어 액션 중 하나 이상을 수행했음을 검출하는 단계를 더 포함할 수 있다. 완료된 플레이어 액션은 게임 제어기에서 발생하지 않는 에뮬레이트된 게임 제어기 입력을 수신하는 것을 기반으로 할 수 있다.
개시된 요지의 일 실시예에 따르면, 비일시적 컴퓨터 판독 가능 매체는, 하나 이상의 컴퓨팅 시스템에 의해 실행될 때 동작들을 수행하게 하는 명령어를 포함하며, 상기 동작들은, 소스 비디오를 수신하는 동작; 상기 소스 비디오에서 캡처된 게임플레이에서 발생하는 복수의 플레이어 액션을 식별하는 동작을 포함할 수 있다. 상기 매체는 제2 비디오를 수신하기 위한 명령어를 더 포함할 수 있다. 제2 비디오는 현재 실행 중인 게임 환경을 기반으로 할 수 있다. 매체는 소스 비디오의 부분이 제2 비디오의 게임플레이 상황과 유사할 수 있는 제1 게임플레이 상황을 나타내는지 결정하기 위한 명령어를 더 포함할 수 있다. 매체는 가이드 비디오를 생성하기 위해 소스 비디오의 결정된 부분의 속성을 조정하기 위한 명령어를 더 포함할 수 있다. 매체는 현재 실행 중인 게임 환경에 가이드 비디오를 오버레이하기 위한 명령어를 더 포함할 수 있다. 매체는 현재 실행 중인 게임 환경에서 완료된 플레이어 액션을 검출하고 검출에 기초하여 업데이트된 가이드 비디오를 오버레이하기 위한 명령어를 더 포함할 수 있다. 매체는 소스 비디오 부분을 복수의 플레이어 액션으로 분할하기 위한 명령어를 더 포함할 수 있다. 매체는 소스 비디오 내에 임베딩된 메타데이터로부터 플레이어 액션 리스트를 추출하기 위한 명령어를 더 포함할 수 있다. 메타데이터는 플레이어의 스킬 레벨을 반영하는 하나 이상의 메트릭을 더 포함할 수 있다. 매체는 하나 이상의 메트릭에 기초하여 소스 비디오를 선택하기 위한 명령어를 더 포함할 수 있다. 식별된 각각의 플레이어 액션은 사용자로부터 수신된 게임 제어기 입력과 일대일 대응을 공유할 수 있다. 매체는 하나 이상의 2차 소스 비디오 및 상기 소스 비디오 중 적어도 하나, 그리고 상기 하나 이상의 2차 소스 비디오 및 상기 소스 비디오 중 적어도 하나의 하나 이상의 세그먼트에 해당하는 플레이어 액션의 리스트에 기초하여, 가상 워크스루(virtual walkthrough)를 컴파일하도록 동작가능한 명령어를 더 포함할 수 있다. 상기 결정하는 동작은 상기 소스 비디오의 세그먼트의 제1 임베딩과 임베딩 공간에 걸친 상기 제2 비디오의 제2 임베딩 사이의 거리를 계산하는 것에 기초할 수 있다. 상기 속성을 조정하도록 동작 가능한 명령어는, 상기 결정된 부분을 회전시키는 것; 상기 결정된 부분을 변환하는 것; 상기 결정된 부분을 스케일링하는 것; 상기 결정된 부분의 재생 속도를 조정하는 것; 상기 결정된 부분에 요소를 추가하는 것; 상기 결정된 부분에서 요소를 제거하는 것; 그리고 상기 결정된 부분의 투명도를 조정하는 것으로 구성된 그룹에서 선택된 하나 이상을 수행하도록 동작 가능한 명령어를 더 포함할 수 있다. 매체는 복수의 플레이어 액션 중 하나 이상의 제안된 플레이어 액션을 식별하기 위한 명령어를 더 포함할 수 있다. 가이드 비디오를 오버레이하기 위한 명령어는 현재 실행 중인 게임 환경에서 하나 이상의 제안된 플레이어 액션을 오버레이하기 위한 명령어를 더 포함할 수 있다. 완료된 플레이어 액션을 검출하기 위한 명령어는 플레이어가 제안된 플레이어 액션 중 하나 이상을 수행했음을 검출하기 위한 명령어를 더 포함할 수 있다. 완료된 플레이어 액션은 게임 제어기에서 발생하지 않는 에뮬레이트된 게임 제어기 입력을 수신하는 것을 기반으로 할 수 있다.
개시된 요지의 추가 특징, 이점 및 실시예는 다음의 상세한 설명, 도면 및 청구범위를 고려하여 설명되거나 명백할 수 있다. 또한, 전술한 요약 및 다음의 상세한 설명은 모두 예시적이며 청구범위의 범위를 제한하지 않고 추가 설명을 제공하도록 의도된 것으로 이해되어야 한다.
개시된 요지의 추가 이해를 제공하기 위해 포함된 첨부 도면은 본 명세서에 통합되고 본 명세서의 일부를 구성한다. 도면은 또한 개시된 요지의 실시예를 예시하고 상세한 설명과 함께 개시된 요지의 실시예의 원리를 설명하는 역할을 한다. 개시된 요지 및 그것이 실행될 수 있는 다양한 방식의 근본적인 이해에 필요할 수 있는 것보다 더 상세하게 구조적 세부사항을 보여주려는 시도가 이루어지지 않았다.
도 1은 개시된 요지에 따른 고스트 레이어(ghost layer)의 예시적인 실시예를 도시한다.
도 2는 개시된 요지에 따른 고스트 레이어의 예시적인 실시예를 도시한다.
도 3a는 개시된 요지의 실시예에 따른 흐름도이다.
도 3b는 개시된 요지의 실시예에 따른 블록도이다.
도 3c는 개시된 요지의 실시예에 따른 블록도이다.
도 4는 일 실시예에 따른 가상 워크스루(virtual walkthrough)의 블록도이다.
도 5는 개시된 요지의 실시예에 따른 컴퓨팅 장치를 도시한다.
도 6은 개시된 요지의 실시예에 따른 네트워크 구성을 도시한다.
도 7은 개시된 요지의 실시예에 따른 예시적인 네트워크 및 시스템 구성을 도시한다.
도 1은 개시된 요지에 따른 고스트 레이어(ghost layer)의 예시적인 실시예를 도시한다.
도 2는 개시된 요지에 따른 고스트 레이어의 예시적인 실시예를 도시한다.
도 3a는 개시된 요지의 실시예에 따른 흐름도이다.
도 3b는 개시된 요지의 실시예에 따른 블록도이다.
도 3c는 개시된 요지의 실시예에 따른 블록도이다.
도 4는 일 실시예에 따른 가상 워크스루(virtual walkthrough)의 블록도이다.
도 5는 개시된 요지의 실시예에 따른 컴퓨팅 장치를 도시한다.
도 6은 개시된 요지의 실시예에 따른 네트워크 구성을 도시한다.
도 7은 개시된 요지의 실시예에 따른 예시적인 네트워크 및 시스템 구성을 도시한다.
이전에 설명된 바와 같이, 비디오 게임의 어려운 부분을 만나는 사용자는 예시적인 솔루션 또는 전략을 제공할 수 있는 튜토리얼 또는 게임플레이 비디오를 검색하여 도움을 요청할 수 있다. 그렇게 하는 것은 게임 경험을 종료하고, 비디오 서비스 또는 웹사이트를 시작하고, 관련 비디오를 검색하고, 원하는 만큼 비디오를 관찰하고, 비디오 서비스 또는 웹사이트에서 종료하고, 게임을 다시 시작해야 하는 엉성하고 서투른 과정이 될 수 있다. 이러한 단계를 수행한 후에도 사용자는 이전에 관찰한 게임 플레이 기술의 일부를 잊어버릴 수 있으며, 이로 인해 사용자가 프로세스를 반복할 수 있다.
본 요지는 사용자가 비디오 게임을 진행하는 데 도움이 될 수 있는 게임 내 가이드를 제공하기 위한 시스템 및 기술을 개시한다. 가이드는 플레이어가 비디오 게임을 하는 것을 보여주는 하나 이상의 비디오의 분석에 기초하여 생성될 수 있다. 분석에 기초하여, 가이드는 게임의 전체 또는 일부를 통해 사용자를 발전시키는 데 성공할 수 있는 일련의 액션을 결정할 수 있다. 가이드는 사용자의 게임 내 디스플레이 위에 반투명 "고스트 레이어"로 제공되어 플레이어가 게임을 진행하는 데 도움이 될 수 있는 분석에 기초한 동작의 예 및 팁을 제공할 수 있다. 여기에 개시된 고스트 레이어는 게임과 고스트 레이어가 동시에 플레이어에게 보이도록 게임의 오버레이로 표시될 수 있는 텍스트, 이미지, 및/또는 비디오 정보를 표시할 수 있다.
사용자가 게임을 플레이할 때, 고스트 레이어는 현재 게임 상태, 사용자의 과거 액션 및 사용자가 성공하는 데 도움이 될 수 있는 일련의 예상 액션을 기반으로 사용자와 관련된 정보를 제공하기 위해 표시되는 것을 업데이트 및 조정할 수 있다.
본 명세서에서 사용되는 "게임 제어기"라는 용어는 게임에 입력을 제공하기 위해 사용자에 의해 사용될 수 있는 임의의 장치를 지칭한다. 게임 제어기는 예를 들어 마우스, 키보드, 키패드, 조이스틱, 스타일러스, 지팡이, 스타일러스, 트랙볼, 트랙패드, 터치패드, 터치스크린, 카메라, 레이더 송신기 및/또는 수신기, 게임패드, 스마트폰, 및 마이크로폰을 포함할 수 있다.
도 1은 본 발명의 예시적인 실시예를 도시한다. 게임 화면(100)은 제3자의 시점에서 재생될 수 있다. 사용자는 하나의 막대 모양의(stick-figure-like) 캐릭터(105)를 제어할 수 있다. 게임(100)의 이 부분을 진행하기 위해, 사용자는 세 가지 액션(동작)을 수행하도록 캐릭터(105)를 제어할 필요가 있을 수 있다. 첫째, 캐릭터는 캐즘(chasm)(115)의 에지에 도달할 때까지 오른쪽으로 걸어갈 수 있고, 그 다음 캐릭터는 캐즘(115) 위로 점프할 수 있고, 세 번째로 캐릭터는 사다리 아이템(130)을 전개할 수 있다. 고스트 레이어(200)는 게임 인터페이스를 이용하여 사용자의 도움 요청을 수신하면 고스트 캐릭터(110)를 표시할 수 있다. 고스트 캐릭터(110)는 캐즘(115)에 도달할 때까지 오른쪽으로 걷고, 캐즘(115) 위로 점프(120)하고, 게임 화면(100)의 오른쪽 에지 근처에 사다리 아이템(130)을 전개할 수 있고, 여기서 고스트 캐릭터(110)는 사용자 제어 플레이어(105)가 따라잡을 때까지 대기할 수 있다(125). 고스트 캐릭터(110)는 캐릭터(105)와 동일하게 디스플레이되거나 캐릭터(105)와 구별될 수 있다. 예를 들어, 고스트 캐릭터(110)는 레이블 또는 아이콘으로 표시된 실루엣으로 후광 또는 하이라이트와 함께 다른 색 구성표, 음영 또는 색조로 투명하거나 반투명하게 표시될 수 있고, 고스트 캐릭터(110)가 플레이어 캐릭터(105)와 구별될 수 있는 한, 이러한 특징들 중 임의의 하나 이상의 조합을 가질 수 있다.
대안적으로, 또는 둘 이상의 작업(태스크)을 집합적이고 연속적으로 수행하는 것에 추가하여, 고스트 캐릭터(110)는 다음 작업(태스크)으로 진행하기 전에 사용자 제어 캐릭터(105)가 개별 액션(태스크)을 수행하기를 기다릴 수 있다. 예를 들어, 고스트 캐릭터(110)는 캐즘(115) 위로 점프(120)하는 것과 같은 첫 번째 작업을 수행하고, 다음 작업으로 진행하기 전에 사용자 제어 캐릭터(105)가 동일한 작업을 수행하기를 기다릴 수 있다. 캐릭터(105)가 캐즘(115) 위로 점프할 때, 고스트 캐릭터(110)는 게임 화면(100)의 오른쪽 에지로 걸어가는 두 번째 작업을 수행하고 플레이어의 캐릭터(105)가 다음 작업으로 진행하기 전에 동일한 작업을 수행하기를 기다리는(125) 등을 수행할 수 있다. 고스트 캐릭터(110)가 사용자 제어 캐릭터(105)를 기다리기 전에 단일 액션을 수행하든, 사용자 제어 캐릭터(105)를 기다리기 전에 둘 이상의 작업을 일괄적으로 수행하든, 고스트 캐릭터(110)는 고정된 횟수 또는 무한한 횟수 동안 개인 또는 집단 작업을 반복적으로 수행하여 표시될 수 있다. 이러한 방식으로, 사용자는 시도하기 전에 원하는 만큼 수행된 작업을 볼 기회를 가질 수 있다. "고스트" 객체는 또한 사용자 제어 캐릭터(105)가 객체를 구축하거나 아이템을 사용하도록 안내되는 고스트 레이어(200)에 의해 제공될 수 있다는 것을 이해해야 한다.
예를 들어, 사용자 제어(user-controlled) 캐릭터(105)가 사다리 아이템(130)을 전개하거나 상자(미도시)를 밀도록 안내되는 경우, 사용자가 진행 방법을 이해하는 데 도움을 주기 위해 고스트 사다리 아이템(130) 또는 고스트 상자가 나타날 수 있다. 사용자 제어 캐릭터(105)가 사다리 아이템(130)을 전개하거나 제안된 객체와 다른 방식으로 상호작용하면 고스트 객체가 사라질 수 있다. 고스트 객체는 고스트 캐릭터(110)를 사용자 제어 캐릭터(105)와 구별하는 것과 관련하여 이전에 설명된 임의의 방식으로 "실제(real)" 게임 객체와 구별될 수 있다.
도 2는 사용자가 현재 플레이하고 있는 게임의 게임 환경(201)에 오버레이될 수 있는 고스트 레이어(200)를 예시한다. 고스트 플레이어(105) 및/또는 사다리 아이템(130)과 같은 고스트 객체를 포함하는 고스트 레이어(200)는 하나 이상의 이전에 기록된 게임플레이 비디오(305)의 분석에 기초하여 생성될 수 있다. 게임 플레이 비디오(305)는 예를 들어 비디오 공유 웹사이트, 라이브 스트리밍 비디오 및 기타 비디오 스트리밍 소스, 기존의 비일시적 컴퓨터 메모리 저장 장치로부터 소싱(sourced)되거나, 또는 이메일, 인스턴트 메시징, SMS, 문자 메시지 등을 통한 네트워크를 통해 전송될 수 있다. 게임은 고스트 레이어(200)를 생성하는 데 사용되는 분석을 수행하기 위해 다양한 정도의 지원을 제공할 수 있다. 예에서, 게임은 지원을 거의 또는 전혀 포함하지 않을 수 있다. 비지원 게임에 대한 하나 이상의 소싱된 게임플레이 비디오(305)의 분석은 컴퓨터 비전 기술, 기계 학습 기술, 기하학적 특성, 이미지, 사운드 등 중 하나 이상에 기초한 컴퓨터 구현 프로세스에 의해 수행될 수 있다. 분석의 기초가 될 수 있는 소스 비디오(305)는 튜토리얼, 가이드, 게임플레이 세션, 콘테스트(contests), 스피드 런(speed runs), 및 플레이어의 동작이 게임을 통해 진행하는 데 일반적으로 더 성공적일 수 있는 기타 비디오로 식별될 수 있다.
도 3a는 본 요지에 따른 방법(300)의 예를 예시하는 흐름도이다. 방법(300)은 하나 이상의 소스 비디오(305)를 분석함으로써 시작할 수 있다. 소스 비디오(305)는 튜토리얼, 가이드, 워크스루, 또는 게임의 게임플레이를 나타내는 임의의 다른 비디오일 수 있다. 비디오는 게임의 각 지점에서 플레이어의 각 동작을 식별할 수 있는 임베딩된 메타데이터(metadata)를 지원하거나 지원하지 않을 수 있다. 소스 비디오가 임베딩된 메타데이터를 지원하지 않을 수 있는 경우, 분석기(359)는 도 3b의 블록도(355)에 도시된 바와 같이 분석기(359)를 사용하여 소스 비디오(305)를 개별 플레이어 액션(360-362)으로 분할할 수 있다. 방법(300)은 단계(310)에서 하나 이상의 선택된 소스 비디오(들)(305)를 개별 플레이어 액션으로 분할(세그먼트)(segment)할 수 있다. 각각의 개별 플레이어 액션(360-362)은 게임 제어기 장치를 통해 수신된 사용자 입력에 대응할 수 있다. 방법(300)은 고유 식별자(363), 의미론적 설명(364), 및 315에서 연관된 플레이어 액션(360-362)의 시간적 지속기간을 반영하는 시간 값(365)을 사용함으로써 각각의 플레이어 액션(360-362)을 식별할 수 있다. 게임 비디오(305)가 플레이어의 각 액션(동작)(371, 381, 391)을 식별하는 임베딩된 메타데이터(376)를 지원하는 경우, 분석은 각 플레이어 액션(371,381,391)을 추출하기 위해 비디오(305)를 분할하는 것과 연관될 수 있는 추가 처리(프로세싱) 없이 플레이어 액션(동작)(371, 381, 391)이 직접 추출될 수 있다는 점에서 모두 간소화되거나 제거될 수 있다. 비디오에 대한 플레이어의 동작(371, 381, 391)을 식별하는 것에 기초하여, 도 4에 도시된 바와 같이, 가상 워크스루(405)는 비디오 세그먼트(410,430,440,450,460) 및 플레이어 액션(411-413, 431-433, 451-453, 454-457)의 관련 정렬된 리스트를 포함하는 325에서 생성될 수 있다. 가상 워크스루(405)는 게임 식별자(470)를 사용하여 적용 가능한 게임을 식별할 수 있고, 게임을 처음부터 끝까지 성공적으로 진행하기 위한 디지털 로드맵으로 간주될 수 있다. 가상 워크스루(405)는 게임(470)을 통해 진행하는 데 성공한 소스 비디오(305)의 가용성에 기초하여 불완전할 수 있지만, 그럼에도 불구하고 게임(470)을 완료하기 위한 하나의 예시적인 접근 방식을 제공할 수 있다. 가상 워크스루(405)는 다양한 선택된 소스 비디오(305)로부터 추출된 비디오 세그먼트(410, 430, 440, 450, 460)를 포함할 수 있으며, 여기서 각 비디오 세그먼트(410, 430, 440, 450, 460)는 하나 이상의 플레이어 액션(411-413, 431-433, 451-453, 454-457)을 제안하는 데 의존할 수 있다. 앞서 설명한 바와 같이, 현재 사용자가 플레이하고 있는 게임은 인스턴트 게임으로 알려질 수 있다. 방법(300)은 가상 워크스루(405)에 의해 컴파일된 비디오 세그먼트(410, 430, 440, 450, 460)와 비교하기 위해 인스턴트 게임으로부터 하나 이상의 프레임을 캡처(330)할 수 있다. 매칭 알고리즘은 캡처 프레임에 기초하여, 적절한 인스턴트 게임에서 발생하는 시나리오 또는 모멘트(moment)가 가상 워크스루(405)에 저장된 비디오 세그먼트(410,430,440,450,460) 또는 335에서 별도로 이용 가능한 다른 비디오 세그먼트의 시나리오 또는 모멘트에 대응하는지 여부를 결정할 수 있다.
매칭 알고리즘이 적절한 매칭(336)를 결정하는 경우, 해당 비디오 세그먼트(410,430,440,450,460)는 비디오를 변환, 회전 및/또는 크기 조정(스케일링)하고, 이미지 파라미터를 조정하고, 재생 속도를 변경하고, 하이라이트, 레이블 또는 기타 표시기(indicators) 및 요소를 추가하고, 340에서 고스트 레이어(200)로 오버레이하기 위한 비디오 세그먼트를 준비하기 위해 관련 없는 콘텐츠를 제거함으로써 정규화될 수 있다. 보다 구체적으로, 정규화될 비디오 세그먼트(410,430,440, 450, 460)는 인스턴트 게임에서 현재 식별된 시나리오 또는 모멘트에 기초하여 사용자에게 제안될 하나 이상의 플레이어 액션(411-413, 431-433, 451-453, 454-457)을 포함할 수 있다. 345에서, 하나 이상의 제안된 플레이어 액션(411-413, 431-433, 451-453, 454-457)이 인스턴트 게임의 게임 환경(201)에 오버레이되는 고스트 레이어(200)에 표시될 수 있으므로, 현재 게임플레이(201) 및 고스트 레이어 오버레이(200)는 플레이어에게 보여진다. 예를 들어, 고스트 레이어 오버레이(200)는 기본 게임플레이(201)가 동시에 보이도록 하기 위해 반투명할 수 있다. 제안된 플레이어 액션(411-413, 431-433, 451-453, 454-457)은 한 번, 고정된 횟수 또는 사용자가 동작을 수행할 때까지 무기한 반복될 수 있다. 방법(300)은 사용자의 게임 제어기 입력, 사용자의 캐릭터에 대한 변경, 및 인스턴트 게임의 환경(201)에 발생하는 기타 변경에 기반하여 제안된 플레이어 액션(411-413, 431-433, 451-453, 454-457)의 완료를 모니터링하고 검출할 수 있다. 이전에 설명된 바와 같이, 모델(5)는 고스트 레이어(200)를 통해 제안된 플레이어 액션(동작)(411-413, 431-433, 451-453, 454-457)을 단순히 표시하는 것 외에 제안된 플레이어 동작을 생성하기 위해 사용자의 게임 제어기 입력을 에뮬레이트하도록 구성될 수 있다. 따라서, 방법(300)은 사용자로부터 실제 게임 제어기 입력을 수신하는 것에 응답할 뿐만 아니라 모델로부터 에뮬레이트된 게임 제어기 입력을 수신하는 것에 응답하여 제안된 플레이어 액션의 완료를 검출할 수 있다. 350에서 제안된 플레이어 액션의 완료를 검출하면, 고스트 레이어(200)는 하나 이상의 후속 액션(411-413, 431-433, 451-453, 454-457)을 표시하도록 업데이트될 수 있으며, 이는 345와 관련하여 이전에 설명된 바와 같이 고스트 레이어(200)에서 정규화 및 렌더링될 수 있다. 방법(300)의 임의의 단계는 도 3a에 도시된 것과 다른 순서로 수행되는 다른 단계와 병합될 수 있음을 이해해야 하며, 본 요지의 범위를 벗어나지 않고 필요에 따라 반복되거나, 완전히 제거되거나, 달리 재배열된다.
분석기(359)를 사용하여 하나 이상의 선택된 소스 비디오(305)를 분석할 때, 본 요지는 도 4에 도시된 바와 같이, 게임(470)에 대한 가상의 액션별 워크스루(405)를 생성하기 위해 성공적인 플레이어가 취한 액션을 분할, 식별 및 구별할 수 있다. 각 액션(411-413, 431-433, 451-453, 454-457)은 연관된 식별자(414-416), 의미론적 설명(417-419) 및 지속 시간(420-422)을 포함할 수 있지만 이 추가 정보는 플레이어 액션(411-413)에 대해서만 표시된다는 것을 도 4로부터 이해되어야 한다. 가상 워크스루(405)는 스크린샷, 비디오 세그먼트(410, 430, 440, 450, 460) 및 게임(470)을 통해 플레이어를 처음부터 끝까지 연속적으로 진행시키기 위해 결정된 각 플레이어 액션(411-413, 431-433, 451-453, 454-457)의 정렬된 리스트를 포함할 수 있다. 식별된 각각의 액션(동작)은 사용자에 의해 수행된 게임 제어기 입력과 일대일 대응을 공유할 수 있다.
사용자 제어 캐릭터가 두 번째(제2) 및 후속 액션을 유발하는 추가 게임 제어기 입력을 입력하지 않고 자동으로 두 개 이상의 "연결된(chained)" 액션을 수행하도록 하는 게임 제어기 입력은 둘 이상의 개별 액션이 아닌 단일 액션으로 식별될 수 있다. 액션(동작)(41-413, 431-433, 451-453, 454-457)은 고스트 레이어(200하여 일련의 액션을 제안할 때 사용자에게 혼동을 주지 않도록 게임별 제어기 입력 기반으로 사용자에게 제안될 수 있다. 예를 들어, 게임 제어기의 첫 번째 버튼을 누르면 사용자 제어 게임 캐릭터가 점프하고 플립(flip)하는 경우, 분석은 비디오의 점프 및 플립을 첫 번째 점프 액션에 이어 두 번째 플립 액션이 아닌 단일 점프/플립 액션으로 식별할 수 있다. 예를 들어, 한 방향으로의 이동에 영향을 미치는 것과 같이 일정 기간 동안 단일 게임 제어기 입력을 작동시키는 플레이어를 포함하는 액션은 더 긴 기간의 단일 액션 또는 더 짧은 지속 시간을 갖는 일련의 2개 이상의 동일한 액션으로 식별될 수 있다.
가상 워크스루(405)는 게임을 순서대로 완료하기 위해 취해진 모든 액션(411-413, 431-433, 451-453, 454-457)을 보여주는 포괄적인 마스터 비디오(480)를 형성하기 위한 하나 이상의 비디오 세그먼트 세트(410, 430, 440, 450, 460)를 포함할 수 있다. 마스터 비디오(480)는 상이한 플레이어 또는 동일한 플레이어에 의해 수행된 게임플레이 비디오 세그먼트(410, 430, 440, 450, 460)를 포함할 수 있고 다양한 비디오 소스로부터 검색될 수 있다. 사용자가 직면하고 있는 시나리오와 관련하여 결정된 마스터 비디오(480)의 일부는 이후에 설명되는 바와 같이 고스트 레이어(200)에서 재생하기 위해 마스터 비디오(480)로부터 검색될 수 있다. 가상 워크스루의 각 액션은 고유 식별자 태그, 의미론적 설명, 관련 액션의 시간적 지속 시간을 반영하는 시간 값으로 식별될 수 있다. 예를 들어, 가상 워크스루의 일부(부분)는 4.0초의 지속 시간과 함께 "오른쪽으로 이동"에 대한 설명과 함께 "비디오 세그먼트 1, 액션 1, ID #000001"을 나타내는 방식으로 태그가 지정될 수 있다. 게임이 거의 또는 전혀 지원하지 않는 전술한 설명에 더하여, 게임은 또한 고스트 레이어 분석에 대한 더 강력한 지원을 제공할 수 있다. 예를 들어, 게임은 메타데이터(376)를 내보내도록 허용하는 API(애플리케이션 프로그래밍 인터페이스)를 구현하여 비디오에서 플레이어의 액션을 식별하는 것을 지원할 수 있다. 메타데이터(376)는 분석에 유용할 수 있는 다른 유형의 정보 중에서 게임의 각 지점(포인트)에서 플레이어의 각 액션(371, 381, 391)을 식별할 수 있다. 예를 들어, 방출된 메타데이터(376)는 또한 플레이어가 죽거나 손상을 입거나 다른 방식으로 실수를 저질렀을 때마다 식별하는 정보를 포함할 수 있다. 이러한 메트릭은 하나의 게임플레이 비디오가 다른 비디오와 비교할 때 더 성공적인 게임플레이 접근을 나타낼 수 있는지 여부를 평가하는 데 사용될 수 있으며, 따라서 고스트 레이어(200) 지원을 위한 더 적합한 기반이 될 수 있다. 분석을 수행하기 위해 소싱되고 활용되는 게임플레이 비디오(305)는 각각의 비디오에서 플레이어의 스킬 레벨을 반영하는 메타데이터(376) 메트릭에 기초하여 선택될 수 있다. API는 소스 비디오(305) 내에 메타데이터(376)를 임베딩하는 것을 허용하도록 구성될 수 있고, 이에 의해 소스 비디오(305)의 후속 분석을 촉진하여 게임의 가상 워크스루(405)을 생성할 수 있다. 이러한 방식으로, 하나 이상의 소스 비디오(305)에 기초하여 플레이어의 액션을 정확하게 식별하는 것이 개선될 수 있고 분석을 수행하는 데 필요한 시간 및 복잡성이 감소되거나 완전히 제거될 수 있다.
소스 비디오(305)가 게임을 통한 진행의 모든 지점에 대해 이용 가능하지 않은 경우, 완전하고 포괄적인(comprehensive) 가상 워크스루(405)은 추가적인 노력 없이는 생성하는 것이 불가능할 수 있음을 이해해야 한다. 이 상황에서, 분석기(359)는 소스 비디오(305)가 존재하지 않는 게임의 다른 부분과 유사한 것으로 간주되는, 소스 비디오(305)가 존재하는 게임의 부분으로부터 외삽(extrapolate)을 시도하여 플레이어가 취할 성공적인 액션을 예측할 수 있다. 소스 비디오(305)는 적의 양 및/또는 유형 중 하나 이상이 동일하거나, 맵 또는 레벨이 동일하거나, 하나 이상의 장애물이 동일하거나, 다른 게임 엔티티의 임계값 수가 동일한 게임의 일부와 유사할 수 있다. 예를 들어, 소스 비디오(305)가 레벨 3에 대해 존재하지만 레벨 1에는 존재하지 않고 레벨 3이 레벨 1과 충분히 유사한 것으로 간주되는 경우, 분석기(359)는 레벨 3에 대한 소스 비디오(305)가 레벨 1을 플레이하는 동안 플레이어의 제안된 액션을 알리는 데 적절할 수 있다고 결정할 수 있다. 기계 학습 모델(5)은 현재 게임을 하고 있는 사용자에게 고스트 레이어(200)를 제공하도록 구성될 수 있다. 모델(5)은 현재 게임을 플레이하고 있는 사용자에 의한 하나 이상의 캡처된 게임플레이 프레임의 입력에 기초하여, 하나 이상의 이전에 녹화된 비디오에 기초하여 동일한 게임 내에서 동일하거나 유사한 시나리오가 발견될 수 있는지 여부를 결정할 수 있다. 현재 사용자가 직면할 수 있는 시나리오를 결정하는 데 사용될 수 있는 비디오 또는 비디오 세그먼트는 가상 워크스루(405)의 기반이 되는 비디오 세그먼트(410, 430, 440, 450, 460)와 동일하거나 동일하지 않을 수 있다. 다시 말해서, 제1(첫 번째) 비디오는 프로그래션(progression) 측면에서 사용자가 게임 내 어디에 있는지를 결정하는 데 사용될 수 있는 반면, 제2(두번 째) 비디오는 사용자가 취할 수 있는 하나 이상의 제안된 액션(411-413, 431-433, 451-453, 454-457)을 결정하는 데 사용될 수 있다.
도 2에 도시된 바와 같이, 모델(5)은 가상 워크스루(405)로부터 검색된 고스트 레이어(200)로 알려진 비디오의 스크린샷 또는 세그먼트를 게임 환경(201)에 오버레이하여 게임(470)에서 발전을 촉진할 수 있는 하나 이상의 다음 액션(411-413, 431-433, 451-453, 454-457)을 사용자에게 제안할 수 있다. 일부 경우에, 사용자가 해당 액션을 수행할 때까지 고스트 레이어(200)를 사용하여 사용자에게 단일 액션만 표시될 수 있다. 다른 경우에는 둘 이상의 액션이 순차적으로 표시될 수 있다. 고스트 레이어(200)를 통해 표시되는 액션은 1회 발생하거나, 고정된 횟수만큼 반복되거나, 사용자가 액션을 수행할 때까지 무기한 반복될 수 있다. 모델(5)은 사용자의 게임 제어기 입력, 사용자의 캐릭터에 대한 변경, 및 게임 환경(201)에 발생하는 기타 변경 중 하나 이상에 기초하여 사용자가 가이드에 표시된 제안된 액션을 수행했음을 검출할 수 있다.
모델(5)는 가상 워크스루(405)에서 제공되는 스크린샷 또는 비디오 세그먼트(410, 430, 440, 450, 460)에 대해 다양한 개선 및 변환을 제공할 수 있다. 이러한 프로세스는 이전에 녹화된 비디오 세그먼트를 "정규화(normalizing)"(340)라고 할 수 있다. 정규화(340)의 목표는 비디오 세그먼트(410, 430, 440, 450, 460)를 처리(프로세싱)하여 사용자의 뷰를 방해하지 않으면서 뷰 포인트, 스케일 및 모션과 미학적으로 매칭하는 방식으로 기존 게임 환경(201) 위에 계층화될 수 있도록 하는 것일 수 있다. 예를 들어, 모델(5)은 현재 게임 환경(201)에서 사용자의 퍼스팩티브(perspective)와 더 가깝게 매칭하도록 스크린샷 또는 비디오 세그먼트를 변환(translate), 회전, 스케일링할 수 있다. 모델(5)는 레이블, 하이라이트 및 기타 표시기 및 요소를 스크린샷 또는 비디오 세그먼트에 추가할 수 있다. 모델(5)는 가상 워크스루(405)에서 비디오 세그먼트에 존재하는 사운드를 추가하거나 제거할 수 있다. 모델(5)은 현재 플레이어 또는 현재 게임 환경(201) 시나리오와 관련이 없을 수 있는 부분과 같은 스크린샷 또는 비디오 세그먼트의 부분을 제거할 수 있다. 예를 들어, 모델(5)은 엔티티가 움직이는지 움직이지 않는지에 기초하여 이전에 녹화된 게임플레이 비디오에 표시된 엔티티를 검출하고 식별할 수 있다. 움직이지 않는 엔티티는 예를 들어 죽은 것으로 또는 그렇지 않으면 비활성적인 것으로 결정될 수 있고 현재 플레이되고 있는 게임의 고스트 레이어(200)에서 사용자에게 표시되지 않을 수 있다. 모델(5)는 스크린샷 또는 비디오 세그먼트의 감마/밝기, 콘트라스트(contrast), 색조 및 투명도를 조정할 수 있다. 모델(5)는 비디오의 재생 속도가 다를 수 있다. 예를 들어, 모델(5)은 수행되고 있는 액션(들)을 더 쉽게 인식할 수 있는 사용자의 능력을 용이하게 하기 위해 감소된 속도로 고스트 레이어(200) 비디오를 재생하도록 구성될 수 있다.
모델(5)는 기계 학습 모델을 사용하여 구현될 수 있다. 이전에 설명된 바와 같이, 모델(5)은 현재 게임을 하고 있는 사용자에 의한 게임플레이(330)의 하나 이상의 프레임의 입력에 기초하여, 하나 이상의 이전에 기록된 게임 비디오가 존재하는 동일하거나 유사한 시나리오(335)를 결정할 수 있다. 현재 플레이되고 있는 게임(330)의 하나 이상의 프레임은 비디오를 형성할 수 있고 여기에서 사용되는 바와 같이 인스턴트 게임 비디오로 지칭될 것이다.
이전에 녹화된 게임 비디오는 이전에 설명된 바와 같이 단일 소스로부터의 검색을 단순화하기 위해 포괄적인 마스터 비디오(480)로 컴파일되거나 별도로 유지될 수 있다. 모델(5)는 인스턴트 게임 비디오(330)를 마스터 비디오(480) 또는 별도로 소싱된 비디오로부터 이전에 기록된 게임 비디오(305)의 세그먼트와 매칭(335)할 수 있다. 매칭(336)은 이전에 녹화된 게임 비디오에서 보여지는 상황이 인스턴트 게임 비디오에서 동일하거나 유사한 상황인지에 대한 모델의 확실성을 반영하는 예측 점수에 기초하여 결정될 수 있다. 모델(5)에 의해 구현된 매칭 알고리즘은 이전에 녹화된 게임 비디오(305)와 인스턴트 게임 비디오(330) 사이의 키 포인트를 식별하고 매칭할 수 있는 SIFT(scale-invariant feature transform) 알고리즘에 기초할 수 있다. 매칭 알고리즘은 또한 신경망이 이전에 녹화된 게임 비디오와 인스턴트 게임 비디오에 대한 임베딩 공간을 학습하도록 훈련될 수 있는 딥 러닝을 기반으로 할 수 있으며, 매칭은 이전에 녹화된 게임 비디오과 인스턴트 게임 비디오의 임베딩 사이의 거리를 기반으로 수행될 수 있다. 매칭 알고리즘이 임계 예측 점수를 충족하거나 임베딩 사이의 임계 거리를 충족하는 것에 기초하여 이전에 녹화된 비디오 세그먼트가 인스턴트 게임 비디오(330)와 적절하게 매칭되는지를 결정하는 경우, 모델(5)은 고스트 레이어(200)에 이전에 녹화된 비디오 세그먼트를 제공하는 것이 사용자에게 도움이 될 수 있다고 결정할 수 있고 사용자가 그렇게 할 수 있는 경우 이를 제공할 수 있다.
고스트 레이어(200)는 사용자에게 다양한 정도의 안내를 제공하기 위해 호출될 수 있다. 이전에 설명된 바와 같이, 고스트 레이어(200)는 인스턴트 게임 환경(201) 내에서 변환, 조정 및 사용자에게 제공될 수 있는 비디오의 형태로 사용자에게 표시될 수 있다. 따라서 사용자는 고스트 레이어(200) 비디오에 나타난 각각의 액션을 관찰함으로써 학습할 수 있다. 원하는 경우, 모델(5)은 또한 이전에 녹화된 게임 비디오(들) 및/또는 가상 워크스루(405)에서 제안된 액션을 수행하기 위해 해당 게임 제어기 입력을 에뮬레이트함으로써 사용자로부터 제어를 받을 수 있다. 이 기능은 예를 들어 강화 학습 알고리즘을 사용하여 구현할 수 있다. 일 실시예에서, 게임 제어기로부터 수신될 수 있는 모든 가능한 입력을 포함하는 액션 공간이 정의될 수 있다. 강화 학습 알고리즘은 소스 비디오(305)에 표시된 게임플레이를 모방하려고 시도하기 위해 소스 게임플레이 비디오(305)를 사용하여 훈련(트레이닝)할 수 있다. 예를 들어, 액션이 수행될 때마다 현재 프레임, 액션 및 다음 프레임을 포함하는 벡터가 생성될 수 있다. 다음 프레임은 액션을 수행하기 위해 게임 제어기 입력을 에뮬레이트한 후에 표시되는 게임플레이 이미지를 기반으로 할 수 있다. 픽셀 거리 손실 계산은 소스 비디오(305)에서 액션을 취한 후 얻은 다음 프레임과 액션을 따르는 다음 프레임 간의 차이를 식별하는 데 사용될 수 있다. 사용자는 고스트 레이어(200)로부터 안내 정도(degree of guidance)를 구성하는 옵션을 제공받을 수 있다. 예를 들어, 사용자는 모델(5)이 인스턴트 게임의 더 어려운 부분 동안 게임 제어기 입력을 제어하고 사용자가 고스트 레이어(200) 비디오를 단순히 관찰하고 더 쉬운 부분에서 자신의 게임 제어기 입력을 제공하도록 하는 것을 선호할 수 있다. 모델(5)는 제어하는 정도도 다를 수 있다. 예를 들어, 사용자가 장애나 부상으로 인해 어려움을 겪을 수 있는 경우 모델(5)는 보완을 통해 게임의 일부를 통해 플레이어를 진행시키는 데 필요한 제어기 입력의 복잡성 및/또는 수를 줄일 수 있다. 모델(5)는 사용자의 게임 제어기 입력을 추가 게임 제어기 입력으로 보완함으로써 이를 달성할 수 있으며, 이에 따라 사용자가 제공할 게임 제어기 입력의 총 수 및/또는 동시 게임 제어기 입력의 수를 줄일 수 있다. 게임의 다른 부분에서 사용자는 고스트 레이어(200)를 전혀 표시하지 않고 그 시간 동안 비활성화하는 것을 선호할 수 있다.
일 실시예에서, 인스턴트 게임에서 사용자에게 제공되는 고스트 레이어(200)는 하나 이상의 미리 녹화된 소스 비디오(305)에서 플레이어의 성능에 기반하기보다는 현재 동일한 게임을 라이브 스트리밍하고 있는 플레이어의 성능에 기반할 수 있다. 즉, 라이브 스트리밍 플레이어의 액션은 앞서 설명된 바와 같이 변환될 수 있고 그리고 인스턴트 게임의 사용자의 게임 환경(201)을 오버레이할 수 있는 고스트 레이어(200)에서 제공될 수 있다. 이러한 방식으로, 라이브 스트리밍 플레이어는 고스트 레이어 지원 사용자에게 실시간으로 "코칭(coaching)"을 제공할 수 있다.
일 실시예에서, 소싱된 게임플레이 비디오(305)와 사용자에 의해 현재 플레이되고 있는 게임의 하나 이상의 프레임 사이에 매칭이 존재하는지 여부를 결정하기 위해 프로세스가 사용될 수 있다. 소싱된 게임플레이 비디오(305)에 기초하여, 하나 이상의 엔티티를 포함하는 3차원 또는 2차원 게임 환경이 재구성될 수 있다. 엔티티는 예를 들어 적, 적 패턴, 오브젝트, 출입구, 건물, 레벨, 지도, 트랙, 장애물, 또는 사용자가 본 게임플레이를 정의하는 기타 기능일 수 있다. 게임 환경(201) 내의 각각의 엔티티는 메타데이터에 저장될 수 있는 좌표 및/또는 다각형 형상의 세트를 사용하여 추출되고 대략적으로 정의될 수 있다. 메타데이터는 텍스처 또는 이미지 정보, 엔티티 유형, 설명 등과 같은 각 게임 인티티에 대한 추가 정보를 포함할 수 있다. 사용자가 현재 플레이하고 있는 게임과 관련된 게임 플랫폼은 각 게임 상태에 존재하는 엔티티를 설명 및/또는 정의할 수 있다. 이러한 컨텍스트에서, 게임 상태는 사용자가 취한 액션 사이에 발생하는 하나 이상의 프레임의 세트를 의미할 수 있다. 사용자에게 제시되는 하나 이상의 정의된 엔티티를 포함하는 현재 게임 상태는 매칭 가능성이 있는지를 결정하기 위해 재구성된 게임 환경과 비교될 수 있다. 매칭은 예를 들어 소스 비디오(305)에서 플레이어에게 제시되는 시나리오가 현재 플레이되고 있는 게임에서 사용자에게 제시되는 게임 환경(201)과 동일하거나 유사하다는 것을 나타낼 수 있다. 매칭(336)는 구성된 게임 환경에 도시된 엔티티를 추출하고 이를 게임플레이 동안 사용자에게 현재 디스플레이되는 게임 환경(201)에 도시된 엔티티와 비교하기 위해 추출 알고리즘을 사용하여 결정될 수 있다. 일 예에서, 게임 환경(201)과 구축된 게임 환경 간의 매칭은 엔티티별 비교 등에 기초하여 수행될 수 있다. 게임 환경(201)과 구성된 게임 환경 간의 동일한 게임 엔티티의 수가 많을수록 유사도가 높을 수 있고, 동일한 게임 엔티티의 수가 적을수록 유사도가 낮을 수 있다. 임계값은 매칭(336)이 긍정적으로 식별되기 위해 동일한 것으로 간주될 수 있는 게임 엔티티의 최소 수량을 설정하도록 구성될 수 있다. 가중치는 유형에 따라 각 게임 엔티티에 할당되고 매칭 알고리즘에 통합될 수 있다. 예를 들어, 레이싱 게임에서, 소스 비디오(305)와 현재 플레이되고 있는 게임에서 플레이어가 경주하고 있는 트랙 사이의 동일한 레이스트랙(racetrack)은 플레이어가 경주하고 있는 다른 자동차의 수 또는 유형보다 더 큰 유사도 지표를 제공하기 위해 가중치를 부여할 수 있다. 고스트 레이어(200) 인터페이스는 이전에 설명된 바와 같이, 레이블, 주석 또는 기타 요소에 추가하여, 소스 비디오(305)로부터의 하나 이상의 프레임을 소스 비디오(305)로부터 추출된 엔티티 및/또는 매칭에 기초하여 사용자의 현재 게임 환경(201)에 오버레이할 수 있다.
현재 개시된 요지의 실시예는 다양한 컴포넌트 및 네트워크 아키텍처에서 구현 및 사용될 수 있다. 도 5는 현재 개시된 요지의 실시예를 구현하기에 적합한 예시적인 컴퓨팅 장치(20)이다. 장치(디바이스)(20)는, 예를 들어, 데스크탑 또는 랩탑 컴퓨터, 또는 스마트 폰, 태블릿 등과 같은 모바일 컴퓨팅 장치일 수 있다. 장치(20)는 중앙 프로세서(24), RAM(Random Access Memory), ROM(Read Only Memory), 플래시 RAM 등과 같은 메모리(27)와 같은 컴퓨터(20)의 주요 컴포넌트를 상호 연결하는 버스(21), 디스플레이 스크린과 같은 사용자 디스플레이(22), 키보드, 마우스, 터치 스크린 등과 같은 관련 사용자 입력 장치 및 하나 이상의 제어기를 포함할 수 있는 사용자 입력 인터페이스(사용자 입력)(26), 하드 드라이브, 플래시 스토리지 등과 같은 고정 스토리지(저장소)(23), 광 디스크, 플래시 드라이브 등을 제어하고 수신하도록 작동하는 이동식 미디어 컴포넌트(이동식 미디어)(25), 및 적절한 네트워크 연결을 통해 하나 이상의 원격 장치와 통신하도록 작동 가능한 네트워크 인터페이스(29)를 포함할 수 있다.
버스(21)는 이전에 언급된 바와 같이 RAM, ROM 및 다른 메모리를 포함할 수 있는 하나 이상의 메모리 컴포넌트와 중앙 프로세서(24) 사이의 데이터 통신을 허용한다. 일반적으로 RAM은 운영 체제와 응용 프로그램이 로드되는 주 메모리이다. ROM 또는 플래시 메모리 컴포넌트에는 주변 컴포넌트와의 상호 작용과 같은 기본 하드웨어 작동을 제어하는 BIOS(Basic Input-Output system)가 포함될 수 있다. 컴퓨터(20)에 상주하는 애플리케이션은 일반적으로 하드 디스크 드라이브(예를 들어, 고정 스토리지(23)), 광학 드라이브, 플로피 디스크 또는 기타 저장 매체와 같은 컴퓨터 판독 가능 매체에 저장되고 이를 통해 액세스된다.
고정 저장소(23)는 컴퓨터(20)와 통합될 수 있거나 분리되어 다른 인터페이스를 통해 액세스될 수 있다. 네트워크 인터페이스(29)는 유선 또는 무선 연결을 통해 원격 서버에 대한 직접 연결을 제공할 수 있다. 네트워크 인터페이스(29)는 디지털 셀룰러 전화, WiFi, Bluetooth(R), 근거리장 등을 포함하는 당업자에 의해 용이하게 이해될 임의의 적절한 기술 및 프로토콜을 사용하여 그러한 연결을 제공할 수 있다. 예를 들어, 네트워크 인터페이스(29)는 아래에서 더 상세히 설명되는 바와 같이 컴퓨터가 하나 이상의 로컬, 광역, 또는 다른 통신 네트워크를 통해 다른 컴퓨터와 통신하도록 할 수 있다.
많은 다른 장치 또는 컴포넌트(미도시)가 유사한 방식으로 연결될 수 있다(예: 문서 스캐너, 디지털 카메라 등). 반대로, 도 5에 도시된 모든 컴포넌트는 본 개시내용을 실행하기 위해 존재할 필요는 없다. 컴포넌트는 표시된 것과 다른 방식으로 상호 연결할 수 있다. 도 5에 도시된 것과 같은 컴퓨터의 동작은 당업계에 쉽게 알려져 있고 본 출원에서 상세하게 설명되지 않는다. 본 개시를 구현하기 위한 코드는 메모리(27), 고정 스토리지(23), 이동식 매체(25) 중 하나 이상과 같은 컴퓨터 판독 가능 저장 매체에, 또는 원격 저장 위치에 저장될 수 있다.
도 6은 개시된 요지의 실시예에 따른 예시적인 네트워크 배열을 도시한다. 로컬 컴퓨터, 스마트폰, 태블릿 컴퓨팅 장치 등과 같은 하나 이상의 장치(10, 11)는 하나 이상의 네트워크(7)를 통해 다른 장치에 연결할 수 있다. 각각의 장치는 이전에 설명된 컴퓨팅 장치일 수 있다. 네트워크는 로컬 네트워크, 광역 네트워크, 인터넷, 또는 임의의 다른 적절한 통신 네트워크 또는 네트워크일 수 있으며, 유선 및/또는 무선 네트워크를 포함하는 임의의 적절한 플랫폼에서 구현될 수 있다. 장치는 서버(13) 및/또는 데이터베이스(15)와 같은 하나 이상의 원격 장치와 통신할 수 있다. 원격 장치는 장치(10, 11)에 의해 직접 액세스될 수 있거나, 서버(13)가 데이터베이스(15)에 저장된 리소스에 대한 액세스를 제공하는 경우와 같이 하나 이상의 다른 장치가 중개 액세스를 제공할 수 있다. 장치(10, 11)는 또한 원격 플랫폼(17) 또는 클라우드 컴퓨팅 장치 및 서비스와 같은 원격 플랫폼(17)에 의해 제공되는 서비스에 액세스할 수 있다. 원격 플랫폼(17)은 하나 이상의 서버(13) 및/또는 데이터베이스(15)를 포함할 수 있다.
도 7은 개시된 요지의 실시예에 따른 예시적인 배열을 도시한다. 원격 서비스 또는 서비스 제공자(11)와 같은 하나 이상의 장치 또는 시스템(10, 11), 로컬 컴퓨터, 스마트폰, 태블릿 컴퓨팅 장치 등과 같은 사용자 장치(10)는 하나 이상의 네트워크(7)를 통해 다른 장치에 연결할 수 있다. 네트워크는 로컬 네트워크, 광역 네트워크, 인터넷, 또는 임의의 다른 적절한 통신 네트워크 또는 네트워크일 수 있으며, 유선 및/또는 무선 네트워크를 포함하는 임의의 적절한 플랫폼에서 구현될 수 있다. 장치(10, 11)는 처리(프로세싱) 유닛(14), 데이터베이스(15), 및 사용자 인터페이스 시스템(13)과 같은 하나 이상의 원격 컴퓨터 시스템과 통신할 수 있다. 일부 경우에, 장치(10, 11)는 데이터베이스(15), 처리 유닛(14) 등과 같은 하나 이상의 다른 시스템에 대한 액세스를 제공할 수 있는 사용자 대면(user-facing) 인터페이스 시스템(13)과 통신할 수 있다. 예를 들어, 사용자 인터페이스(13)는 하나 이상의 다른 컴퓨터 시스템으로부터의 데이터를 제공하는 사용자 액세스 가능한 웹 페이지일 수 있다. 사용자 인터페이스(13)는 사람이 읽을 수 있는 웹 페이지가 사용자 장치(10)의 웹 브라우저 클라이언트에 제공되고 컴퓨터가 읽을 수 있는 API 또는 다른 인터페이스가 원격 서비스 클라이언트(11)에 제공되는 것과 같이 서로 다른 클라이언트에 서로 다른 인터페이스를 제공할 수 있다.
사용자 인터페이스(13), 데이터베이스(15), 및/또는 처리 유닛(14)은 통합 시스템의 일부일 수 있거나 사설 네트워크, 인터넷 또는 임의의 다른 적절한 네트워크를 통해 통신하는 다중 컴퓨터 시스템을 포함할 수 있다. 하나 이상의 처리 유닛(14)은 예를 들어, 클라우드 기반 컴퓨팅 시스템, 검색 엔진, 콘텐츠 전달 시스템 등과 같은 분산 시스템의 일부일 수 있으며, 데이터베이스(15) 및/또는 사용자 인터페이스(13)도 포함하거나 이와 통신할 수 있다. 일부 배열에서, 기계 학습 모델(5)은 다양한 예측 모델, 데이터 분석 등을 하나 이상의 다른 시스템(13, 14, 15)에 제공할 수 있다.
보다 일반적으로, 현재 개시된 요지의 다양한 실시예는 이러한 프로세스를 실행하기 위한 컴퓨터 구현 프로세스 및 장치를 포함하거나 그 형태로 구현될 수 있다. 실시예는 또한 플로피 디스켓, CD-ROM, 하드 드라이브, USB(universal serial bus) 드라이브와 같은 비일시적 및/또는 유형 매체에 구현된 명령어를 포함하는 컴퓨터 프로그램 코드를 갖는 컴퓨터 프로그램 제품의 형태로 구현될 수 있거나, 컴퓨터 프로그램 코드가 컴퓨터에 로드되어 컴퓨터에 의해 실행될 때 컴퓨터가 개시된 요지의 실시예를 실행하기 위한 장치가 되도록 하는 임의의 다른 기계 판독 가능 저장 매체의 형태로 구현될 수 있다. 범용 마이크로프로세서에서 구현될 때 컴퓨터 프로그램 코드 세그먼트는 특정 논리 회로를 생성하도록 마이크로프로세서를 구성한다.
일부 구성에서, 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 판독 가능 명령어 세트는 범용 프로세서에 의해 구현될 수 있으며, 이는 범용 프로세서 또는 범용 프로세서를 포함하는 장치를 명령어를 구현하거나 수행하도록 구성된 특수 목적 장치로 변환할 수 있다.
실시예는 하드웨어 및/또는 펌웨어에서 개시된 요지의 실시예에 따른 기술의 전부 또는 일부를 구현하는 범용 마이크로프로세서 및/또는 ASIC(Application Specific Integrated Circuit)과 같은, 프로세서를 포함할 수 있는 하드웨어를 사용하여 구현될 수 있다. 프로세서는 RAM, ROM, 플래시 메모리, 하드 디스크 또는 전자 정보를 저장할 수 있는 기타 장치와 같은 메모리에 연결될 수 있다. 메모리는 개시된 요지의 실시예에 따른 기술을 수행하기 위해 프로세서에 의해 실행되도록 적응된 명령어를 저장할 수 있다.
본 발명은 게임플레이 지원을 찾고 얻는 것과 관련된 마찰(friction)을 줄임으로써 게임의 사용자의 즐거움을 향상시킬 수 있다. 여기에 개시된 실시예는 사용자가 게임을 종료하지 않고 게임을 플레이하는 동안 게임 내 지원을 받는 것을 허용할 수 있다. 여기에 개시된 실시예는 사용자가 문제를 겪고 있는 게임의 일부를 통해 성공적인 플레이어가 진행하는 것을 관찰하기 위해 비디오 공유 웹사이트에서 관련 게임플레이 비디오를 검색하는 것을 사용자로부터 덜어줄 수 있다. 여기에 개시된 실시예는 도움을 찾는 종래의 방법과 비교할 때 편리하고 시간을 절약하는 방식으로 사용자에게 게임 내 지원을 제공하기 위해 이용 가능한 대규모의 기존 게임플레이 비디오 라이브러리를 활용할 수 있다. 본 명세서에 개시된 실시예는 게임의 난이도를 감소시키기 위해 사용자의 게임 제어기 입력에 대한 다양한 제어 정도를 가정할 수 있다.
전술한 설명은 설명을 위해 특정 실시예를 참조하여 설명되었다. 그러나, 위의 예시적인 설명은 완전한 것으로 의도되지 않거나 개시된 요지의 실시예를 개시된 정확한 형태로 제한하도록 의도되지 않는다. 상기 교시를 고려하여 많은 수정 및 변형이 가능하다. 실시예는 개시된 요지의 실시예의 원리 및 이들의 실제 적용을 설명하기 위해 선택되고 설명되어, 이에 의해 당업자가 이러한 실시예 뿐만 아니라 고려되는 특정 용도에 적합할 수 있는 다양한 수정을 갖는 다양한 실시예를 활용할 수 있도록 한다.
여기에 공개된 구현은 다음과 같은 시스템, 장치, 배열, 기술 및 구성을 포함할 수 있다.
1. 컴퓨터로 구현되는 방법으로서,
소스 비디오를 수신하는 단계;
상기 소스 비디오에서 캡처된 게임플레이에서 발생하는 복수의 플레이어 액션을 식별하는 단계;
제2 비디오를 수신하는 단계 -상기 제2 비디오는 현재 실행 중인 게임 환경에 기초함-;
상기 소스 비디오의 부분이 상기 제2 비디오의 게임플레이 상황과 유사한 제1 게임플레이 상황을 나타내는지를 결정하는 단계;
상기 소스 비디오의 결정된 부분의 속성을 조정하여 가이드 비디오를 생성하는 단계; 그리고
상기 가이드 비디오를 상기 현재 실행 중인 게임 환경에 오버레이하는 단계를 포함한다.
2. 구현 1에 있어서, 상기 방법은, 소스 비디오 부분을 복수의 플레이어 액션으로 분할하는 단계를 더 포함한다.
3. 구현 1 또는 구현 2의 방법에 있어서, 상기 방법은, 상기 소스 비디오 내에 임베딩된 메타데이터로부터 플레이어 액션의 리스트를 추출하는 단계를 더 포함한다.
4. 구현 3의 방법에서, 상기 메타데이터는 플레이어의 스킬 레벨을 반영하는 하나 이상의 메트릭을 더 포함하고, 상기 방법은 상기 하나 이상의 메트릭에 기초하여 상기 소스 비디오를 선택하는 단계를 더 포함한다.
5. 선행하는 구현들 중 어느 하나의 구현예에 있어서, 상기 방법은, 상기 현재 실행 중인 게임 환경에서 완료된 플레이어 액션을 검출하는 단계; 그리고 상기 검출된 완료된 플레이어 액션에 응답하여 업데이트된 가이드 비디오를 오버레이하는 단계를 더 포함한다.
6. 선행하는 구현들 중 어느 하나에 있어서, 각각의 식별된 플레이어 액션은 사용자로부터 수신된 게임 제어기 입력과 일대일 대응(one-to-one correspondence)을 공유한다.
7. 선행하는 구현들 중 어느 하나에 있어서, 상기 방법은, 상기 소스 비디오 및 하나 이상의 2차 소스 비디오 중 적어도 하나, 그리고 상기 소스 비디오 및 상기 하나 이상의 2차 소스 비디오 중 적어도 하나의 하나 이상의 세그먼트에 해당하는 플레이어 액션의 리스트에 기초하여, 가상 워크스루(virtual walkthrough)를 컴파일하는 단계를 더 포함한다.
8. 선행하는 구현들 중 어느 하나의 구현예에 있어서, 상기 결정하는 단계는 소스 비디오의 세그먼트의 제1 임베딩과 임베딩 공간에 걸친 상기 제2 비디오의 제2 임베딩 사이의 거리를 계산하는 것에 기초한다.
9. 선행하는 구현들 중 어느 하나에 있어서, 상기 속성을 조정하는 것은,
상기 결정된 부분을 회전시키는 것;
상기 결정된 부분을 변환하는 것;
상기 결정된 부분을 스케일링하는 것;
상기 결정된 부분의 재생 속도를 조정하는 것;
상기 결정된 부분에 요소를 추가하는 것;
상기 결정된 부분에서 요소를 제거하는 것; 그리고
상기 결정된 부분의 투명도를 조정하는 것으로 구성된 그룹에서 선택된 하나 이상을 포함한다.
10. 선행하는 구현들 중 어느 하나의 구현예에 있어서, 상기 방법은,
복수의 플레이어 액션 중 하나 이상의 제안된 플레이어 액션을 식별하는 단계를 더 포함하며,
상기 가이드 비디오를 오버레이하는 단계는 상기 현재 실행 중인 게임 환경에서 상기 하나 이상의 제안된 플레이어 액션을 오버레이하는 단계를 더 포함하며; 그리고
상기 완료된 플레이어 액션을 검출하는 단계는 플레이어가 상기 제안된 플레이어 액션 중 하나 이상을 수행했음을 검출하는 단계를 더 포함한다.
11. 선행하는 구현들 중 어느 하나에 있어서, 상기 완료된 플레이어 액션은 게임 제어기로부터 발생하지 않는 에뮬레이트된(emulated) 게임 제어기 입력을 수신하는 것에 기초한다.
12. 선행하는 구현들 중 어느 하나에 있어서, 상기 소스 비디오의 부분이 제1 게임플레이 상황을 나타내는지를 결정하는 단계는 복수의 게임플레이 비디오 중에서 상기 소스 비디오를 선택하는 단계를 포함한다.
13. 선행하는 구현들 중 어느 하나에 있어서, 상기 소스 비디오를 수신하는 것 및 복수의 플레이어 액션을 식별하는 것은 상기 제2 비디오를 수신한 후에 수행된다.
14. 선행하는 구현들 중 어느 하나의 구현예에 있어서, 상기 방법은, 상기 현재 실행 중인 게임 환경의 사용자로부터 가이드 비디오를 생성하기 위한 요청을 수신하는 단계를 더 포함하고, 상기 가이드 비디오를 오버레이하는 것은 상기 요청에 응답하여 수행된다.
15. 하나 이상의 컴퓨팅 시스템에 의해 실행될 때 액션들을 수행하게 하는 명령어를 포함하는 비일시적 컴퓨터 판독가능 매체로서, 상기 액션들은,
소스 비디오를 수신하는 액션;
상기 소스 비디오에서 캡처된 게임플레이에서 발생하는 복수의 플레이어 액션을 식별하는 동작;
제2 비디오를 수신하는 동작 -상기 제2 비디오는 현재 실행 중인 게임 환경에 기초함-;
상기 소스 비디오의 부분이 상기 제2 비디오의 게임플레이 상황과 유사한 게임플레이 상황을 나타내는지를 결정하는 동작;
상기 소스 비디오의 결정된 부분의 속성을 조정하여 가이드 비디오를 생성하는 동작; 그리고
상기 가이드 비디오를 상기 현재 실행 중인 게임 환경에 오버레이하는 동작을 포함한다.
16. 구현 15에 있어서, 상기 비일시적 컴퓨터 판독가능 매체는, 소스 비디오 부분을 복수의 플레이어 액션으로 분할하도록 동작가능한 명령어를 더 포함한다.
17. 구현 15 또는 16에 있어서, 상기 비일시적 컴퓨터 판독가능 매체는, 상기 소스 비디오 내에 임베딩된 메타데이터로부터 플레이어 액션의 리스트를 추출하도록 동작가능한 명령어를 더 포함한다.
18. 구현 17에서, 상기 메타데이터는 플레이어의 스킬 레벨을 반영하는 하나 이상의 메트릭을 더 포함하고, 상기 비일시적 컴퓨터 판독가능 매체는 상기 하나 이상의 메트릭에 기초하여 상기 소스 비디오를 선택하도록 동작가능한 명령어를 더 포함한다.
19. 선행하는 구현들 중 어느 하나에 있어서, 상기 비일시적 컴퓨터 판독가능 매체는, 상기 현재 실행 중인 게임 환경에서 완료된 플레이어 액션을 검출하고; 그리고 상기 검출된 완료된 플레이어 액션에 응답하여 업데이트된 가이드 비디오를 오버레이하도록 동작가능한 명령어를 더 포함한다.
20. 선행하는 구현들 중 어느 하나에 있어서, 각각의 식별된 플레이어 액션은 사용자로부터 수신된 게임 제어기 입력과 일대일 대응(one-to-one correspondence)을 공유한다.
21. 선행하는 구현들 중 어느 하나에 있어서, 상기 비일시적 컴퓨터 판독가능 매체는,
하나 이상의 2차 소스 비디오 및 상기 소스 비디오 중 적어도 하나, 그리고
상기 하나 이상의 2차 소스 비디오 및 상기 소스 비디오 중 적어도 하나의 하나 이상의 세그먼트에 해당하는 플레이어 액션의 리스트에 기초하여,
가상 워크스루(virtual walkthrough)를 컴파일하도록 동작가능한 명령어를 더 포함한다.
22. 선행하는 구현들 중 어느 하나에 있어서, 상기 결정하는 동작은 상기 소스 비디오의 세그먼트의 제1 임베딩과 임베딩 공간에 걸친 상기 제2 비디오의 제2 임베딩 사이의 거리를 계산하는 것에 기초한다.
23. 선행하는 구현들 중 어느 하나에 있어서, 상기 속성을 조정하도록 동작 가능한 명령어는,
상기 결정된 부분을 회전시키는 것;
상기 결정된 부분을 변환하는 것;
상기 결정된 부분을 스케일링하는 것;
상기 결정된 부분의 재생 속도를 조정하는 것;
상기 결정된 부분에 요소를 추가하는 것;
상기 결정된 부분에서 요소를 제거하는 것; 그리고
상기 결정된 부분의 투명도를 조정하는 것으로 구성된 그룹에서 선택된 하나 이상을 수행하도록 동작 가능한 명령어를 더 포함한다.
24. 선행하는 구현들 중 어느 하나에 있어서, 상기 비일시적 컴퓨터 판독가능 매체는,
복수의 플레이어 액션 중 하나 이상의 제안된 플레이어 액션을 식별하도록 동작 가능한 명령어를 더 포함하며;
상기 가이드 비디오를 오버레이하도록 동작 가능한 명령어는 상기 현재 실행 중인 게임 환경에서 상기 하나 이상의 제안된 플레이어 액션을 오버레이하도록 동작 가능한 명령어를 더 포함하며; 그리고
상기 완료된 플레이어 액션을 검출하도록 동작 가능한 명령어는 플레이어가 상기 제안된 플레이어 액션 중 하나 이상을 수행했음을 검출하도록 동작 가능한 명령어를 더 포함한다.
25. 선행하는 구현들 중 어느 한 구현에 있어서, 상기 완료된 플레이어 액션은 게임 제어기로부터 발생하지 않는 에뮬레이트된(emulated) 게임 제어기 입력을 수신하도록 동작 가능한 명령어에 기초한다.
26. 선행하는 구현들 중 어느 한 구현에 있어서, 상기 소스 비디오의 부분이 제1 게임플레이 상황을 나타내는지를 결정하도록 동작 가능한 명령어는 복수의 게임플레이 비디오 중에서 상기 소스 비디오를 선택하도록 동작 가능한 명령어를 더 포함한다.
27. 선행하는 구현들 중 어느 한 구현에 있어서, 상기 소스 비디오를 수신하고 및 복수의 플레이어 액션을 식별하도록 동작 가능한 명령어는 상기 제2 비디오를 수신하도록 동작 가능한 명령어에 후속하여 수행된다.
28. 선행하는 구현들 중 어느 한 구현에 있어서, 상기 비일시적 컴퓨터 판독가능 매체는 상기 현재 실행 중인 게임 환경의 사용자로부터 가이드 비디오를 생성하기 위한 요청을 수신하도록 동작 가능한 명령어를 더 포함하고, 상기 가이드 비디오를 오버레이하도록 동작 가능한 명령어는 상기 요청에 응답하여 수행된다.
Claims (28)
- 컴퓨터로 구현되는 방법으로서,
소스 비디오를 수신하는 단계;
상기 소스 비디오에서 캡처된 게임플레이에서 발생하는 복수의 플레이어 액션을 식별하는 단계;
제2 비디오를 수신하는 단계 -상기 제2 비디오는 현재 실행 중인 게임 환경에 기초함-;
상기 소스 비디오의 부분이 상기 제2 비디오의 게임플레이 상황과 유사한 제1 게임플레이 상황을 나타내는지를 결정하는 단계;
상기 소스 비디오의 결정된 부분의 속성을 조정하여 가이드 비디오를 생성하는 단계; 그리고
상기 가이드 비디오를 상기 현재 실행 중인 게임 환경에 오버레이하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법. - 제1항에 있어서, 상기 방법은,
소스 비디오 부분을 복수의 플레이어 액션으로 분할하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법. - 제1항에 있어서, 상기 방법은,
상기 소스 비디오 내에 임베딩된 메타데이터로부터 플레이어 액션의 리스트를 추출하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법. - 제3항에 있어서, 상기 메타데이터는 플레이어의 스킬 레벨을 반영하는 하나 이상의 메트릭을 더 포함하고,
상기 방법은 상기 하나 이상의 메트릭에 기초하여 상기 소스 비디오를 선택하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법. - 제1항에 있어서, 상기 방법은,
상기 현재 실행 중인 게임 환경에서 완료된 플레이어 액션을 검출하는 단계; 그리고
상기 검출된 완료된 플레이어 액션에 응답하여 업데이트된 가이드 비디오를 오버레이하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법. - 제1항에 있어서, 각각의 식별된 플레이어 액션은 사용자로부터 수신된 게임 제어기 입력과 일대일 대응(one-to-one correspondence)을 공유하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
- 제1항에 있어서, 상기 방법은,
상기 소스 비디오 및 하나 이상의 2차 소스 비디오 중 적어도 하나, 그리고
상기 소스 비디오 및 상기 하나 이상의 2차 소스 비디오 중 적어도 하나의 하나 이상의 세그먼트에 해당하는 플레이어 액션의 리스트에 기초하여,
가상 워크스루(virtual walkthrough)를 컴파일하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법. - 제1항에 있어서, 상기 결정하는 단계는 소스 비디오의 세그먼트의 제1 임베딩과 임베딩 공간에 걸친 상기 제2 비디오의 제2 임베딩 사이의 거리를 계산하는 것에 기초하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
- 제1항에 있어서, 상기 속성을 조정하는 것은,
상기 결정된 부분을 회전시키는 것;
상기 결정된 부분을 변환하는 것;
상기 결정된 부분을 스케일링하는 것;
상기 결정된 부분의 재생 속도를 조정하는 것;
상기 결정된 부분에 요소를 추가하는 것;
상기 결정된 부분에서 요소를 제거하는 것; 그리고
상기 결정된 부분의 투명도를 조정하는 것으로 구성된 그룹에서 선택된 하나 이상을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법. - 제1항에 있어서, 상기 방법은,
복수의 플레이어 액션 중 하나 이상의 제안된 플레이어 액션을 식별하는 단계를 더 포함하며,
상기 가이드 비디오를 오버레이하는 단계는 상기 현재 실행 중인 게임 환경에서 상기 하나 이상의 제안된 플레이어 액션을 오버레이하는 단계를 더 포함하며; 그리고
상기 완료된 플레이어 액션을 검출하는 단계는 플레이어가 상기 제안된 플레이어 액션 중 하나 이상을 수행했음을 검출하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법. - 제1항에 있어서,
상기 완료된 플레이어 액션은 게임 제어기로부터 발생하지 않는 에뮬레이트된(emulated) 게임 제어기 입력을 수신하는 것에 기초하는 것을 특징으로 하는 컴퓨터로 구현되는 방법. - 제1항에 있어서, 상기 소스 비디오의 부분이 제1 게임플레이 상황을 나타내는지를 결정하는 단계는 복수의 게임플레이 비디오 중에서 상기 소스 비디오를 선택하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
- 제1항에 있어서, 상기 소스 비디오를 수신하는 것 및 복수의 플레이어 액션을 식별하는 것은 상기 제2 비디오를 수신한 후에 수행되는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
- 제1항에 있어서, 상기 방법은,
상기 현재 실행 중인 게임 환경의 사용자로부터 가이드 비디오를 생성하기 위한 요청을 수신하는 단계를 더 포함하고,
상기 가이드 비디오를 오버레이하는 것은 상기 요청에 응답하여 수행되는 것을 특징으로 하는 컴퓨터로 구현되는 방법. - 하나 이상의 컴퓨팅 시스템에 의해 실행될 때 동작들을 수행하게 하는 명령어를 포함하는 비일시적 컴퓨터 판독가능 매체로서, 상기 동작들은,
소스 비디오를 수신하는 동작;
상기 소스 비디오에서 캡처된 게임플레이에서 발생하는 복수의 플레이어 액션을 식별하는 동작;
제2 비디오를 수신하는 동작 -상기 제2 비디오는 현재 실행 중인 게임 환경에 기초함-;
상기 소스 비디오의 부분이 상기 제2 비디오의 게임플레이 상황과 유사한 게임플레이 상황을 나타내는지를 결정하는 동작;
상기 소스 비디오의 결정된 부분의 속성을 조정하여 가이드 비디오를 생성하는 동작; 그리고
상기 가이드 비디오를 상기 현재 실행 중인 게임 환경에 오버레이하는 동작을 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체. - 제15항에 있어서, 상기 비일시적 컴퓨터 판독가능 매체는,
소스 비디오 부분을 복수의 플레이어 액션으로 분할하도록 동작가능한 명령어를 더 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체. - 제15항에 있어서, 상기 비일시적 컴퓨터 판독가능 매체는, 상기 소스 비디오 내에 임베딩된 메타데이터로부터 플레이어 액션의 리스트를 추출하도록 동작가능한 명령어를 더 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체.
- 제17항에 있어서, 상기 메타데이터는 플레이어의 스킬 레벨을 반영하는 하나 이상의 메트릭을 더 포함하고,
상기 비일시적 컴퓨터 판독가능 매체는 상기 하나 이상의 메트릭에 기초하여 상기 소스 비디오를 선택하도록 동작가능한 명령어를 더 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체. - 제15항에 있어서, 상기 비일시적 컴퓨터 판독가능 매체는,
상기 현재 실행 중인 게임 환경에서 완료된 플레이어 액션을 검출하고; 그리고
상기 검출된 완료된 플레이어 액션에 응답하여 업데이트된 가이드 비디오를 오버레이하도록 동작가능한 명령어를 더 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체. - 제15항에 있어서, 각각의 식별된 플레이어 액션은 사용자로부터 수신된 게임 제어기 입력과 일대일 대응(one-to-one correspondence)을 공유하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체.
- 제15항에 있어서, 상기 비일시적 컴퓨터 판독가능 매체는,
하나 이상의 2차 소스 비디오 및 상기 소스 비디오 중 적어도 하나, 그리고
상기 하나 이상의 2차 소스 비디오 및 상기 소스 비디오 중 적어도 하나의 하나 이상의 세그먼트에 해당하는 플레이어 액션의 리스트에 기초하여,
가상 워크스루(virtual walkthrough)를 컴파일하도록 동작가능한 명령어를 더 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체. - 제15항에 있어서,
상기 결정하는 동작은 상기 소스 비디오의 세그먼트의 제1 임베딩과 임베딩 공간에 걸친 상기 제2 비디오의 제2 임베딩 사이의 거리를 계산하는 것에 기초하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체. - 제15항에 있어서, 상기 속성을 조정하도록 동작 가능한 명령어는,
상기 결정된 부분을 회전시키는 것;
상기 결정된 부분을 변환하는 것;
상기 결정된 부분을 스케일링하는 것;
상기 결정된 부분의 재생 속도를 조정하는 것;
상기 결정된 부분에 요소를 추가하는 것;
상기 결정된 부분에서 요소를 제거하는 것; 그리고
상기 결정된 부분의 투명도를 조정하는 것으로 구성된 그룹에서 선택된 하나 이상을 수행하도록 동작 가능한 명령어를 더 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체. - 제15항에 있어서, 상기 비일시적 컴퓨터 판독가능 매체는,
복수의 플레이어 액션 중 하나 이상의 제안된 플레이어 액션을 식별하도록 동작 가능한 명령어를 더 포함하며;
상기 가이드 비디오를 오버레이하도록 동작 가능한 명령어는 상기 현재 실행 중인 게임 환경에서 상기 하나 이상의 제안된 플레이어 액션을 오버레이하도록 동작 가능한 명령어를 더 포함하며; 그리고
상기 완료된 플레이어 액션을 검출하도록 동작 가능한 명령어는 플레이어가 상기 제안된 플레이어 액션 중 하나 이상을 수행했음을 검출하도록 동작 가능한 명령어를 더 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체. - 제15항에 있어서, 상기 완료된 플레이어 액션은 게임 제어기로부터 발생하지 않는 에뮬레이트된(emulated) 게임 제어기 입력을 수신하도록 동작 가능한 명령어에 기초하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체.
- 제15항에 있어서,
상기 소스 비디오의 부분이 제1 게임플레이 상황을 나타내는지를 결정하도록 동작 가능한 명령어는 복수의 게임플레이 비디오 중에서 상기 소스 비디오를 선택하도록 동작 가능한 명령어를 더 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체. - 제15항에 있어서,
상기 소스 비디오를 수신하고 및 복수의 플레이어 액션을 식별하도록 동작 가능한 명령어는 상기 제2 비디오를 수신하도록 동작 가능한 명령어에 후속하여 수행되는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체. - 제15항에 있어서, 상기 비일시적 컴퓨터 판독가능 매체는,
상기 현재 실행 중인 게임 환경의 사용자로부터 가이드 비디오를 생성하기 위한 요청을 수신하도록 동작 가능한 명령어를 더 포함하고,
상기 가이드 비디오를 오버레이하도록 동작 가능한 명령어는 상기 요청에 응답하여 수행되는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 매체.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2019/054899 WO2021066849A1 (en) | 2019-10-04 | 2019-10-04 | Video game overlay |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220053021A true KR20220053021A (ko) | 2022-04-28 |
Family
ID=68290401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227010941A KR20220053021A (ko) | 2019-10-04 | 2019-10-04 | 비디오 게임 오버레이 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220339542A1 (ko) |
| EP (1) | EP4037791B1 (ko) |
| JP (1) | JP7507855B2 (ko) |
| KR (1) | KR20220053021A (ko) |
| WO (1) | WO2021066849A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230381652A1 (en) * | 2022-05-31 | 2023-11-30 | Sony Interactive Entertainment LLC | Cooperative and coached gameplay |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3898238B2 (ja) | 1994-12-02 | 2007-03-28 | 株式会社バンダイナムコゲームス | ビデオゲーム装置及びその画像合成方法 |
| JP2000262738A (ja) | 1999-03-18 | 2000-09-26 | Namco Ltd | ゲーム装置及び情報記憶媒体 |
| US20100035689A1 (en) * | 2008-08-11 | 2010-02-11 | Yaniv Altshuler | System and method for a gaming community |
| JP5193242B2 (ja) | 2010-03-11 | 2013-05-08 | 株式会社コナミデジタルエンタテインメント | ゲームシステム、ゲーム部分実行支援方法及びプログラム |
| JP5688052B2 (ja) | 2012-07-13 | 2015-03-25 | 株式会社コナミデジタルエンタテインメント | ゲーム管理装置、ゲームシステム及びプログラム |
| JP7231327B2 (ja) | 2015-06-30 | 2023-03-01 | アマゾン・テクノロジーズ・インコーポレーテッド | ゲームシステムと観戦システムとの統合 |
| JP6646319B2 (ja) | 2015-09-30 | 2020-02-14 | ソニー・インタラクティブエンタテインメント エルエルシー | クラウドゲームのためのマルチユーザデモストリーミングサービス |
| US11420114B2 (en) * | 2015-09-30 | 2022-08-23 | Sony Interactive Entertainment LLC | Systems and methods for enabling time-shifted coaching for cloud gaming systems |
| US10427047B2 (en) | 2018-01-08 | 2019-10-01 | Sony Interactive Entertainment LLC | Identifying player engagement to generate contextual game play assistance |
| US10874947B2 (en) | 2018-03-23 | 2020-12-29 | Sony Interactive Entertainment LLC | Connecting a player to expert help in real-time during game play of a gaming application |
| US11395968B2 (en) * | 2020-03-06 | 2022-07-26 | Sony Interactive Entertainment Inc. | Surfacing prerecorded gameplay video for in-game player assistance |
-
2019
- 2019-10-04 US US17/766,146 patent/US20220339542A1/en active Pending
- 2019-10-04 JP JP2022520480A patent/JP7507855B2/ja active Active
- 2019-10-04 EP EP19790412.1A patent/EP4037791B1/en active Active
- 2019-10-04 KR KR1020227010941A patent/KR20220053021A/ko not_active Application Discontinuation
- 2019-10-04 WO PCT/US2019/054899 patent/WO2021066849A1/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021066849A1 (en) | 2021-04-08 |
| US20220339542A1 (en) | 2022-10-27 |
| JP2022550856A (ja) | 2022-12-05 |
| EP4037791A1 (en) | 2022-08-10 |
| EP4037791B1 (en) | 2024-07-17 |
| JP7507855B2 (ja) | 2024-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10860345B2 (en) | System for user sentiment tracking | |
| US10918941B2 (en) | Predictive execution of distributed game engines | |
| CN106210836B (zh) | 一种视频播放过程中的互动学习方法及装置、终端设备 | |
| KR20210062640A (ko) | 현재 게임 시나리오에 기초한 스트리밍 게임을 위한 그래픽 오버레이를 구현하는 기법 | |
| CN109144610B (zh) | 音频播放方法、装置、电子装置及计算机可读存储介质 | |
| CN111686450B (zh) | 游戏的剧本生成及运行方法、装置、电子设备和存储介质 | |
| US9993734B2 (en) | Player model | |
| KR102549681B1 (ko) | 게임내 자원 서페이싱 플랫폼 | |
| WO2022142626A1 (zh) | 虚拟场景的适配显示方法、装置、电子设备、存储介质及计算机程序产品 | |
| KR102586286B1 (ko) | 상황적 디지털 미디어 처리 시스템 및 방법 | |
| CN112973130B (zh) | 虚拟场景的回放模型构建方法、装置、设备及存储介质 | |
| KR102021700B1 (ko) | 사물인터넷 기반 환자 맞춤형 의사소통장애 재활 방법 | |
| CA3087629C (en) | System for managing user experience and method therefor | |
| JP7507855B2 (ja) | コンピュータにより実現される方法およびプログラム | |
| CN116704405A (zh) | 行为识别方法、电子设备及存储介质 | |
| CN113018853B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN112231220B (zh) | 一种游戏测试方法和装置 | |
| CN114073056A (zh) | 数字内容的上下文层 | |
| US20230128658A1 (en) | Personalized vr controls and communications | |
| US11504618B2 (en) | Server-based video help in a video game | |
| WO2024060888A1 (zh) | 虚拟场景的交互处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| US20240029725A1 (en) | Customized dialogue support | |
| CN115396685A (zh) | 直播互动方法、装置、可读存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |