KR20190035771A - 몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법들 및 시스템 - Google Patents

몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법들 및 시스템 Download PDF

Info

Publication number
KR20190035771A
KR20190035771A KR1020197005268A KR20197005268A KR20190035771A KR 20190035771 A KR20190035771 A KR 20190035771A KR 1020197005268 A KR1020197005268 A KR 1020197005268A KR 20197005268 A KR20197005268 A KR 20197005268A KR 20190035771 A KR20190035771 A KR 20190035771A
Authority
KR
South Korea
Prior art keywords
video
user
implementations
customized video
customized
Prior art date
Application number
KR1020197005268A
Other languages
English (en)
Inventor
디파크 마헨드라 파텔
알렌 조이 가난셜 산토스
스콧 라일리 콜린스
브라이언 다니엘 보르
아담 마크 듀보브
티모시 조지 해링턴
제이슨 스퍼스케
Original Assignee
질리티 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/217,961 external-priority patent/US10770113B2/en
Priority claimed from US15/284,330 external-priority patent/US10020025B2/en
Application filed by 질리티 인코포레이티드 filed Critical 질리티 인코포레이티드
Publication of KR20190035771A publication Critical patent/KR20190035771A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G06Q30/0246—Traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

컴퓨팅 디바이스는 메모리, 마이크로폰 및 이미지 센서를 갖는다. 프로세스는 사용자 선택 가시성 윈도우에 따라 몰입형 비디오의 부분을 디스플레이하는 사용자 인터페이스 구역에서 몰입형 비디오를 플레이한다. 몰입형 비디오를 플레이하는 동안, 사용자는 윈도우를 조정하고 프로세스는 몰입형 비디오 내에서 윈도우의 배치를 식별하는 정보를 레코딩한다. 이 프로세스는 사용자에 의해 제공된 오디오를 레코딩하고 사용자의 비디오를 레코딩한다. 이 프로세스는 몰입형 비디오를 플레이하는 동안 윈도우에 디스플레이되었던 것을 포함하는 커스터마이징된 비디오를 형성하기 위해 윈도우의 배치를 식별하는 정보를 사용한다. 또한, 커스터마이징된 비디오는 사용자의 레코딩된 비디오를 포함하는, 커스터마이징된 비디오의 주변 부분의 시각적 오버레이를 포함한다. 또한, 커스터마이징된 비디오는 레코딩된 오디오를 사용하여 오디오 오버레이가 포함한다. 프로세스가 커스터마이징된 비디오를 다른 컴퓨터에 송신한다.

Description

몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법들 및 시스템
[0001] 개시된 구현들은 일반적으로, 미디어 콘텐츠에 관한 것으로, 보다 구체적으로는, 다른 사람들과 공유하기 위해 미디어 콘텐츠의 커스터마이징된 버전들을 생성하는 것에 관한 것이다.
[0002] 비디오 콘텐츠는 다른 사람들과 콘텐츠를 자유롭게 공유하는 비-상업적 온라인 소스들 뿐만 아니라 상업적 소스들 둘 모두로부터 광범위하게 이용 가능하다. 통상적으로, 사용자들은 비디오들에 수동적으로 참여한다. 일부 경우들에서, 비디오들은 상호작용식 컴포넌트를 포함하지만 상호작용이 제한된다. 일부 콘텐츠 제공자들은 단일 평면 스크린 초과의 비디오를 제공하고 있다. 예컨대, 360 비디오는 서라운드 비디오를 제공하며, 사용자는 뷰 윈도우 또는 포털을 통해 이용 가능한 것의 부분을 뷰잉(viewing)한다. 비디오가 플레이되는 동안, 뷰 윈도우를 변경함으로써, 사람은 비디오의 상이한 부분들을 볼 수 있다. 그러나 360 비디오조차도, 사용자들이 무엇을 찾아야 하는지 또는 어디를 볼지를 알지 못하기 때문에, 사용자들의 피상적인 참여로 이어진다. 또한, 사용자들이 액세스 가능한, 양호하고 흥미로운 콘텐츠의 제한된 공급이 존재한다. 또한, 360 비디오를 뷰잉할 때, 사용자는 가시성 윈도우(visibility window)로 제한된다. 비디오에 2개 이상의 관심 지점들이 존재하는 경우, 사용자는 이들 중 하나만 볼 것이며, 이는 비디오의 가치를 제한할 수 있다.
[0003] 360 비디오 외에도, 일부 콘텐츠 제공자들은 360 포토(photo)들을 생성한다. 360 비디오와 마찬가지로, 360 포토의 뷰어는 통상적으로 어디를 볼지를 알지 못하고, 이에 따라 사진의 흥미로운 양상들을 발견하지 못할 수 있다.
[0004] 개시된 구현들은 차세대 소셜 참여 모델들을 개발하기 위해 몰입형 미디어 콘텐츠를 이용하는 미디어 플랫폼을 제공한다. 몰입형 미디어 콘텐츠는 360 비디오, 360 포토들, 가상 현실, 증강 현실, 혼합 현실 콘텐츠를 포함한다. 360 비디오 및 가상 현실, 증강 현실 및 혼합 현실에 대한 콘텐츠 대부분과 같은 일부 몰입형 미디어 포멧들은 일시적으로 동적이다. 360 포토들과 같은 일부 몰입형 콘텐츠는 정적 콘텐츠를 갖는다. 구현들은 스포츠, 엔터테인먼트, 교육, 여행, 저널리즘 및 사회적 영향을 포함하는 다수의 상이한 영역들을 다룬다.
[0005] 일부 구현들에서는 몰입형 미디어의 발행자는 몰입형 비디오에 뷰어들에 의해 발견될 수 있는 "젬(gem)들"을 임베딩한다. 젬들 중 하나를 발견한 뷰어는 다른 몰입형 미디어에 대한 액세스, 제품들 또는 서비스들에 대한 할인들, 비디오 게임에 대한 액세스 또는 가상 현실 게임에서 사용할 수 있는 통화와 같은 대응하는 보상을 받는다. 일부 구현들에서, 사용자가 받은 보상은 (예컨대, 사용자 프로파일에 저장된) 사용자에 관한 정보에 기초하여 커스터마이징된다. 일부 구현들에서, 사용자는 보상 토큰들을 수신하며, 이는 사용자 계정에 저장되고 나중에 사용될 수 있다. 일부 구현들에서, 다수의 보상 토큰들은 단일 아이템에 대해 결합되고 교환될 수 있다.
[0006] 일부 구현들에 따라, 몰입형 미디어를 위한 소셜 미디어 플랫폼은 하나 이상의 프로세서들 및 메모리를 각각 갖는 하나 이상의 서버들 상에 구현된다. 플랫폼은 몰입형 비디오들을 저장하고 몰입형 비디오들에 대한 임베딩된 어포던스(embedded affordance)들을 저장하는 하나 이상의 데이터베이스들을 포함한다. 일부 구현들에서, 각각의 몰입형 비디오는 360 비디오, 가상 현실 비디오, 증강 현실 비디오 또는 혼합 현실 비디오이다. 일부 구현들에서, 소셜 미디어 플랫폼은 (예컨대, 최종 사용자에 의해 직접 액세스되는) 독립형 플랫폼이다. 일부 구현들에서, 소셜 미디어 플랫폼은 더 큰 웹사이트 또는 애플리케이션에 임베딩된다. 일부 구현들에서, 소셜 미디어 플랫폼은 다른 시스템들이 별개의 서버 시스템 상에서 동작하는 소셜 미디어 플랫폼의 기능성에 액세스하는 것을 가능하게 하는 API를 포함한다(예컨대, 사용자들은 다른 시스템들을 통해 몰입형 비디오 기능성에 간접적으로 액세스함).
[0007] 플랫폼은, 몰입형 비디오들을 하나 이상의 데이터베이스들에 업로드하는 것 그리고 발행자 사용자에 의해 공간적으로 그리고 시간적으로 정의되는 위치들의 어포던스들을 몰입형 비디오들 내로 임베딩하는 것을 가능하게 하는 발행자 사용자 인터페이스를 포함한다. 각각의 임베딩된 어포던스는 뷰어 사용자들에 의해 발견 가능하고, 상호작용식 사용자 인터페이스를 가지며, 하나 이상의 대응하는 보상들을 갖는다.
[0008] 또한, 플랫폼은 뷰어 사용자들이 몰입형 비디오를 선택 및 플레이하는 것을 가능하게 하는 뷰어 사용자 인터페이스를 포함한다. 가시성 윈도우를 사용하여, 사용자들은 플레이중인 몰입형 비디오의 상이한 부분들을 네비게이팅(navigate)할 수 있다. 윈도우는 윈도우의 배치에 기초하여 플레이중인 몰입형 비디오의 각각의 선택된 부분을 디스플레이한다. 플레이중인 몰입형 비디오의 제1 임베딩된 어포던스를 활성화시키는 제1 사용자 액션에 대한 응답으로, 플랫폼은 제1 임베딩된 어포던스에 대응하는 보상을 개시한다.
[0009] 일부 구현들에서, 몰입형 비디오에서 임베딩된 어포던스의 시간적 위치를 정의하는 것은 임베딩된 어포던스에 대한 시작 시간 및 종료 시간을 정의하는 것을 포함한다.
[0010] 일부 구현들에서, 몰입형 비디오에서 임베딩된 어포던스의 시간적 위치를 정의하는 것은 임베딩된 어포던스에 대한 시작 시간 및 지속기간을 정의하는 것을 포함한다.
[0011] 일부 구현들에서, 제1 임베딩된 어포던스에 대응하는 보상을 개시하는 것은, 현재 뷰어 사용자에 대한 리트리브된(retrieved) 프로파일 정보에 기초하여 복수의 보상들 중 하나를 선택하는 것 및 선택된 보상을 개시하는 것을 포함한다.
[0012] 일부 구현들에서, 제1 임베딩된 어포던스에 대응하는 보상을 개시하는 것은, 제한된 액세스를 갖는 제2 몰입형 비디오에 대한 액세스를 그랜트(granting)하는 것 및 제2 몰입형 비디오의 플레이를 개시하는 것을 포함한다.
[0013] 일부 구현들에서, 하나 이상의 데이터베이스는 임베딩된 어포던스들에 대응하는 보상 토큰들을 저장하도록 구성된 사용자 계정들을 저장한다. 일부 구현들에서, 제1 임베딩된 어포던스에 대응하는 보상을 개시하는 것은, 제1 임베딩된 어포던스를 활성화한 사용자에 대한 사용자 계정에 임베딩된 어포던스에 대응하는 보상 토큰을 저장하는 것을 포함한다. 일부 구현들에서, 플랫폼은 뷰어 사용자들이 대응하는 보상에 대한 보상 토큰들을 교환(redeem)하는 것을 가능하게 하는 상환 사용자 인터페이스를 더 포함한다.
[0014] 일부 구현들에서, 발행자 사용자 인터페이스는 추가로, 발행자 사용자들이, (a) 가시성 윈도우에 대해 고정된 포지션으로 유지되는 시각적 오버레이를 부가하는 것 ― 시각적 오버레이는 발행자 사용자의 레코딩된 비디오임 ― ; (b) 레코딩된 오디오를 포함하는 오디오 오버레이를 부가하는 것; 및 (c) 텍스트 또는 이미지를 포함하는 시각적 주석을 부가하는 것 중 하나 이상을 포함해서, 몰입형 비디오들에 주석을 다는 것을 가능하게 한다.
[0015] 일부 구현들에서, 뷰어 사용자 인터페이스는, 뷰어 사용자가 플레이중인 몰입형 비디오를 디스플레이하는 컴퓨팅 디바이스를 이동시킬 때 가시성 윈도우를 조정함으로써 네비게이션을 위해 구성된다.
[0016] 일부 구현들에서, 뷰어 사용자 인터페이스는 뷰어 사용자가 마우스 포인터, 손가락 제스처, 손 제스처, 팔 제스처, 또는 눈 제스처를 사용할 때, 가시성 윈도우를 조정함으로써 네비게이션을 위해 구성된다.
[0017] 일부 구현들에서, 뷰어 사용자 인터페이스는 가시성 윈도우의 배율을 변경하기 위한 하나 이상의 사용자 인터페이스 제어들을 제공한다.
[0018] 일부 구현들에서, 뷰어 사용자 인터페이스는 가시성 윈도우를 이동시키기 위한 하나 이상의 사용자 인터페이스 제어들을 제공한다.
[0019] 일부 구현들에서, 발행자 사용자 인터페이스는 추가로, 발행자 사용자들이 몰입형 비디오들의 지속기간 미만인 특정된 시간 인터벌 동안 몰입형 비디오에 어포던스들을 임베딩하는 것을 가능하게 한다.
[0020] 일부 구현들에서, 발행자 사용자 인터페이스는 추가로, 발행자 사용자들이 몰입형 비디오들의 지속기간 미만인 특정된 시간 인터벌 동안 몰입형 비디오에 시각적 주석들을 부가하는 것을 가능하게 한다.
[0021] 일부 구현들에서, 발행자 사용자 인터페이스는 추가로, 발행자 사용자들이 특정된 만료일을 갖는 어포던스를 몰입형 비디오들에 임베딩하는 것을 가능하게 하고, 그리하여 특정된 만료일 이후의 플레이백 동안 임베딩된 어포던스들의 디스플레이를 방지한다.
[0022] 일부 구현들에서, 발행자 사용자 인터페이스는 추가로, 발행자 사용자들이 특정된 만료일들을 갖는 시각적 주석들을 몰입형 비디오들에 부가하는 것을 가능하게 하고, 그리하여 특정 만료일 이후의 플레이백 동안 시각적 주석들의 디스플레이를 방지한다.
[0023] 일부 구현들에 따라, 컴퓨터 시스템은 하나 이상의 서버들을 포함하는, 몰입형 미디어를 위한 소셜 미디어 플랫폼을 호스팅하며, 여기서 각각의 서버는 하나 이상의 프로세서들, 메모리 및 메모리에 저장된 하나 이상의 프로그램들을 갖는다. 하나 이상의 프로그램들은 하나 이상의 프로세서들에 의한 실행을 위해 구성되고, 하나 이상의 프로그램들은 본원에서 설명된 소셜 미디어 플랫폼들 중 임의의 것을 구현하기 위한 명령들을 포함한다.
[0024] 일부 구현들에 따라, 비-일시적 컴퓨터 판독 가능 저장 매체는 소셜 미디어 플랫폼을 호스팅하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의한 실행을 위해 구성된 하나 이상의 프로그램들을 저장한다. 하나 이상의 프로그램들은 하나 이상의 프로세서들에 의한 실행을 위해 구성되고, 하나 이상의 프로그램들은 본원에서 설명된 소셜 미디어 플랫폼들 중 임의의 것을 구현하기 위한 명령들을 포함한다.
[0025] 일부 구현들에 따라, 몰입형 미디어 콘텐츠를 커스터마이징하기 위한 프로세스는 하나 이상의 프로세서들, 메모리, 마이크로폰 및 이미지 센서를 갖는 컴퓨팅 시스템에서 수행된다. 프로세스는, 몰입형 미디어 커스터마이징 사용자 인터페이스(immersive media customization user interface)를 디스플레이하고, 사용자 인터페이스의 제1 구역에서 360 비디오를 플레이한다. 제1 사용자 액션에 대한 응답으로, 프로세스는 특정 순간에 360 비디오의 정지 프레임(freeze frame)(즉, 360 이미지인 단일 프레임)을 캡처한다. 제2 사용자 액션에 대한 응답으로, 프로세스는 캡처된 정지 프레임의 동적으로 조정 가능한 가시성 윈도우에 따라 실시간으로 캡처된 정지 프레임의 커스터마이징된 비디오의 레코딩을 시작한다. 가시성 윈도우는 정지 프레임의 어떤 부분이 보여지는지를 식별한다. 레코딩 동안, 사용자는 가시성 윈도우를 조정하여 캡처된 정지 프레임의 어떤 부분이 레코딩되는지를 특정한다. 사용자는 가시성 윈도우의 위치를 이동시키거나, 그리고/또는 가시성 윈도우의 배율을 변경할 수 있다. 일부 구현들에서, 사용자는 컴퓨팅 디바이스 그 자체를 이동시킴으로써 가시성 윈도우를 이동시킨다. 일부 구현들에서, 사용자는 마우스 포인터, 손가락 제스처, 손 제스처, 팔 제스처 또는 눈 제스처를 사용하여 가시성 윈도우를 이동하거나 가시성 윈도우의 배율을 변경한다.
[0026] 제3 사용자 액션에 대한 응답으로, 프로세스는 커스터마이징된 비디오의 레코딩을 중단한다. 또한, 커스터마이징된 비디오는 사용자에 의해 주석이 달린다. 일부 경우들에서, 사용자는 커스터마이징된 비디오의 주변 부분에 시각적 오버레이를 부가함으로써 커스터마이징된 비디오에 주석을 단다. 시각적 오버레이는 이미지 센서에 의해 캡처된 사용자의 레코딩된 비디오이다. 일부 경우들에서, 사용자는 마이크로폰을 사용하여 캡처된 레코딩된 오디오인 오디오 오버레이를 부가함으로써 커스터마이징된 비디오에 주석을 단다. 일부 경우들에서, 사용자는 텍스트 또는 이미지를 포함하는 시각적 주석을 부가함으로써 커스터마이징된 비디오에 주석을 단다. 일부 경우들에서, 사용자는 단일 커스터마이징된 비디오에 다수의 주석들을 부가한다. 커스터마이징된 비디오가 생성된 후에, 프로세스는 커스터마이징된 비디오를 제2 컴퓨팅 시스템에 송신한다(예컨대, 커스터마이징된 비디오를 친구, 동료 또는 가족 일원에게 전송함).
[0027] 주석은 커스터마이징된 비디오가 초기에 레코딩되는 동안 커스터마이징된 비디오에 부가되거나(예컨대, 사용자가 가시성 윈도우를 이동시키는 동안 오디오 코멘터리(commentary)를 부가함) 또는 그것이 레코딩된 후에(즉, 플레이백(playback) 동안) 커스터마이징된 비디오에 부가될 수 있다.
[0028] 일부 구현들에서, 마이크로폰을 사용하여 캡처된 레코딩된 오디오 및 이미지 센서에 의해 캡처된 레코딩된 비디오 둘 모두는 커스터마이징된 비디오를 레코딩하는 동안 캡처된다. 커스터마이징된 비디오에 주석을 다는 것은, 비디오 오버레이를 커스터마이징된 비디오와 동기화하고 오디오 오버레이를 커스터마이징된 비디오와 동기화하는 것을 포함한다.
[0029] 일부 구현들에서, 커스터마이징된 비디오를 레코딩한 후에, 프로세스는 커스터마이징된 비디오를 플레이한다. 플레이백 동안, 프로세스는 마이크로폰을 사용하여 레코딩된 오디오를 캡처하고 이미지 센서를 사용하여 레코딩된 비디오를 캡처한다. 커스터마이징된 비디오에 주석을 부가하는 것은 비디오 오버레이를 커스터마이징된 비디오와 동기화하고 오디오 오버레이를 커스터마이징된 비디오와 동기화하는 것을 포함한다.
[0030] 일부 구현들에서, 커스터마이징된 비디오는 가시성 윈도우 외부의 캡처된 정지 프레임의 프레임-형상 부분을 포함하고, 캡처된 정지 프레임의 프레임-형상 부분은 모호해지는(obfuscated) 방식으로 디스플레이된다. 일부 구현들에서, 모호해지는 방식으로 디스플레이하는 것은 희미하거나 초점이 맞지 않는 것으로서 프레임-형상 부분을 디스플레이하는 것을 포함한다.
[0031] 커스터마이징된 비디오는 다양한 방식들로 저장될 수 있다. 일부 구현들에서, 커스터마이징된 비디오는 정규 비디오(예컨대, MPEG)로서 저장되어서, 커스터마이징된 비디오는 (주석들에 더하여) 레코딩 동안 가시성 윈도우에서 가시적인 것만을 포함한다. 다른 구현들에서, 커스터마이징된 비디오는 캡처된 정지 프레임, 및 캡처된 정지 프레임 내에서 가시성 윈도우의 배치 및 배율을 정의하는 메타데이터를 저장한다. 일부 구현들에서, 이는, 커스터마이징된 비디오를 뷰잉하는 사람이 레코딩 동안 가시성 윈도우에 원래 디스플레이된 부분으로부터 벗어나는 것을 가능하게 한다.
[0032] 일부 구현들에서, 커스터마이징된 비디오는 커스터마이징된 비디오의 지속기간 미만의 특정된 시간 인터벌 동안 커스터마이징된 비디오 내에 부가되는 시각적 주석을 포함한다. 예컨대, 사용자는 (예컨대, 캡처된 정지 프레임의 중요한 양상을 지적하거나 강조하기 위해) 레코딩 동안 특정 위치 및 시간에 텍스트 또는 이미지를 삽입할 수 있다.
[0033] 일부 구현들에서, 커스터마이징된 비디오는 특정된 만료일을 갖는 시각적 주석을 포함하고, 그리하여 특정된 만료일 이후의 플레이백 동안 시각적 주석의 디스플레이가 방지한다. 예컨대, 곧 있을 실세계 이벤트와 관련된 캡처된 정지 프레임의 양상이 존재하는 경우, 실세계 이벤트 발생 후에 주석이 만료되도록 세팅될 수 있다.
[0034] 일부 구현들에서, 커스터마이징된 비디오에 주석을 다는 것은 사전-레코딩된 오디오 트랙(예컨대, 음악)을 부가하는 것을 포함한다.
[0035] 일부 구현들에 따라, 비디오 콘텐츠를 커스터마이징하기 위한 프로세스는 하나 이상의 프로세서들, 메모리, 마이크로폰 및 이미지 센서를 갖는 컴퓨팅 시스템에서 수행된다. 통상적으로, 컴퓨팅 시스템은 스마트 폰 또는 태블릿 컴퓨터와 같은 핸드헬드 휴대용 디바이스이다. 일부 구현들에서, 컴퓨팅 시스템은 랩톱 컴퓨터, 머리-장착 디스플레이를 갖는 VR 컴퓨터 시스템, 데스크톱 컴퓨터 또는 다른 컴퓨터 시스템이다. 이 프로세스는 360 비디오 커스터마이징 사용자 인터페이스를 디스플레이한다. 사용자가 콘텐츠 소스(예컨대, 콘텐츠 네트워크)로부터 360 비디오를 선택한 후에, 프로세스는 사용자 인터페이스의 제1 구역에서 360 비디오를 플레이한다. 일부 구현들에서, 제1 구역은 본질적으로 컴퓨팅 시스템의 전체 스크린이다. 제1 구역은 사용자 선택 가시성 윈도우에 따라 360 비디오의 부분을 디스플레이한다. 가상의 관점에서, 360 비디오는 사용자를 둘러싼 구형 스크린 상에서 플레이된다. 가시성 윈도우는 사용자가 실제로 보는 360 비디오의 부분을 정의한다. 일부 구현들에서, 사용자는 (예컨대, 컴퓨팅 시스템에 의해 결정된 GPS 좌표들 또는 컴퓨팅 시스템의 자이로스코프 및/또는 가속도계를 사용하여) 컴퓨팅 디바이스를 이동시킴으로써 가시성 윈도우를 조정한다. 대안적인 구현들에서, 사용자는 마우스 포인터 또는 손가락 제스처를 사용하여 가시성 윈도우를 조정할 수 있다.
[0036] 360 비디오를 플레이하는 동안, 프로세스는 가시성 윈도우를 조정하기 위한 사용자 입력을 수신하고 프로세스는 360 비디오 내에서 가시성 윈도우의 배치를 식별하는 정보를 레코딩한다. 레코딩은 뷰잉 동안 사용자의 가시성 윈도우가 포지셔닝된 곳을 정확히 추적한다. 일부 구현들에서, 배치는 가시성 윈도우의 위치는 물론, 가시성 윈도우의 현재 줌(zoom) 둘 모두를 특정하는 정보를 포함한다. 일부 구현들에서, 배치는 가시성 윈도우의 위치만을 포함한다.
[0037] 일부 경우들에서, 프로세스는 마이크로폰을 사용하여 사용자에 의해 제공된 오디오를 레코딩하고 그리고/또는 이미지 센서를 사용하여 사용자의 비디오를 레코딩한다(예컨대, 이미지 센서는 전방을 향하는 카메라임). 일부 구현들에서, 마이크로폰을 사용하여 사용자에 의해 제공된 오디오를 레코딩하고 이미지 센서를 사용하여 사용자의 비디오를 레코딩하는 것 둘 모두는 360 비디오를 플레이하는 동안 수행된다. 일부 구현들에서, 사용자로부터의 오디오 및 비디오를 레코딩하는 것은 나중에 수행된다. 일부 구현들에서, 360 비디오를 플레이한 후에, 프로세스는 리플레이 동안 가시성 윈도우의 배치를 제어하기 위해 가시성 윈도우의 배치를 식별하는 레코딩된 정보를 사용하여 360 비디오를 리플레이한다. 이러한 방식으로 360 비디오를 리플레이하는 동안, 프로세스는 마이크로폰을 사용하여 사용자에 의해 제공된 오디오를 레코딩하고 이미지 센서를 사용하여 사용자의 비디오를 레코딩한다.
[0038] 그 후, 이 프로세스는 360 비디오를 플레이하는 동안 가시성 윈도우에 디스플레이되었던 것을 포함하는 커스터마이징된 비디오를 형성하기 위해 가시성 윈도우의 배치를 식별하는 정보를 사용한다. 또한, 커스터마이징된 비디오는 비디오 오버레이, 오디오 오버레이 및/또는 시각적 주석을 포함해서, 적어도 하나의 다른 형태의 커스터마이징을 포함한다.
[0039] 일부 경우들에서, 커스터마이징된 비디오는 커스터마이징된 비디오의 주변 부분의 시각적 오버레이를 포함하며, 여기서 시각적 오버레이는 사용자의 레코딩된 비디오를 보여준다. 통상적으로, 시각적 오버레이는 디스플레이의 외부 코너의 작은 박스이며, 메인 비디오의 5% 이하를 커버한다.
[0040] 일부 경우들에서, 프로세스는 커스터마이징된 비디오에 오디오 오버레이를 부가하며, 여기서 오디오 오버레이는 레코딩된 오디오가 포함한다. 일부 경우들에서, 오디오 오버레이는 360 비디오의 기존 사운드트랙을 대체하고; 다른 경우들에서, 결합된 오디오 사운드트랙이 생성되고 사운드 볼륨이 사용자에 의해 혼합된다.
[0041] 생성될 때, 오디오 오버레이 및 시각적 오버레이는 통상적으로 360 비디오와 동기화되어서, 오버레이들 내의 오디오 및 비디오는 오디오 및 비디오가 레코딩되는 동안 사용자에게 디스플레이되는 것에 대응하게 된다.
[0042] 일부 경우들에서, 커스터마이징된 비디오는 하나 이상의 시각적 주석들을 포함한다. 주석들은 텍스트(예컨대, 영숫자 텍스트 또는 그림 이모티콘) 또는 그래픽들(예컨대, 프로파일 사진 또는 다른 이미지)을 포함할 수 있다. 일부 구현들에서, 사용자는 (공간적으로 또는 시간적으로) 커스터마이징된 비디오 내의 임의의 곳에 주석들을 배치할 수 있다. 일부 구현들에서, 비디오 애플리케이션은 주석들이 로케이팅될 수 있는 곳을 제한한다.
[0043] 커스터마이징된 비디오가 생성된 후에, 커스터마이징 사용자 인터페이스는 통상적으로 사용자에게 비디오를 검토(예컨대, 커스터마이징된 비디오를 재생함)할 기회를 제공한다. 일부 구현들에서, 선택들은 커스터마이징된 비디오를 폐기하거나 그것을 저장하는 것이다. 일부 구현들에서, 사용자는 (360 비디오의 사용자의 가시성 윈도우를 사용하여) 메인 비디오를 유지하고 오디오 및/또는 비디오 오버레이들을 재-레코딩할 수 있다. 커스터마이징된 비디오가 저장될 때, 사용자는 커스터마이징된 비디오를 제2 컴퓨팅 시스템(예컨대, Facebook®, Twitter® 또는 다른 소셜 네트워크)에 송신하도록 촉구된다.
[0044] 일부 구현들에서, 커스터마이징된 비디오는 가시성 윈도우에서 가시적이었던 부분만을 포함한다. 다른 구현들에서, 커스터마이징된 비디오는 가시성 윈도우 외부의 360 비디오로부터의 비디오의 프레임-형상 부분(사진 프레임과 유사함)을 포함한다. 비디오의 이 프레임-형상 부분은, 희미하거나, 초점이 맞지 않거나, 흐릿하거나, 컬러보단 그레이스케일로서 프레임-형상의 부분을 디스플레이하는 것과 같이, 모호해지는 방식으로 디스플레이된다.
[0045] 커스터마이징된 비디오의 저장은 구현들에 의존하여 다양한 형태들로 이루어질 수 있다. 일부 구현들에서, 커스터마이징된 비디오는 오리지널 360 비디오 그 자체 외에도, 가시성 윈도우가 항상 있는 곳을 특정하는 메타데이터로 구성된다. 커스터마이징된 비디오가 플레이될 때, 가시성 윈도우의 배치는 저장된 메타데이터에 의해 제어된다. 일부 구현들에서, 사용자가 커스터마이징된 비디오를 볼 때, 가시성 윈도우는 커스터마이징 메타데이터에 의해 엄격히 제어된다. 다른 구현들에서, 가시성 윈도우의 배치는 메타데이터에서 특정된 것이 기본 값이지만, 뷰잉하는 사람에 의해 무효화될 수 있다. 일부 구현들에서, 무효화들은 경과된 시간 후에 메타데이터에서 특정된 것으로 되돌아가도록 일시적(예컨대, 5초 또는 10초 지속함)이다. 다른 구현들에서, 일단 뷰어가 가시성 윈도우의 포지션을 무효화하기로 선택하면, 포지셔닝은 그 후에 뷰어 제어 하에 이루어진다.
[0046] 일부 구현들에서, 가시성 윈도우 추적 메타데이터(또는 그 부분)는 플레이백 동안 커스터마이징 사용자 인터페이스에 디스플레이된다. 일부 구현들에서, 디스플레이된 메타데이터는 사용 및 뷰잉 영역 메트릭들과 같은 다른 데이터와 함께 포함된다.
[0047] 일부 구현들에서, 가시성 윈도우의 배치를 식별하는 정보는 위치 및 배율 둘 모두를 포함한다. 사용자가 360 비디오를 플레이하는 동안, 사용자는 가시성 윈도우의 위치 및 가시성 윈도우의 배율(또는 줌) 둘 모두를 포함하는, 가시성 윈도우에 대한 조정을 행할 수 있다. 가시성 윈도우에 대한 배율은 카메라 렌즈의 줌의 조정과 유사하게 동작한다. 위치 및 배율이 레코딩에 포함되어서, 플레이백 시에, 가시성 윈도우는 레코딩 동안 보여지는 것과 동일한 뷰를 디스플레이한다.
[0048] 일부 구현들에서, 사용자는 사전-레코딩된 오디오 트랙을 커스터마이징된 비디오에 부가할 수 있다. 예컨대, 사용자는 음악 트랙을 부가할 수 있다. 오디오 트랙들이 부가될 때, 구현들은 사용자가 조합을 혼합할 수 있게 한다(예컨대, 커스터마이징된 비디오의 각각의 오디오 컴포넌트에 대한 사운드 레벨을 특정함). 예컨대, 최종 사운드트랙은 오리지널 오디오, 부가된 음악 트랙 및 사용자에 의한 코멘터리의 조합을 포함할 수 있다.
[0049] 다른 구현들에서, 커스터마이징된 비디오를 형성하는 것은 360 비디오를 플레이하는 동안 가시성 윈도우에서 가시적이었던 것만을 포함하는 비디오 스트림을 360 비디오로부터 추출하는 것을 포함한다. 다른 구현들에서, 커스터마이징된 비디오는 디스플레이되는 것 이외의 비디오를 갖지 않기 때문에, 플레이백 동안 가시성 윈도우는 사실상 존재하지 않는다. 이들 구현들 중 일부에서, 추출된 비디오 스트림은 위에서 설명된 바와 같이 프레임-형상 비디오 경계를 포함한다.
[0050] 일부 구현들에서, 360 비디오 및/또는 커스터마이징된 비디오는 스트림들서 실시간으로 생성된다. 예컨대, 360 비디오는 라이브 이벤트(이를테면, 축구 경기)에 대한 것일 수 있다. 스트리밍 360 비디오는 컴퓨팅 시스템에서 사용자에 의해 수신되고, 최소 레이턴시(예컨대, 수 밀리초 이내)로 그것이 수신될 때 컴퓨팅 시스템에서 플레이된다. 일부 구현들에서, 형성된 커스터마이징된 비디오는 그것이 레코딩될 때 라이브 스트림으로서 생성되고 제2 컴퓨팅 시스템에 실시간으로(예컨대, 수 밀리초 미만의 레이턴시로) 송신된다. 일부 구현들에서, (360 비디오로서) 라이브 피드를 수신하는 것, 360 비디오 플레이하는 것, 커스터마이징된 비디오를 레코딩하는 것, 및 라이브 스트림으로서 커스터마이징된 비디오를 송신하는 것은 모두 실질적으로 동일한 시간(예컨대, 10 밀리초 이내, 50 밀리초 이내 또는 100 밀리초 이내)에 행해진다.
[0051] 이러한 구현들이 360 비디오와 관련하여 설명되었지만, 동일한 기술이 다른 비디오 포멧들에도 적용될 수 있다. 본원에서 설명된 것과 동일한 기술들 중 일부는 또한 360 포토들, 가상 현실, 증강 현실 및 혼합 현실 콘텐츠에 적용될 수 있다. 예컨대, 실제 이벤트의 360 비디오 보다는, 가상 현실 360 비디오가 사용될 수 있다. 사용자는 (예컨대, 헤드-장착 디스플레이를 이동시킴으로써) 실제 장면의 360 비디오와 동일한 방식으로 레코딩 및 사용되는 가시성 윈도우를 결정할 수 있다. 이는 증강 현실 시스템들 및 혼합 현실 시스템들에 대해서도 마찬가지이다. 다른 예에서, 오리지널 비디오는 부분적인 파노라마 비디오일 수 있고, 사용자 인터페이스의 가시성 윈도우는 어떤 부분이 뷰잉되는지를 특정하는 데 사용된다. 동일한 기술들이 또한 대형 평면 이미지로 구성된 비디오들에 적용될 수 있다.
[0052] 일부 구현들은 360 포토와 같은 스틸 이미지들에도 유사한 기술을 적용한다. 일부 구현들에서, 사용자는 360 포토 주위에서 가시성 윈도우를 네비게이팅하고, 움직임과 상관되는 오디오 및/또는 비디오를 레코딩한다. 이러한 방식으로 오리지널 이미지가 정지식인 경우조차도, 가시성 윈도우의 사용자의 움직임에 기초하여 레코딩된 비디오가 생성된다.
[0053] 일부 경우들에서, 커스터마이징된 비디오는 커스터마이징된 비디오의 지속기간 미만의 특정된 시간 인터벌 동안 커스터마이징된 비디오 내에 부가되는 시각적 주석을 포함한다. 예컨대, 사용자는 발생중이거나 발생하려는 특히 중요한 이벤트를 식별하기 위해 비디오 내의 특정 지점에 팝업 메시지를 부가할 수 있다.
[0054] 일부 경우들에서, 커스터마이징된 비디오는 특정된 만료일을 갖는 시각적 주석을 포함하고, 그리하여 특정된 만료일 이후의 플레이백 동안 시각적 주석의 디스플레이가 방지한다. 예컨대, 시각적 주석은 곧 있을 이벤트에 대한 제한된 시간 제안 또는 초대일 수 있다. 곧 있을 이벤트에 대해, 사용자는 이벤트가 발생한 후에 만료되도록 주석을 세팅할 수 있어서, 미래의 비디오 뷰어들은 이미 발생한 이벤트에 대한 통지를 보지 않게 된다.
[0055] 일부 구현들에서, 컴퓨터 시스템은 하나 이상의 프로세서들, 메모리, 마이크로폰 및 이미지 센서를 갖는다. 하나 이상의 프로그램들은 메모리에 저장되고 하나 이상의 프로세서들에 의한 실행을 위해 구성된다. 하나 이상의 프로그램들은 본원에서 설명된 프로세스들 중 임의의 것을 수행하기 위한 명령들을 포함한다.
[0056] 일부 구현들에서, 비-일시적 컴퓨터 판독 가능 저장 매체는 마이크로폰 및 이미지 센서를 갖는 컴퓨터 시스템의 하나 이상의 프로세서들에 의한 실행을 위해 구성된 하나 이상의 프로그램들을 저장한다. 하나 이상의 프로그램들은 본원에서 설명된 프로세스들 중 임의의 것을 수행하기 위한 명령들을 포함한다.
[0057] 도 1은 일부 구현들이 동작하는 맥락의 블록도이다.
[0058] 도 2는 일부 구현들에 따른 클라이언트 디바이스의 블록도이다.
[0059] 도 3은 일부 구현들에 따른 서버의 블록도이다.
[0060] 도 4는 일부 구현들에 따라 커스터마이징된 비디오를 생성하기 위한 프로세스의 흐름도이다.
[0061] 도 5a 내지 도 5e는 일부 구현들에 따라 커스터마이징된 비디오를 생성하기 위한 사용자 인터페이스 엘리먼트의 개요를 제공한다.
[0062] 도 6a 내지 도 6d는 일부 구현들에 따라 커스터마이징된 비디오를 레코딩 및 플레이백하는 것을 예시한다.
[0063] 도 6e 및 도 6f는 일부 구현들에 따라, 몰입형 비디오에 주석들 및 젬(gem)을 부가하는 것을 예시한다.
[0064] 도 7a 내지 도 7g는 일부 구현들에 따라 360 이미지에 기초하여 커스터마이징된 비디오를 생성하는 프로세스를 예시한다.
[0065] 도 8a 및 도 8b는 일부 구현들에 따라 몰입형 미디어에 대한 가시성 윈도우의 사용을 그래픽적으로 예시한다.
[0066] 유사한 참조 부호들은 도면들 전체에 걸쳐 대응하는 부분들을 나타낸다.
[0067] 이제 다양한 구현들이 참조될 것이며, 그의 예들은 첨부 도면들에 예시된다. 다음의 상세한 설명에서는, 본 발명 및 설명된 구현들의 완전한 이해를 제공하기 위해, 다수의 특정한 세부사항들이 기술된다. 그러나, 본 발명은 이 특정한 세부사항들 없이 실시될 수 있다. 다른 경우들에서, 잘 알려진 방법들, 절차들, 컴포넌트들 및 회로들은, 구현들의 양상들을 불필요하게 모호하게 하지 않도록 상세히 설명되지 않았다.
[0068] 개시된 구현들은 사용자들이 몰입형 미디어 콘텐츠에 참여하는 것을 가능하게 한다. 몰입형 미디어 콘텐츠는 360 비디오, 360 포토들, 가상 현실, 증강 현실, 혼합 현실 콘텐츠는 물론, 다른 포멧들을 포함한다. 360 비디오 및 가상 현실, 증강 현실 및 혼합 현실에 대한 콘텐츠 대부분과 같은 일부 몰입형 미디어 포멧들은 일시적으로 동적이다. 360 포토들과 같은 일부 몰입형 콘텐츠는 정적 콘텐츠를 갖는다. 동적 몰입형 미디어의 다수의 예들이 360 비디오와 관련하여 설명되지만, 동일한 방법론이 다른 형태들의 동적 몰입형 미디어에도 적용된다.
[0069] 도 1은 일부 구현들이 동작하는 맥락을 예시한다. 콘텐츠 제공자(120)(예컨대, 120-1 내지 120-M)는 몰입형 비디오들(122)(예컨대, 360 비디오들(122-1 내지 122-M))을 저장한다. 360 비디오들은 카메라 시스템의 위치로부터 전체 구형 뷰를 본질적으로 생성하기 위해 카메라 시스템에 의해 촬영된다. 통상적으로, 다수의 카메라들의 비디오 이미지들은 함께 결합(stitched)되어 풀(full) 360 비디오를 생성한다. 콘텐츠 제공자(120)는 단지 소수의 360 비디오들만을 저장할 수 있지만, 일부 콘텐츠 제공자들은 수백 또는 수천 개의 360 비디오들을 갖는다. 일부 구현들에서, 콘텐츠 제공자(120)에서의 360 비디오(122)는 모두 동일한 유형을 갖지만, 일부 콘텐츠 제공자(120)는 2개 이상의 별개의 포맷들을 갖는 360 비디오들을 저장한다.
[0070] 또한, 일부 콘텐츠 제공자들(120)은 제공자(120)(예컨대, 콘텐츠 제공자들(120-1 내지 120-M))에 저장된 360 비디오(122)에 대한 커스텀(custom) 비디오들(124-1 내지 124-M))에 기초하여 생성되는 커스터마이징된 비디오(124)를 각각 저장한다. 커스텀 비디오(124)는 비디오 애플리케이션(106)의 사용자들에 의해 생성된다. 콘텐츠 제공자는 다른 사용자들에게도 커스텀 비디오들(124)을 제공할 수 있다. 일부 경우들에서, 커스텀 비디오(124)를 생성하는 사용자는 스타 풋볼 플레이어 또는 잘 알려진 배우와 같이 잘 알려진 사람이다. 유명한 사람들에 의해 생성된 커스텀 비디오(124)는 다른 사용자들에 대한 더 큰 호소력을 갖는 경향이 있다.
[0071] 다수의 개별 사용자들은 클라이언트 디바이스(104)(예컨대, 클라이언트 디바이스(104-1 내지 104-N))를 사용하여 비디오 애플리케이션(106)에 액세스한다. 일부 구현들에서, 클라이언트 디바이스는 핸드헬드 디바이스, 이를테면, 스마트 폰 또는 태블릿 컴퓨터, 증강 현실(AR) 디바이스, 가상 현실(VR) 디바이스(예컨대, 머리 장착 디스플레이를 가짐), 랩톱 컴퓨터 또는 데스크톱 컴퓨터이다. 사용자는 비디오 애플리케이션(106)의 사용자 인터페이스(108)와 상호작용하여 (예컨대, 콘텐츠 제공자(120)에 의해 제공되는) 기존의 360 비디오를 뷰잉하고, 기존의 360 비디오를 사용하여 새로운 커스터마이징된 비디오들(124)을 생성한다.
[0072] 일부 구현들에서, 비디오 애플리케이션(106)은 서버(110)(또는 서버(110)의 클러스터)에 의해 제공된다. 서버(110)는 웹 서버(112), 애플리케이션 서버(114) 및 데이터베이스(116)를 포함하며, 이들은 도 3과 관련하여 아래에서 보다 상세히 설명된다. 일부 구현들에서, 콘텐츠 제공자들(120) 중 하나 이상은 서버(110)와 관련하여 설명된 기능성을 포함한다.
[0073] 일부 구현들에서, 서버(110)는, 콘텐츠 제공자(120)에 의해 제공된 웹사이트 또는 플랫폼에 서버(110)의 기능성을 통합하기 위해 콘텐츠 제공자(120)에 의해 액세스될 수 있는 API를 포함한다. 이 시나리오에서, 클라이언트 디바이스는 콘텐츠 제공자(120)의 웹사이트 또는 애플리케이션에 액세스하고, 콘텐츠 제공자(120)는 서버(110)의 API를 사용하여 몰입형 비디오 기능성에 액세스한다.
[0074] 사용자가 생성한 커스터마이징된 비디오들(124)은 또한 Facebook® 또는 Google+®와 같은 하나 이상의 소셜 네트워크들(130)에 업로드될 수 있다. 일부 경우들에서, 이는, 소셜 네트워크 사용자들의 수로 인해 커스터마이징된 비디오들에 대한 더 뛰어난 액세스를 제공한다.
[0075] 도 1에 예시된 컴퓨터, 서버들 및 컴퓨팅 디바이스들 모두는 인터넷, 다른 광역 네트워크, 로컬 영역 네트워크 등과 같은 하나 이상의 통신 네트워크들(102)을 통해 통신한다. 대부분의 경우, 클라이언트 디바이스(104)는 무선 네트워크를 사용하여 다른 디바이스들과 통신한다.
[0076] 도 2는 사용자가 비디오 애플리케이션(106)에 액세스하기 위해 사용하는 클라이언트 디바이스(104)를 예시하는 블록도이다. 클라이언트 디바이스는 또한 컴퓨팅 디바이스 또는 컴퓨팅 시스템으로서 지칭되며, 이는 스마트 폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, PDA, 또는 비디오 애플리케이션(106)을 실행시킬 수 있고 통신 네트워크(102)에 대한 액세스를 갖는 다른 컴퓨팅 디바이스일 수 있다. 클라이언트 디바이스(104)는 통상적으로 메모리(214)에 저장된 모듈들, 프로그램들 또는 명령들을 실행하고, 그리하여 프로세싱 동작들을 수행하기 위한 하나 이상의 프로세싱 유닛들(CPU들)(202); 하나 이상의 네트워크 또는 다른 통신 인터페이스들(204); 메모리(214); 및 이들 컴포넌트들을 상호연결하기 위한 하나 이상의 통신 버스들(212)을 포함한다. 통신 버스들(212)은 시스템 컴포넌트들을 상호연결하고 이들 간의 통신들을 제어하는 회로(때로는, 칩셋이라 칭함)를 포함할 수 있다. 클라이언트 디바이스(104)는 디스플레이 디바이스(208) 및 하나 이상의 입력 디바이스들 또는 메커니즘들(210)을 포함하는 디바이스 인터페이스(206)를 포함한다. 일부 구현들에서, 입력 디바이스/메커니즘은 키보드 및 마우스를 포함하고; 일부 구현들에서, 입력 디바이스/메커니즘은 필요에 따라, 사용자가 디스플레이(208) 상에 나타나는 "키들을 누르는 것"을 가능하게 하는, 디스플레이 디바이스(208) 상에 디스플레이되는 "소프트" 키보드를 포함한다.
[0077] 클라이언트 디바이스(104)는 또한 마이크로폰(203) 및 하나 이상의 이미지 센서들(205)을 포함한다. 일부 클라이언트 디바이스(104)는 전방을 향하는 이미지 센서 및 후방을 향하는 이미지 센서 둘 모두를 갖는다. 일부 구현들에서, 클라이언트 디바이스(104)는 클라이언트 디바이스(104)의 움직임을 식별하는 데 사용될 수 있는 하나 이상의 자이로스코프들(207)을 포함한다. 일부 구현들에서, 클라이언트 디바이스(104)는 모션 및 디바이스 배향의 검출을 추가로 가능하게 하는, 가속도계 및/또는 자력계와 같은 다른 센서들을 포함한다. 일부 클라이언트 디바이스(104)는 클라이언트 디바이스(104)의 대략적인 지리적 위치를 결정하는 데 사용될 수 있는 GPS 안테나 및 GPS 프로세싱 모듈(예컨대, 칩)을 포함한다.
[0078] 일부 구현들에서, 메모리(214)는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 솔리드 스테이트(solid state) 메모리 디바이스들과 같은 고속 랜덤 액세스 메모리를 포함한다. 일부 구현들에서, 메모리(214)는 비-휘발성 메모리, 이를테면, 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들 또는 다른 비-휘발성 솔리드 스테이트 저장 디바이스들을 포함한다. 일부 구현들에서, 메모리(214)는 CPU(들)(202)로부터 원격으로 로케이팅된 하나 이상의 저장 디바이스들을 포함한다. 메모리(214) 또는 대안적으로, 메모리(214) 내의 비-휘발성 메모리 디바이스(들)는 비-일시적인 컴퓨터 판독 가능 저장 매체를 포함한다. 일부 구현들에서, 메모리(214) 또는 메모리(214)의 컴퓨터 판독 가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 이들의 서브세트를 저장한다:
· 다양한 기본 시스템 서비스들을 처리하고 하드웨어 종속 작업들을 수행하기 위한 절차들을 포함하는 운영 체제(216);
· 하나 이상의 통신 네트워크 인터페이스들(204)(유선 또는 무선) 및 하나 이상의 통신 네트워크들(102), 이를테면, 인터넷, 다른 광역 네트워크들, 로컬 영역 네트워크들, 도시 영역 네트워크들 등을 통해 클라이언트 디바이스(104)를 다른 컴퓨터들 및 디바이스들에 연결하기 위해 사용되는 통신 모듈(218);
· 하나 이상의 입력 디바이스들 또는 메커니즘들(210)로부터 입력을 수신하고, 디스플레이 디바이스(208) 상에 디스플레이하기 위한 사용자 인터페이스 엘리먼트들을 생성하는 디스플레이 모듈(220);
· 사용자가 네트워크(102)(이를테면, 인터넷)를 통해 원격 컴퓨터들 또는 디바이스들과 통신하는 것을 가능하게 하는 웹 브라우저(222);
· 사용자들이 360 비디오들(122)을 선택 및 뷰잉하는 것을 물론, 기존의 360 비디오들(122)의 커스터마이징된 버전들(124)을 생성하는 것을 가능하게 하는 비디오 애플리케이션(106). 사용자 인터페이스(108)의 일부 예들이 아래의 도면들에 예시된다. 360 비디오를 플레이할 때, 사용자 인터페이스는 통상적으로 디스플레이 스크린(208)의 전부 또는 대부분이 비디오를 디스플레이하는 데 사용되는 모드에서 동작한다. 360 비디오를 플레이할 때, 사용자는 360 비디오의 어느 부분이 디스플레이 스크린(208) 상에 나타나는지를 결정하는 가시성 윈도우(224)를 특정한다. 통상적으로, 가시성 윈도우는 클라이언트 디바이스(104)의 움직임 및 배향에 의해 결정된다(예컨대, 클라이언트 디바이스를 좌측으로 패닝(panning)하는 것은 좌측으로 비례적으로 가시성 윈도우를 이동시킴); 그리고
· 비디오 애플리케이션(106)에 의해 사용 및/또는 생성되는 데이터를 포함하는 애플리케이션 데이터(230). 일부 구현들에서, 애플리케이션 데이터(230)는 사용자에 관한 다양한 프로파일 정보, 사용자에 의해 뷰잉되거나 생성된 비디오의 로그, 사용자 선호도 데이터 등을 포함한다. 또한, 애플리케이션 데이터는 사용자에 의해 생성된 커스텀 비디오들(124)을 포함한다. 일부 구현들에서, 커스텀 비디오(124)에 대한 데이터는 각각의 시점에 가시성 윈도우의 위치를 특정하는 포지션 메타데이터(232)를 포함한다. 커스텀 비디오에 대한 데이터는 또한, 사용자 오디오 데이터(234)(예컨대, 360 비디오가 플레이되는 동안 사용자 코멘터리)는 물론, 비디오 데이터(236)(예컨대, 커스텀 비디오(124)를 생성하는 동안 사용자의 얼굴과 같은 사용자의 비디오)를 포함한다. 사용자 오디오(234) 및 사용자 비디오(236)는 포지션 메타데이터(232)가 캡처되는 동일 시간(예컨대, 360 비디오의 처음 플레이)에 캡처될 수 있거나, 또는 나중에(예컨대, 생성된 커스텀 비디오(124)를 리플레이하는 동안) 생성될 수 있다.
[0079] 위의 식별된 실행 가능 모듈들, 애플리케이션들 또는 절차들의 세트들 각각은 위에서 언급된 메모리 디바이스들 중 하나 이상에 저장될 수 있고 위에서 설명된 기능을 수행하기 위한 명령들의 세트에 대응한다. 위에서 식별된 모듈들 또는 프로그램들(즉, 명령들의 세트들)은 별개의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요가 없으며, 따라서 이들 모듈들의 다양한 서브세트들은 다양한 구현들에서 결합되거나 또는 다른 방식으로 재배열될 수 있다. 일부 구현들에서, 메모리(214)는 위에서 식별된 모듈들 및 데이터 구조들의 서브세트를 저장할 수 있다. 또한, 메모리(214)는 위에서 설명되지 않은 부가적인 모듈들 또는 데이터 구조들을 저장할 수 있다.
[0080] 도 2가 클라이언트 디바이스(104)를 도시하지만, 도 2는 본원에서 설명된 구현들의 개략적인 구조로서 보다는, 존재할 수 있는 다양한 특징들의 기능적 설명으로서 더욱 의도된다. 실제로, 그리고 당업자에 의해 인식되는 바와 같이, 개별적으로 도시된 아이템들은 결합될 수 있고 일부 아이템들은 분리될 수 있다.
[0081] 도 3은 서버(110)를 예시하는 블록도이다. 일부 구현들에서, 서버(110)는 서버 시스템 내의 복수의 서버들 중 하나이다. 서버(110)는 통상적으로 메모리(314)에 저장된 모듈들, 프로그램들 또는 명령들을 실행하고 그리하여 프로세싱 동작들을 수행하기 위한 하나 이상의 프로세싱 유닛들(CPU들)(302); 하나 이상의 네트워크 또는 다른 통신 인터페이스들(304); 메모리(314); 및 이들 컴포넌트들을 상호연결하기 위한 하나 이상의 통신 버스들(312)을 포함한다. 통신 버스들(312)은 시스템 컴포넌트들을 상호연결하고 이들 간의 통신들을 제어하는 회로(때로는, 칩셋이라 칭함)를 포함할 수 있다. 일부 구현들에서, 서버(110)는 디스플레이 디바이스(308) 및 키보드 및 마우스와 같은 하나 이상의 입력 디스플레이들(310)을 포함할 수 있는 사용자 인터페이스(306)를 포함한다.
[0082] 일부 구현들에서, 메모리(314)는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 솔리드 스테이트(solid state) 메모리 디바이스들과 같은 고속 랜덤 액세스 메모리를 포함한다. 일부 구현들에서, 메모리(314)는 비-휘발성 메모리, 이를테면, 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들 또는 다른 비-휘발성 솔리드 스테이트 저장 디바이스들을 포함한다. 일부 구현들에서, 메모리(314)는 CPU(들)(302)로부터 원격으로 로케이팅된 하나 이상의 저장 디바이스들을 포함한다. 메모리(314) 또는 대안적으로, 메모리(314) 내의 비-휘발성 메모리 디바이스(들)는 비-일시적인 컴퓨터 판독 가능 저장 매체를 포함한다. 일부 구현들에서, 메모리(314) 또는 메모리(314)의 컴퓨터 판독 가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 이들의 서브세트를 저장한다.
· 다양한 기본 시스템 서비스들을 다루고 하드웨어 종속 작업들을 수행하기 위한 절차들을 포함하는 운영 체제(316);
· 하나 이상의 통신 네트워크 인터페이스들(304)(유선 또는 무선) 및 하나 이상의 통신 네트워크들(102), 이를테면, 인터넷, 다른 광역 네트워크들, 로컬 영역 네트워크들, 도시 영역 네트워크들 등을 통해 서버(110)를 다른 컴퓨터들에 연결하기 위해 사용되는 통신 모듈(318);
· 하나 이상의 입력 디바이스들(310)로부터 입력을 수신하고, 디스플레이 디바이스(308) 상에 디스플레이하기 위한 사용자 인터페이스 엘리먼트들을 생성하는 디스플레이 모듈(320);
· 클라이언트 디바이스(104)로부터 요청들을 수신하고 응답 웹 페이지들, 자원들 또는 링크들을 리턴하는 하나 이상의 웹 서버들(112). 일부 구현들에서, 각각의 요청은 데이터베이스(116)에 로깅된다;
· 다양한 애플리케이션들(이를테면, 비디오 애플리케이션(106))을 클라이언트 디바이스들(104)에 제공하는 하나 이상의 애플리케이션 서버들(114). 일부 경우들에서, 애플리케이션들은 클라이언트 디바이스(104)에 전달되어 웹 브라우저(222)에서 디스플레이되는 웹 페이지들의 세트로서 제공된다. 웹 페이지들은 필요 또는 요청에 따라 전달된다. 일부 경우들에서, 애플리케이션은 웹 브라우저(222) 외부의 클라이언트 디바이스(104)로부터 설치 및 실행되는 다운로드로서 클라이언트 디바이스(104)에 전달된다; 그리고
· 위에서 식별된 모듈들 또는 프로그램들에 의해 사용되는 다양한 데이터를 저장하는 하나 이상의 데이터베이스(116).
[0083] 일부 구현들은 비디오 애플리케이션(106)의 사용자들에 대한 사용자 인터페이스(108)를 제공하는 사용자 인터페이스 엔진(326)을 포함한다. 통상적으로, 2개의 별개의 사용자 인터페이스들: 몰입형 비디오 발행자들에 의해 사용되는 발행자 사용자 인터페이스(327); 및 몰입형 비디오들을 뷰잉하는 개인들에 의해 사용되는 뷰어 사용자 인터페이스(328)가 존재한다. 발행자 사용자 인터페이스(327)는 발행자가 주석들(338)을 몰입형 비디오들(122)에 넣거나 및/또는 젬들(340)을 삽입하는 것을 가능하게 한다.
[0084] 젬(340)은 젬이 활성화될 때 뷰어 사용자에게 보상을 제공하는 상호작용식 어포던스(interactive affordance)이다. 몰입형 비디오(122)는 통상적으로, 뷰어 사용자가 동시에 모든 것을 보는 것을 본질적으로 방지하는 공간 차원들(예컨대, 360도)을 갖는다. 사용자는 어느 부분이 뷰잉될지를 특정하기 위해 가시성 윈도우를 사용한다. 통상적으로 가시성 윈도우가 이동될 수 있고 (예컨대, 카메라 렌즈의 줌을 변경하는 것과 같이) 배율이 변경될 수 있다. 젬이 몰입형 비디오에 배치될 때, 사용자는 여러 특성들을 특정한다. 제1 특성은 공간적 위치(342)이다. 일부 구현들에서, 이것은 방위각 및 고도로서 특정된다. 또한, 사용자는 몰입형 비디오 내에서 시간적 위치를 특정한다. 이는 시작 시간(344)(예컨대, 비디오(122)의 처음으로부터의 오프셋) 및 지속기간(346)으로서 표현될 수 있다. 일부 구현들에서, 시간적 위치는 시작 시간(344) 및 종료 시간으로서 저장된다. 각각의 젬(340)은 또한 젬(340)의 활성화 시에 사용자가 받는 하나 이상의 연관된 보상들(348)을 갖는다. 일부 구현들에서, 젬/보상 엔진(330)은 복수의 가능한 보상들(348) 중 하나를 선택하고 선택된 보상을 개시한다. 일부 경우들에서, 젬은 만료일(350)을 갖는다. 만료일이 특정될 때, 젬(340)은 만료일 이후에는 더 이상 사용 가능하지 않다(예컨대, 젬이 비디오에 나타나지 않음).
[0085] 일부 구현들에서, 데이터베이스(116)는 사용자 이름들, 암호화된 패스워드들, 및 각각의 사용자에 관한 다른 관련 정보를 포함할 수 있는 인가된 사용자들(332)의 리스트를 포함한다. 일부 구현들에서, 각각의 사용자는 연관된 사용자 프로파일(331) 및 사용자 계정(333)을 갖는다. 사용자 프로파일(331)은 인구통계 정보, 선호도들 및 비디오 뷰잉 이력과 같은 사용자에 관한 다양한 정보를 포함한다. 이 정보는 젬(340)이 활성화될 때 적절한 보상을 선택하기 위해 젬/보상 엔진(330)에 의해 사용될 수 있다. 일부 구현들에서, 사용자 계정(333)은 젬들(340)의 활성화 시에 사용자가 받는 보상 토큰들을 저장한다. 보상 토큰들은 제한된 비디오들 또는 비디오 게임들에 대한 액세스를 받거나, 상품 또는 서비스들에 대한 할인들을 받거나, 또는 다른 귀중한 기회들을 받도록 나중에 교환될 수 있다. 일부 경우들에서, 다수의 보상 토큰들이 단일 어그리게이팅된 보상을 위해 교환된다(예컨대, 사용자는 경품을 잠금해제하기 위해 4개의 별개의 유형들의 보상 토큰들을 수집할 필요가 있음).
[0086] 데이터베이스(116)는 또한 알려진 콘텐츠 제공자들에 관한 정보(예컨대, 웹 어드레스들)를 제공하는 콘텐츠 제공자 리스트(334)를 저장한다. 콘텐츠 제공자들(334)의 리스트 외에도, 일부 구현들은 어떤 몰입형 비디오가 콘텐츠 제공자들(334)로부터 이용 가능한지를 식별하는 비디오 메타데이터(336) 및 이들 비디오들에 관한 설명 정보를 저장한다. 일부 구현들은 어느 비디오들이 사용 가능한지를 결정하기 위해 각각의 콘텐츠 제공자에 동적으로 질의한다. 일부 구현들에서, 데이터베이스(116)는 몰입형 비디오들(122)(또는 비디오들 중 일부)의 사본들을 저장한다. 몰입형 비디오들의 사본들을 저장하는 하나의 이점은 콘텐츠 제공자가 오프라인인 경우에도 이들이 이용 가능하다는 것이다. 일부 구현들에서, 서버(110)는 또한 서버 하드웨어 성능, 네트워크 대역폭 또는 다른 팩터들로 인해 더 양호한 액세스를 제공할 수 있다. 일부 구현에서, 서버는 또한 사용자들에 의해 생성된 커스텀 비디오들(124)을 저장한다.
[0087] 도 3의 위에서 식별된 엘리먼트들 각각은 이전에 언급된 메모리 디바이스들 중 하나 이상에 저장될 수 있다. 각각의 실행 가능한 프로그램, 모듈 또는 절차는 위에서 설명된 기능을 수행하기 위한 명령들의 세트에 대응한다. 위에서 식별된 모듈들 또는 프로그램들(즉, 명령들의 세트들)은 별개의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요가 없으며, 따라서 이들 모듈들의 다양한 서브세트들은 다양한 구현들에서 결합되거나 또는 다른 방식으로 재배열될 수 있다. 일부 구현들에서, 메모리(314)는 위에서 식별된 모듈들 및 데이터 구조들의 서브세트를 저장한다. 또한, 메모리(314)는 위에서 설명되지 않은 부가적인 모듈들 또는 데이터 구조들을 저장할 수 있다.
[0088] 도 3이 서버(110)를 예시하지만, 도 3은 본원에서 설명된 구현들의 개략적인 구조로서 보다는, 하나 이상의 서버들의 세트에 존재할 수 있는 다양한 특징들의 기능적 예시로서 더욱 의도된다. 실제로, 그리고 당업자에 의해 인식되는 바와 같이, 개별적으로 도시된 아이템들은 결합될 수 있고 일부 아이템들은 분리될 수 있다. 이러한 특징들을 구현하는 데 사용되는 서버들의 실제 수 및 특징들이 이들 사이에서 어떻게 할당되는지는 구현마다 변동될 수 있고, 피크 사용 기간들 동안은 물론, 평균 사용 기간들 동안 시스템이 처리해야 하는 데이터 트래픽의 양에 부분적으로 의존할 수 있다.
[0089] 도 2 및 도 3에 예시된 바와 같이, 비디오 애플리케이션에 대한 기능성은 클라이언트 디바이스(104)와 서버 시스템(110) 간에 공유될 수 있다. 일부 구현들에서, 비디오 애플리케이션(106)이 클라이언트 디바이스(104) 상에 설치된 후, 후속 프로세싱 대부분은 클라이언트 디바이스(104) 상에서 발생하여, 콘텐츠 제공자(120)와 직접 상호작용한다. 다른 구현들에서, 프로세싱 및 데이터 저장 대부분은 서버(110)에서 발생하고, 클라이언트 디바이스(104)는 웹 브라우저(222)를 사용하여 데이터를 뷰잉하고 이와 상호작용한다. 이 경우에, 클라이언트 디바이스는 서버(110)와 상호작용하고, 서버(110)는 콘텐츠 제공자들(120)과 상호작용한다. 당업자는 클라이언트 디바이스(104)와 서버(110) 사이의 다양한 기능성의 할당이 가능하고, 일부 구현 예들은 (예컨대, 사용자 선호도들에 기초하여) 다수의 구성들을 지원한다는 것을 인식한다.
[0090] 일부 구현들에서, 서버(110)에 대해 여기서 설명된 기능성은 직접 또는 간접적으로, 하나 이상의 콘텐츠 제공자들(120)에 포함된다. 일부 구현들에서, 콘텐츠 제공자(120)는 서버(110)의 기능성을 제공하기 위해 실행 가능한 프로그램들 또는 모듈들을 포함한다. 일부 구현들에서, 콘텐츠 제공자(120)는 노출된 API에 의해 서버(110)의 기능성에 액세스한다. 이러한 경우들 중 어느 한 경우에, 사용자는 콘텐츠 제공자(120)의 웹사이트 또는 애플리케이션과 상호작용하고, 서버(110)와 관련하여 설명된 몰입형 비디오 기능성에 대한 액세스를 얻는다.
[0091] 도 4는 일부 구현들에 따라 커스터마이징된 비디오를 생성하기 위한 프로세스의 흐름도이다. 커스터마이징된 비디오는 때로는 RE/라이브(live)로서 지칭된다. 프로세스는 채널 또는 콘텐츠 제공자(122)를 선택함으로써 시작한다(402). 채널이 선택된 후에, 사용자 인터페이스(108)는 선택된 채널 또는 제공자로부터 이용 가능한 360 비디오들의 리스트를 디스플레이하고, 사용자는 이용 가능한 비디오들 중 하나를 선택한다(404). 일부 구현들에서, 사용자에게는 다양한 제공자들(120)로부터의 360 비디오들(예컨대, 특정 사용자에 대해 가장 인기있는 비디오들 및/또는 가장 적절한 비디오들)의 혼합물이 제공된다는 것에 주의한다.
[0092] 그 후, 사용자는 비디오를 플레이(406)하도록 선택한다. 일부 구현들에서, 사용자는 후속적으로, RE/라이브 레코딩을 시작하도록 선택한다(408). 일부 구현들에서, 사용자는 비디오를 플레이하도록 선택하는 것과 동시에 RE/라이브 레코딩을 시작할 수 있다.
[0093] 일부 구현들에서, 비디오 애플리케이션(106)은 이번이 사용자가 RE/라이브 레코딩을 처음으로 행한 것인지를 결정한다(410). 만약 그렇다면, 사용자 인터페이스(108)는 사용자가 RE/라이브 레코딩을 생성하고자 하는지를 검사한다(412). 만약 그렇지 않은 경우, 비디오 애플리케이션은 레코딩 없이 비디오의 플레이를 재개한다(406). 이번이 사용자의 처음 RE/라이브이고 그것이 사용자가 실제로 의도한 것인 경우, 비디오 애플리케이션(106)은 이 특징을 사용하는 방법에 대한 튜토리얼을 제공한다(414). 튜토리얼 이후에, 또는 RE/라이브 옵션을 선택한 직후에 이번이 사용자의 처음 레코딩이 아닌 경우, 비디오 애플리케이션은 레코딩을 시작한다(416). 레코딩은 가시성 윈도우의 위치(즉, 각각의 시점에 360의 어느 부분을 사용자가 뷰잉하는지)를 추적하는 것을 포함한다. 일부 구현들에서, 레코딩은 또한, 동시에, 사용자의 비디오를 레코딩하고 오디오(예컨대, 360 비디오에 관한 사용자 코멘터리)를 레코딩하는 것을 포함한다. 360 비디오가 끝났을 때 또는 사용자가 레코딩을 중단하도록 선택할 때 레코딩이 중단된다(418). 생성된 RE/라이브(124)의 지속기간은 오리지널 360 비디오의 지속기간 미만일 수 있다.
[0094] 레코딩이 완료되면, 사용자는 다양한 옵션들을 갖는다(420). 옵션들 중 하나는 레코딩을 검토하는 것이다(422). 레코딩을 검토하는 것은, 레코딩 동안 생성된 가시성 윈도우를 사용하여, 생성된 바와 같은 RE/라이브를 플레이백하는 것을 포함한다. 또한, 검토는 사용자로부터의 오디오 및 비디오를 포함한다. 사용자의 레코딩된 비디오는 일반적으로 360 비디오로부터 생성된 메인 비디오의 코너 포지션에 오버레이된다. 일부 구현들에서, 비디오 오버레이는 메인 비디오의 총 영역의 약 4% 또는 5%이며, 메인 비디오의 하위 좌측 주변 부분의 직사각형 구역으로서 디스플레이된다. 사용자(또는 주변 사운드)의 오디오 레코딩은 오리지널 360 비디오로부터의 오디오에 부가되거나 이 오디오를 대체할 수 있다. 검토 후에, 사용자에게는 동일한 옵션들의 세트가 제시된다(420). 일부 구현들에서, 오리지널 레코딩이 완료된 후 검토 옵션이 자동으로 선택된다.
[0095] 다른 옵션은 사용자의 오디오 및 비디오를 재레코딩하는 것이다(424). 이 옵션이 선택될 때, 메인 비디오는 원래 레코딩된 가시성 윈도우 포지션들에 기초하여 플레이되고 사용자에게는 코멘트(comment)들(또는 행동 등)을 할 다른 기회들이 주어진다. 재레코딩(424)이 완료되면(418), 액션 옵션들(420)이 다시 제시된다. 일부 구현들에서, 오리지널 레코딩(416) 동안 어떠한 사용자 오디오 또는 비디오 레코딩도 발생하지 않고, 이에 따라 "재레코딩" 옵션은 사용자 코멘터리를 레코딩하기 위한 옵션으로서 이를 식별하는 상이한 라벨을 가질 수 있다. 일부 구현들은 사용자 오디오 또는 사용자 비디오를 폐기(또는 생성하지 않음)하는 옵션을 또한 제공한다.
[0096] 다른 옵션은 레코딩을 완전히 폐기하는 것이다(432). 이 경우에, 디폴트 거동(default behavior)은, 사용자가 동일한 레코딩을 리플레이(또는 상이한 비디오를 선택)할 수 있는 지점으로 사용자를 리턴하는 것이다.
[0097] 커스텀 비디오들(124)의 중요한 양상은 이들이 다른 사람들과 공유될 수 있다는 것이다. 사용자가 생성된 커스텀 비디오를 좋아하는 경우, 사용자는 다른 사람들을 위해 커스텀 비디오(124)를 포스팅하도록 선택할 수 있다. 일부 구현들에서, 사용자에게는 다수의 목적지 옵션들이 제시된다(426). 옵션들 중 하나는 커스텀 비디오(124)를 Facebook® 또는 Google+®와 같은 소셜 네트워크(130)에 포스팅하는 것이다. 다른 옵션은 애플리케이션의 다른 사용자들이 커스텀 비디오를 이용 가능하게 하도록 서버(110)에 포스팅하는 것이다. 일부 구현들에서, 커스텀 비디오(124)는 또한 대응하는 콘텐츠 제공자(120)에 저장된다. 일부 구현들에서, 콘텐츠 제공자(120)로의 포스팅은 사용자-선택 가능 옵션이다. 일부 구현들에서, 사용자가 커스텀 비디오를 포스팅하도록 선택할 때 콘텐츠 제공자로의 포스팅이 암시적으로 발생한다. 일부 구현들에서, 사용자는 또한 클라이언트 디바이스(104) 상에 커스텀 비디오를 로컬로 저장하는 옵션을 갖는다. 이 경우에, 사용자는 커스텀 비디오를 서버(110) 또는 소셜 네트워크(130)에 나중에 포스팅하는 옵션을 갖는다.
[0098] 도 5a 내지 도 5e는 일부 구현들에 따라 커스터마이징된 비디오를 생성하기 위한 사용자 인터페이스 엘리먼트의 개요를 제공한다. 도 5a에서, 사용자 인터페이스(108)는 여러 채널들 또는 콘텐츠 제공자(502)를 디스플레이하고, 사용자는 특정 360 비디오를 다운로드하기 위해 제공자들 중 하나를 선택한다.
[0099] 도 5b에서, 360 비디오가 플레이되기 시작한다. 진행 바(504)는 360 비디오가 얼마만큼 이미 플레이되었는지를 보여준다. 또한, 사용자 인터페이스(108)는 RE/라이브 아이콘(506)을 디스플레이한다. 사용자는 도 5c에 도시된 레코딩을 개시하기 위해 RE/라이브 아이콘(506)을 선택한다. 도 5c에서, 활성 RE/라이브 아이콘(508)이 비디오 영역에 도시되어, 레코딩이 활성임을 표시한다. 또한, 클라이언트 디바이스(104) 상의 전방을 향하는 이미지 센서(205)는 인레이(510)에 도시된 사용자의 비디오의 레코딩을 시작한다. 주변 오디오가 또한 레코딩되기 시작한다.
[00100] 일부 지점에서, 360 비디오가 완료되거나 사용자가 레코딩을 중단한다. 일부 구현들에서, 사용자는 비디오 영역 내의 임의의 곳을 태핑(tapping)함으로써 레코딩을 중단할 수 있다. 다른 구현들에서, 사용자는 활성 RE/라이브 아이콘(508)을 태핑함으로써 레코딩을 중단할 수 있다. 도 5d에 도시된 바와 같이, 사용자는 레코딩을 중단하기 위해 스크린을 탭핑(512)하였다. 일부 구현들에서, 레코딩이 중단된 후에, 비디오 애플리케이션은 사용자 검토를 위해 비디오를 자동으로 리플레이한다. 다른 구현들에서, 사용자는 또한 검토(예컨대, 한번 초과의 검토)를 선택할 수 있다.
[00101] 사용자가 레코딩된 커스텀 비디오(124)를 검토한 후에, 사용자 인터페이스(108)는 사용자에 대한 여러 옵션들(520)을 디스플레이한다. 사용자가 폐기 옵션(522)을 선택하는 경우, 커스텀 비디오(124)는 삭제된다. 사용자가 포스팅 옵션(524)을 선택하는 경우, 사용자는 서버(110) 또는 소셜 네트워크(130)와 같이 커스텀 비디오를 포스팅할 곳을 선택할 수 있다. 일부 구현들에서, 커스텀 비디오를 포스팅하는 선택은 또한 오리지널 360 비디오를 생성한 채널 또는 제공자(120)에 커스텀 비디오를 저장한다. 일부 구현들에서, 채널 또는 제공자(120)는 사용자들에 의해 선택될 수 있는 별개의 커스텀 비디오 피드(feed)를 갖는다. 일부 구현들에서, 커스텀 비디오(124)가 서버에 포스팅될 때, 이는 새로운 커스텀 비디오를 생성한 사용자의 팔로워(follower)들인 다른 사용자들에 대해 가시적이 된다.
[00102] 도 6a 내지 도 6d는 일부 구현들에 따라 커스터마이징된 비디오를 레코딩 및 플레이백하는 것을 예시한다. 도 6a는 가시성 윈도우가 360 비디오의 부분(602)을 선택하는 것을 예시한다. 가시성 윈도우 내부의 부분이 플레이백 동안 디스플레이될 것이다. 레코딩 동안, 활성 RE/라이브 아이콘(604)이 디스플레이되어서, 사용자는 레코딩이 활성임을 알게 된다. 레코딩 동안, 사용자는 또한 동시에 레코딩되는 비디오 오버레이(606)를 본다. 도 6b는 도 6a와 동일하지만, 가시성 윈도우 내부에 있는 것만 도시한다. 이는 레코딩을 하는 동안 사용자가 보는 것이다.
[00103] 도 6c는 도 6a 또는 도 6b에 레코딩된 커스텀 비디오(124)를 플레이백하는 것을 도시한다. 플레이백은 동일한 주 비디오 및 이미지의 코너의 동일한 비디오 오버레이를 갖는다. 또한, 플레이백 동안, 오디오 트랙은 사용자에 의해 레코딩된 오디오를 포함한다. 이 구현에서, 레코딩된 커스터마이징된 비디오는 그것이 저장된 커스텀 비디오임을 표시하도록 상이한 아이콘(620)을 디스플레이한다.
[00104] 일부 구현들에서, 사용자는 플레이백 동안 가시성 윈도우를 이동시킬 수 있고, 따라서, 이미지는 레코딩된 시야 외부에서 모호하게 되고 비디오 애플리케이션들은 사용자들이 벗어난 경우 기준점으로 이들을 다시 안내한다. 이는 도 6d의 모호해지는 구역(630)에 의해 예시된다. 일부 구현들은, 사용자를 기준점으로 다시 안내하기 위해 시각적 큐들 외에도(또는 그 대신에), (예컨대, 커스텀 비디오의 기준점으로부터 발생하는 사운드를 강조함으로써) 오디오 큐들을 사용한다.
[00105] 도 6e에서, 사용자는 커스터마이징된 비디오의 하단에 코멘트 주석(640)을 부가했다. 이 예에서 주석은 텍스트 부분("Dude check this out!")은 물론, 그래픽 부분(코멘트를 한 사용자의 프로파일 사진) 둘 모두를 포함한다. 타임라인(642)은 주석 코멘트가 커스터마이징된 비디오의 47초에 나타난다는 것을 표시한다. 이 코멘트는 비디오의 제한된 지속기간, 이를테면, 비디오의 0:47 내지 1:00 동안(즉, 비디오의 47초에서 시작하여, 13초 동안) 디스플레이될 수 있다.
[00106] 도 6e는 또한 젬(648)의 존재를 예시한다. 이 예시에서, 젬(648)은 작은 점으로 나타난다. 일부 구현들에서, 젬이 적색으로서 디스플레이된다. 젬(648)은 상호작용식 사용자 인터페이스 객체들이다. 젬(648)이 활성화될 때, 젬/보상 엔진(330)은 사용자에게 하나 이상의 보상들(348)을 제시한다. 일부 구현들에서, 젬의 위치가 가시성 윈도우에 있을 때(및 젬이 또한 일시적으로 활성일 때) 젬(648)이 활성화된다. 이 경우에, 사용자는, 젬이 가시적이 되게 하는 포지션으로 이동하기 위해 가시성 윈도우를 네비게이팅함으로써 젬을 활성화했다. 일부 구현들에서, 사용자는 또한 젬을 활성화하기 위해 젬에서 특정 액션을 취할 필요가 있다. 예컨대, 사용자는 젬을 클릭하거나 태핑함으로써 젬(648)을 활성화할 수 있다.
[00107] 도 6f는 젬(648)이 활성화되었고, 사용자가 15% 가격 할인의 보상을 받는 것을 예시한다. 일부 구현들에서, 사용자는 보상 디스플레이(650)를 클릭하거나 태핑하고 할인을 사용하기 위해 적절한 웹 페이지로 안내됨으로써 보상을 즉시 사용할 수 있다. 일부 구현들에서, 사용자는 보상 디스플레이(650)를 클릭하거나 태핑함으로써 보상을 사용자 계정(333)에 저장할 수 있다. 일부 구현들에서, 보상은 자동으로 사용자 계정에 저장되고, 사용자가 보상을 받는 것을 인식할 수 있도록 보상 디스플레이(650)가 일시적으로 보여진다. 이러한 구현들 중 일부에서, 보상 디스플레이(650)를 클릭하거나 태핑하는 것은 시야에서 그것을 없앤다.
[00108] 도 6f에서, 사용자 인터페이스 엘리먼트(650)는 또한 주석으로서 부가될 수 있다(이 경우, 그것은 모든 사람들에 대해 가시적임). 일부 구현들에서, 발행자 사용자는 주석(650)이 디스플레이되는 곳을 선택할 수 있다. 도시되진 않았지만, 광고 주석(650)은 비디오의 생성으로부터 30일과 같은 연관된 만료일을 가질 수 있다. 만료일이 특정되는 경우, 주석은 특정된 날짜 이후에 비디오에서 나타나지 않을 것이다. 일부 구현들에서, 소정의 주석들이 몰입형 비디오의 특정 위치와 연관되고, 이에 따라 플레이백 동안 그 위치가 사용자의 뷰에 있는 경우에만 주석이 디스플레이된다.
[00109] 일부 구현들은 다음의 동작들의 시퀀스를 사용하여 주석을 부가한다. 먼저, 사용자가 비디오를 일시정지한다. 일부 구현들에서, 사용자는 비디오 내의 장소를 태핑하거나 홀딩(holding)함으로써 특정 위치에 주석을 삽입할 수 있다. 대안적으로, 일부 구현들은 사용자 인터페이스에서 주석 버튼을 제공한다. 일부 구현들에서, 이러한 이벤트들 중 어느 하나가 발생할 때, 사용자가 짧은 주석을 타이핑할 수 있게 하는 소프트 키보드가 나타난다. 특정 위치를 태핑함으로써 주석이 개시된 경우, 주석은 그 위치에서 나타난다. 사용자가 주석 버튼을 사용한 경우, 일부 구현들은 주석을 비디오의 중앙에 포지셔닝하고 주석을 원하는 위치로 드래그하도록 사용자에게 촉구한다. 일부 구현들은 주석 삽입을 능동적으로 저장하거나 취소하도록 사용자에게 촉구한다. 이 지점에서, 비디오는 플레이(또는 리플레이)를 재개한다.
[00110] 일부 구현들에서, 텍스트 주석들은 문자들의 수에 대한 제한을 갖는다(예컨대, 30 자 또는 50 자).
[00111] 일부 구현들에서, 주석들은 비디오 내에 작은 점들로서 나타난다. 사용자가 (예컨대, 마우스 커서 또는 손가락 제스처를 사용하여) 비디오 내의 주석의 일반 영역으로 패닝함에 따라 그 영역의 주석들이 디스플레이된다. 다수의 주석들이 존재하는 경우, 비디오 사용자 인터페이스는 주석을 만든 사람의 프로파일 사진과 함께, 비디오 바에서 한 번에 하나씩 주석들을 스크롤한다.
[00112] 일부 구현들에서, 주석들의 가시성이 소셜 네트워크 연결들에 기초하여 제한된다. 예컨대, 사용자는 자신이 어느 사용자들을 팔로잉할지를 특정할 수 있다. 이 경우에, 사용자는 사용자가 팔로잉하는 사람들의 주석들만을 본다. 일부 구현들에서, 특정 개인들(예컨대, 유명인사들)에 의한 소정의 주석들은 모든 사람에 대해 디스플레이된다. 일부 구현들에서, 사용자들은 이들이 임의의 주석을 보기 원하지 않는다는 것을 특정할 수 있다.
[00113] 도 7a 내지 도 7g는 일부 구현들에 따라 360 이미지에 기초하여 커스터마이징된 비디오를 생성하는 프로세스를 예시한다. 도 7a는 360 비디오(702)가 시간 차원(704) 및 공간 차원(706) 둘 모두를 갖는다는 것을 예시한다. 360 비디오의 공간적 양상은 아래의 도 8a 및 도 8b에 예시된 바와 같이 하나 초과의 차원이지만, 간략화를 위해 단일 차원으로서 도 7a에서 디스플레이된다. 특정 시점(708)에서, 사용자는 정지 프레임(freeze frame)(710)을 캡처하기 위해 액션(예컨대, 실제 또는 가상 버튼을 누름)을 취한다. 정지 프레임(710)은 단일 360 이미지이다. 도 7a에 예시된 바와 같이, 정지 프레임(710)은 어떠한 시간 차원도 갖지 않지만, 풀 공간 차원(즉, 360도 뷰)을 갖는다.
[00114] 그 후, 사용자는 정지 프레임(710)에 기초하여 커스텀 비디오(124)의 생성을 개시한다. 레코딩된 비디오는 가시성 윈도우의 위치에 기초한다. 도 7b에서, 가시성 윈도우는 정지 프레임(710) 내의 제1 위치(720-1)에 있다. 도 7b에서, 정지 프레임(710)은 차원성을 보다 잘 예시하기 위해 원으로 예시되고, 가시성 윈도우는 정지 프레임의 부분(720-1)만을 본다는 것을 나타낸다. 통상적으로, 커스텀 비디오(124)는 사용자가 가시성 윈도우를 조작함에 따라 실시간으로 레코딩된다. 정지 프레임(710)이 (도 8a 및 도 8b에 예시된 바와 같이) 구형 이미지로서 간주되는 경우, 가시성 윈도우는 비디오 카메라와 같이 동작하여, 윈도우 내의 일부의 동영상(movie)을 찍는다.
[00115] 도 7c는, 가시성 윈도우가 정지 프레임(710)의 제2 부분(720-2)을 보기 위해 이동되었다는 것을 예시한다. 레코딩이 사용자에 의해 일시정지되지 않으면, 레코딩은 가시성 윈도우의 움직임을 실시간으로 캡처하여, 제1 위치(720-1)로부터 제2 위치(720-2)까지 걸친 연속적인 비디오를 생성한다. 도 7b 및 도 7c에 도시된 바와 같이 가시성 윈도우의 위치를 조정하는 것 외에도, 사용자는 도 7d에 예시된 바와 같이 배율을 변경할 수 있다. 가시성 윈도우의 제3 포지션(720-3)은 제2 포지션(720-2)과 거의 동일하지만, 가시성 윈도우가 정지 프레임(710)의 더 큰 부분을 보도록 배율이 변경되었다. 재차, 비디오 레코딩이 일시정지되지 않으면, 제2 포지션(720-2)(및 연관된 배율)으로부터 제3 포지션(720-3)(및 그의 배율)으로의 전체 트랜지션(transition)이 커스텀 비디오(124)의 부분으로서 레코딩된다.
[00116] 도 7e에 예시된 바와 같이, 커스터마이징된 비디오(124)는 도 7b, 도 7c 및 도 7d에 예시된 레코딩이다. 특히, 커스터마이징된 비디오(124)는, (각각의 포지션의 연관된 배율들과 함께) 가시성 윈도우가 제1 위치(720-1)에 있을 때 캡처된 제1 비디오 프레임(734-1), 제2 위치(720-2)에서 캡처된 제2 비디오 프레임(734-2) 및 제3 위치(720-3)에서 캡처된 제3 비디오 프레임(734-3)을 포함한다. 물론, 커스텀 비디오(124)는 또한 도 7b, 도 7c 및 도 7d의 예시된 3개의 포지션들 사이에 훨씬 더 많은 비디오 프레임들(예컨대, 수천 개의 프레임들)을 포함한다. 정지 프레임(710)이 단일 이미지이지만, 정지 프레임의 사용자의 뷰에 기초하여 비디오를 레코딩하는 것은 시간 차원(732)을 생성한다.
[00117] 커스텀 비디오(124)가 생성된 후에, 사용자는 도 7f 및 7g에 예시된 바와 같이, 여러 방식들로 비디오에 주석을 달 수 있다. 도 7f에서, 사용자는 커스텀 비디오(124)의 각각의 프레임에 나타나는 비디오 주석(740)을 부가했다. 일부 경우들에서, 비디오 주석은 일반적으로 오디오를 포함하는, 사용자에 의한 코멘터리의 레코딩이다. 일부 구현들에서, 비디오 주석은 커스텀 비디오(124)의 플레이백 동안 생성된다. 예컨대, (도 7b 내지 도 7d에 예시된 바와 같이) 커스텀 비디오(124)를 레코딩한 후에, 사용자는 레코딩을 플레이백하고 (예컨대, 모바일 디바이스의 전방을 향하는 이미지 센서를 사용하여) 비디오 주석을 레코딩하고, 코멘터리를 레코딩한다. 통상적으로, 비디오 주석은 커스터마이징된 비디오(124)를 생성한 동일 사용자에 의해 생성되지만, 이것이 필수적이진 않다. 예컨대, 일부 구현들은 하나의 디바이스 상의 사용자가 커스터마이징된 비디오(124)를 생성하고, 커스터마이징을 위해 커스터마이징된 비디오(124)를 제2 사람에게 전송하는 것을 가능하게 한다. 도 7f는 전체 커스터마이징된 비디오(124)에 비디오 주석을 부가하는 것을 예시하지만, 일부 구현들은, 사용자가 커스터마이징된 비디오(124)의 선택된 부분들에 비디오 주석들을 부가하는 것을 가능하게 한다. 도 7f에 예시되지 않았지만, 일부 구현들은 사용자가 시각적 트랙(visual track) 없이 커스터마이징된 비디오(124)에 사운드트랙을 부가하는 것을 가능하게 한다. 예컨대, 사용자는 오디오 코멘터리만을 부가하거나 사전-레코딩된 사운드트랙(예컨대, 음악)을 부가할 수 있다. 일부 구현들은 사용자가, 중첩될 수 있는 다수의 사운드트랙들(예컨대, 코멘터리 및 음악)을 부가할 수 있게 한다.
[00118] 비디오 또는 오디오 주석이 사용될 때, 비디오 또는 사운드트랙들은 커스터마이징된 비디오(124)와 동기화된다. 예컨대, 사용자의 코멘터리는 저장되어서, 그것은, 후속적으로 주석들과 함께 플레이될 때 커스터마이징된 비디오(124)의 정확히 동일 지점들과 정렬되게 된다.
[00119] 도 7g는 또한 사용자가 커스터마이징된 비디오의 특정 지점들에 정적 텍스트(742) 및/또는 정적 이미지(744)를 부가할 수 있음을 예시한다. 정적 텍스트(742) 및/또는 정적 이미지(744)는 시간적으로(어느 시간 스팬) 및 공간적으로(비디오 이미지 내의 장소) 포지셔닝될 수 있다. 도 7g의 예에서, 텍스트(742)는 중간의 최상부 근처에 배치되었고, 이미지(744)는 비디오의 상위 우측에 배치되었다. 이들 주석들 둘 모두는 프레임(734-2)에 존재하지만, 커스터마이징된 비디오(124)의 처음 또는 마지막에 존재하지 않는다. 정적 텍스트 및 이미지들은 커스터마이징된 비디오(124)에 임의의 길이의 시간 동안(예컨대, 0.5 초 내지 전체 비디오) 배치될 수 있다.
[00120] 도 7a 내지 도 7g의 기술들이 360 비디오와 관련하여 예시되었지만, 동일한 기술들이 보다 광범위하게 적용될 수 있다. 예컨대, 이들 기술들은 동적 VR 세계에 적용될 수 있으며, 여기서 사용자는 장면을 캡처하고, 그 후 도 7b 내지 도 7g에 예시된 바와 같이 캡처된 장면으로부터 주석들을 갖는 비디오를 생성하는 것으로 진행된다. 다른 예로서, 사용자는 기존의 360 포토를 취하고 도 7b 내지 도 7g의 기술들을 적용하여 커스터마이징된 비디오를 생성할 수 있다.
[00121] 일부 구현들에서, 커스터마이징된 비디오(124)는 주석들(또는 주석들 중 일부)이 부가되는 동일 시간에 레코딩된다. 예컨대, 사용자는 커스터마이징된 비디오의 레코딩을 시작하고 오디오/비디오 코멘터리를 동시에 생성할 수 있다. 일부 구현들은 주석들 및 레코딩-후 주석들 둘 모두의 동시성 생성을 허용한다. 예컨대, 사용자는 비디오를 생성하는 동안 코멘터리를 레코딩하고, 그 후 코멘터리를 다시 하기로(redo) 결정할 수 있다. 구현들은 통상적으로 사용자들이 주석들을 삭제 및/또는 대체할 수 있게 한다.
[00122] 도 8a 및 8b는 가시성 윈도우가 어떻게 사용되는지를 예시한다. 이들 도면들에서, 사용자(800)는 구형 이미지 또는 비디오(802)의 중간에 도시된다. 동일한 예시는, 구(802)가 단일 정적 360 포토/이미지를 나타내는지 또는 프레임마다 변하는 360 비디오를 나타내는지에 관계없이 적용된다. 사용자는 보여지는 이미지/비디오(802)의 부분(806)을 결정하는 가시성 윈도우(804)(예컨대, 모바일 디바이스의 스크린 상의 구역)를 갖는다. 도 8a에 도시된 바와 같이, 806으로 보여진 부분은 전체 이미지/비디오(802)의 작은 부분이다. 사용자는 가시성 윈도우를 이동시키고 배율을 변경할 수 있다.
[00123] 도 8a는 사용자에 대해 가시적인 일부 지점들(814, 816 및 818)을 포함하지만, 다른 지점들(810 및 812)은 가시성 윈도우(804)의 현재 포지션에 기초하여 사용자에 대해 가시적이지 않다. 도 8b에 예시된 바와 같이, 지점들(816 및 818)(예컨대, 스포츠 게임(828)에서 중요한 플레이를 보여줌)은 소셜 참여에 대응한다. 그러나, 일부 구현들에 따라 다른 방식들로 사용될 수 있는 다수의 다른 위치들(공간적으로 또한 시간적으로)이 존재한다. 예컨대, 위치(812)는 위치(812)에 디스플레이된 이미지(822)에 예시된 바와 같이 특정 웹사이트에서의 15% 금액할인 구매들을 획득하는 것과 같은 상업적 제안을 트리거할 수 있다. 일부 구현들에서, 그러한 상업적 제안은 사용자의 가시성 윈도우가 적시에 올바른 위치를 가리킬 때 트리거된다. 일부 구현들에서, 이러한 제안들은 사용자와 연관된 계정에 저장된다.
[00124] 도 8b는 또한 위치(810)에서 이미지(820)에 도시된 바와 같이, 브랜드 활성화 및 광고를 위해 사용되는 공간/시간 위치(810)를 예시한다. 여기서, 위치(810)는 사용자의 가시성 윈도우가 적시에 올바른 장소에 있을 때 사용자에게 나타나는 심볼(830) 및 하나 이상의 광고들(832 및 834)을 포함한다. 일부 구현들에서, 광고들(832 또는 834) 또는 심볼(830)은 웹사이트에 링크될 수 있다.
[00125] 보다 일반적으로, 몰입형 미디어 콘텐츠의 제작자는 (공간적으로 및 시간적으로) 임의의 위치에 "젬"을 배치하고 젬의 발견에 대한 보상을 특정할 수 있다. 젬들은 프로모(promo) 코드들, 링크들, 시리즈의 다음 비디오를 잠금해제하는 키 등을 포함한다. 대부분의 경우에, 젬은 대응하는 그래픽 아이콘 또는 이미지를 갖는다. 그 후, 젬의 식별자(이를테면, 그래픽 아이콘 또는 텍스트 라벨)는 사용자의 계정(예컨대, 전자 지갑)과 연관된다. 사용자는 나중에 보상을 교환할 수 있다. 이미지(822)는 도 6f와 관련하여 위에서 설명된 젬(648)을 도시한다.
[00126] 사용자들이 더 많은 콘텐츠를 탐색(explore)하고 자신들의 경험들을 공유할 수 있게 함으로써, 사용자들 및 콘텐츠 제작자들 둘 모두 이익을 얻는다. 사용자들은 더 양호한 경험 및 고유한 공유 특징들을 획득한다. 콘텐츠 제작자들은 사용자들이 동일한 비디오를 리플레이하게 함으로써 자신의 시청자(audience)가 자신의 콘텐츠를 탐색하게 하고 이에 따라, 더 많은 커머스(commerce) 및 광고 잠재력을 생성한다.
[00127] 전술한 설명은, 설명의 목적을 위해, 특정 구현들을 참조하여 설명되었다. 그러나, 위의 예시적인 논의들은 본 발명을 개시된 그 형태들로 제한하거나 총망라하려는 것은 아니다. 위의 교시들의 관점에서 다수의 수정들 및 변동들이 가능하다. 본 발명 및 본 발명의 실현 가능한 애플리케이션들의 원리들을 가장 잘 설명하고, 그리하여 고려되는 특정한 사용에 대해 적합한 다양한 수정들로 본 발명 및 다양한 구현들을 당업자들이 가장 잘 활용할 수 있게 하기 위해 구현들이 선택되고 설명되었다.

Claims (18)

  1. 하나 이상의 프로세서들, 메모리, 마이크로폰 및 이미지 센서를 갖는 컴퓨팅 디바이스에서,
    몰입형 미디어 커스터마이징 사용자 인터페이스(immersive media customization user interface)를 디스플레이하는 단계;
    상기 사용자 인터페이스의 제1 구역에서 360 비디오를 플레이(play)하는 단계;
    제1 사용자 액션에 대한 응답으로, 특정 순간에 상기 360 비디오의 정지 프레임(freeze frame)을 캡처하는 단계;
    제2 사용자 액션에 대한 응답으로, 상기 캡처된 정지 프레임의 동적으로 조정 가능한 가시성 윈도우에 따라 실시간으로 상기 캡처된 정지 프레임의 커스터마이징된 비디오의 레코딩을 시작하는 단계;
    상기 커스터마이징된 비디오를 레코딩하는 동안, 상기 가시성 윈도우를 조정하기 위한 사용자 입력을 수신하는 단계;
    제3 사용자 액션에 대한 응답으로, 상기 커스터마이징된 비디오의 레코딩을 종료하는 단계;
    상기 커스터마이징된 비디오에 주석을 다는 단계 ― 상기 커스터마이징된 비디오에 주석을 다는 단계는,
    (a) 상기 커스터마이징된 비디오의 주변 부분의 시각적 오버레이를 부가하는 단계 ― 상기 시각적 오버레이는 상기 이미지 센서에 의해 캡처된 사용자의 레코딩된 비디오를 포함함 ― ;
    (b) 상기 마이크로폰을 사용하여 캡처된 레코딩된 오디오를 포함하는 오디오 오버레이를 부가하는 단계; 및
    (c) 텍스트 또는 이미지를 포함하는 시각적 주석을 부가하는 단계 중 하나 이상을 포함함 ― ;
    상기 커스터마이징된 비디오를 제2 컴퓨팅 디바이스에 송신하는 단계를 포함하는, 몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법.
  2. 제1 항에 있어서,
    상기 커스터마이징된 비디오에 주석을 다는 단계는,
    (a) 상기 커스터마이징된 비디오의 주변 부분의 시각적 오버레이를 부가하는 단계 ― 상기 시각적 오버레이는 상기 이미지 센서에 의해 캡처된 사용자의 레코딩된 비디오를 포함함 ― ;
    (b) 상기 마이크로폰을 사용하여 캡처된 레코딩된 오디오를 포함하는 오디오 오버레이를 부가하는 단계; 및
    (c) 텍스트 또는 이미지를 포함하는 시각적 주석을 부가하는 단계 중 둘 이상을 포함하는,
    몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법.
  3. 제2 항에 있어서,
    상기 커스터마이징된 비디오에 주석을 다는 단계는,
    (a) 상기 커스터마이징된 비디오의 주변 부분의 시각적 오버레이를 부가하는 단계 ― 상기 시각적 오버레이는 상기 이미지 센서에 의해 캡처된 사용자의 레코딩된 비디오를 포함함 ― ; 및
    (b) 상기 마이크로폰을 사용하여 캡처된 레코딩된 오디오를 포함하는 오디오 오버레이를 부가하는 단계를 포함하는,
    몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법.
  4. 제3 항에 있어서,
    상기 마이크로폰을 사용하여 캡처된 레코딩된 오디오 및 상기 이미지 센서에 의해 캡처된 레코딩된 비디오 둘 모두는 상기 커스터마이징된 비디오를 레코딩하는 동안 캡처되고,
    상기 커스터마이징된 비디오에 주석을 다는 단계는, 상기 비디오 오버레이를 상기 커스터마이징된 비디오와 동기화하고 상기 오디오 오버레이를 상기 커스터마이징된 비디오와 동기화하는 단계를 포함하는,
    몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법.
  5. 제3 항에 있어서,
    상기 커스터마이징된 비디오를 레코딩한 후에, 상기 커스터마이징된 비디오를 플레이하는 단계를 더 포함하고,
    상기 마이크로폰을 사용하여 캡처된 레코딩된 오디오 및 상기 이미지 센서에 의해 캡처된 레코딩된 비디오 둘 모두는 상기 커스터마이징된 비디오를 플레이하는 동안 캡처되고;
    상기 커스터마이징된 비디오에 주석을 다는 단계는, 상기 비디오 오버레이를 상기 커스터마이징된 비디오와 동기화하고 상기 오디오 오버레이를 상기 커스터마이징된 비디오와 동기화하는 단계를 포함하는,
    몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법.
  6. 제1 항에 있어서,
    상기 가시성 윈도우를 조정하기 위한 상기 사용자 입력은 상기 컴퓨팅 디바이스를 이동시키는 것을 포함하는,
    몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법.
  7. 제1 항에 있어서,
    상기 가시성 윈도우를 조정하기 위한 상기 사용자 입력은 마우스 포인터, 손가락 제스처, 손 제스처, 팔 제스처 또는 눈 제스처를 사용하는 것을 포함하는,
    몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법.
  8. 제1 항에 있어서,
    상기 가시성 윈도우를 조정하기 위한 상기 사용자 입력은 상기 가시성 윈도우의 배율을 변경시키는 것을 포함하는,
    몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법.
  9. 제1 항에 있어서,
    상기 가시성 윈도우를 조정하기 위한 상기 사용자 입력은 상기 가시성 윈도우를 이동시키는 것을 포함하는,
    몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법.
  10. 제1 항에 있어서,
    상기 커스터마이징된 비디오는 상기 가시성 윈도우 외부의 상기 캡처된 정지 프레임의 프레임-형상 부분을 포함하고, 상기 캡처된 정지 프레임의 프레임-형상 부분은 모호해지는(obfuscated) 방식으로 디스플레이되는,
    몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법.
  11. 제1 항에 있어서,
    상기 모호해지는 방식으로 디스플레이하는 것은 희미하거나 초점이 맞지 않는 것으로서 상기 프레임-형상 부분을 디스플레이하는 것을 포함하는,
    몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법.
  12. 제1 항에 있어서,
    상기 커스터마이징된 비디오는 상기 캡처된 정지 프레임, 및 상기 캡처된 정지 프레임 내에서 상기 가시성 윈도우의 배치 및 배율을 정의하는 메타데이터를 포함하는,
    몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법.
  13. 제1 항에 있어서,
    상기 커스터마이징된 비디오는 상기 커스터마이징 비디오를 플레이하는 동안 상기 가시성 윈도우에서 가시적이었던 것만을 포함하는, 상기 캡처된 정지 프레임으로부터의 비디오 스트림을 포함하는,
    몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법.
  14. 제1 항에 있어서,
    상기 커스터마이징된 비디오는 상기 커스터마이징된 비디오의 지속기간 미만의 특정된 시간 인터벌 동안 상기 커스터마이징된 비디오 내에 부가되는 시각적 주석을 포함하는,
    몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법.
  15. 제1 항에 있어서,
    상기 커스터마이징된 비디오는 특정된 만료일을 갖는 시각적 주석을 포함하고, 그리하여 상기 특정된 만료일 이후의 플레이백 동안 상기 시각적 주석의 디스플레이가 방지되는,
    몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법.
  16. 제1 항에 있어서,
    상기 커스터마이징된 비디오에 주석을 다는 단계는 사전-레코딩된 오디오 트랙을 부가하는 단계를 더 포함하는,
    몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법.
  17. 컴퓨터 시스템으로서,
    하나 이상의 프로세서들;
    메모리;
    마이크로폰;
    이미지 센서; 및
    상기 하나 이상의 프로세서들에 의한 실행을 위해 구성된, 상기 메모리에 저장된 하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은 제1 항 내지 제16 항의 방법들 중 임의의 것을 수행하기 위한 명령들을 포함하는, 컴퓨터 시스템.
  18. 마이크로폰 및 이미지 센서를 갖는 컴퓨터 시스템의 하나 이상의 프로세서들에 의한 실행을 위해 구성된 하나 이상의 프로그램들을 저장한 비-일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 하나 이상의 프로그램들은 제1 항 내지 제16 항의 방법들 중 임의의 것을 수행하기 위한 명령들을 포함하는,
    비-일시적 컴퓨터 판독 가능 저장 매체.
KR1020197005268A 2016-07-22 2017-07-21 몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법들 및 시스템 KR20190035771A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US15/217,961 US10770113B2 (en) 2016-07-22 2016-07-22 Methods and system for customizing immersive media content
US15/217,961 2016-07-22
US15/284,330 2016-10-03
US15/284,330 US10020025B2 (en) 2016-07-22 2016-10-03 Methods and systems for customizing immersive media content
US15/356,481 2016-11-18
US15/356,481 US10222958B2 (en) 2016-07-22 2016-11-18 Customizing immersive media content with embedded discoverable elements
PCT/US2017/043369 WO2018018000A1 (en) 2016-07-22 2017-07-21 Methods and system for customizing immersive media content

Publications (1)

Publication Number Publication Date
KR20190035771A true KR20190035771A (ko) 2019-04-03

Family

ID=60988546

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197005268A KR20190035771A (ko) 2016-07-22 2017-07-21 몰입형 미디어 콘텐츠를 커스터마이징하기 위한 방법들 및 시스템

Country Status (9)

Country Link
US (3) US10222958B2 (ko)
EP (1) EP3488616A4 (ko)
JP (1) JP2019528654A (ko)
KR (1) KR20190035771A (ko)
CN (1) CN109716782A (ko)
AU (1) AU2017300770A1 (ko)
CA (1) CA3033484C (ko)
MX (1) MX2019000966A (ko)
WO (1) WO2018018000A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111264063A (zh) * 2017-09-22 2020-06-09 知识产权之桥一号有限责任公司 显示控制设备和计算机程序
KR102406219B1 (ko) * 2018-04-11 2022-06-08 알카크루즈 인코포레이티드 디지털 미디어 시스템
US10721510B2 (en) 2018-05-17 2020-07-21 At&T Intellectual Property I, L.P. Directing user focus in 360 video consumption
US10482653B1 (en) 2018-05-22 2019-11-19 At&T Intellectual Property I, L.P. System for active-focus prediction in 360 video
US10827225B2 (en) 2018-06-01 2020-11-03 AT&T Intellectual Propety I, L.P. Navigation for 360-degree video streaming
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10574975B1 (en) 2018-08-08 2020-02-25 At&T Intellectual Property I, L.P. Method and apparatus for navigating through panoramic content
US11200918B1 (en) * 2020-07-29 2021-12-14 Gopro, Inc. Video framing based on device orientation
US20230169532A1 (en) * 2021-11-29 2023-06-01 Ncr Corporation Targeted gamified ecommerce service
EP4358006A1 (en) * 2022-10-19 2024-04-24 Meta Platforms, Inc. Multi-application audio splicing

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7330875B1 (en) 1999-06-15 2008-02-12 Microsoft Corporation System and method for recording a presentation for on-demand viewing over a computer network
US7333135B2 (en) * 2002-10-15 2008-02-19 Fuji Xerox Co., Ltd. Method, apparatus, and system for remotely annotating a target
JP4401728B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 複合現実空間画像生成方法及び複合現実感システム
US20060010392A1 (en) 2004-06-08 2006-01-12 Noel Vicki E Desktop sharing method and system
US20070067297A1 (en) * 2004-04-30 2007-03-22 Kublickis Peter J System and methods for a micropayment-enabled marketplace with permission-based, self-service, precision-targeted delivery of advertising, entertainment and informational content and relationship marketing to anonymous internet users
US7737965B2 (en) 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
US8065710B2 (en) 2006-03-02 2011-11-22 At& T Intellectual Property I, L.P. Apparatuses and methods for interactive communication concerning multimedia content
US8566865B2 (en) * 2006-03-07 2013-10-22 Sony Computer Entertainment America Llc Dynamic insertion of cinematic stage props in program content
US8020097B2 (en) 2006-03-21 2011-09-13 Microsoft Corporation Recorder user interface
US20080046925A1 (en) 2006-08-17 2008-02-21 Microsoft Corporation Temporal and spatial in-video marking, indexing, and searching
US20080111822A1 (en) 2006-09-22 2008-05-15 Yahoo, Inc.! Method and system for presenting video
DK2260646T3 (en) 2008-03-28 2019-04-23 On Net Surveillance Systems Inc METHOD AND SYSTEMS FOR VIDEO COLLECTION AND ANALYSIS THEREOF
KR20100000336A (ko) 2008-06-24 2010-01-06 삼성전자주식회사 컨텐츠 감상 경험을 기록/재생하는 멀티미디어 콘텐츠 처리방법 및 장치
US8042796B2 (en) * 2008-07-08 2011-10-25 Kabushiki Kaisha Toshiba Sheet finishing apparatus, sheet punching apparatus and control method
US8183400B2 (en) * 2008-07-31 2012-05-22 Dow Technology Investments Llc Alkylene oxide recovery systems
US20100070845A1 (en) * 2008-09-17 2010-03-18 International Business Machines Corporation Shared web 2.0 annotations linked to content segments of web documents
JP5202211B2 (ja) 2008-09-25 2013-06-05 三洋電機株式会社 画像処理装置及び電子機器
US20120010995A1 (en) 2008-10-23 2012-01-12 Savnor Technologies Web content capturing, packaging, distribution
US8161504B2 (en) * 2009-03-20 2012-04-17 Nicholas Newell Systems and methods for memorializing a viewer's viewing experience with captured viewer images
US10440329B2 (en) * 2009-05-22 2019-10-08 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view
US8887190B2 (en) * 2009-05-28 2014-11-11 Harris Corporation Multimedia system generating audio trigger markers synchronized with video source data and related methods
US9526586B2 (en) 2013-08-12 2016-12-27 Z Microsystems, Inc. Software tools platform for medical environments
WO2011026120A2 (en) * 2009-08-31 2011-03-03 Usingmiles, Inc. Reward travel management software and methods
US20110107363A1 (en) * 2009-11-03 2011-05-05 Yahoo! Inc. Sequenced video overlay advertisements
US10860279B2 (en) 2009-11-24 2020-12-08 Clearslide, Inc. Method and system for browser-based screen sharing
US20110219307A1 (en) 2010-03-02 2011-09-08 Nokia Corporation Method and apparatus for providing media mixing based on user interactions
US8623007B2 (en) * 2010-06-30 2014-01-07 Covidien Lp Electrosurgical generator to ablation device adaptor
US9037971B2 (en) 2010-09-15 2015-05-19 Verizon Patent And Licensing Inc. Secondary audio content by users
CN101950578B (zh) 2010-09-21 2012-11-07 北京奇艺世纪科技有限公司 一种视频信息添加方法及装置
WO2012051605A2 (en) 2010-10-15 2012-04-19 Jammit Inc. Dynamic point referencing of an audiovisual performance for an accurate and precise selection and controlled cycling of portions of the performance
AU2012256402A1 (en) 2011-02-27 2013-07-11 Affectiva, Inc, Video recommendation based on affect
US8988558B2 (en) 2011-04-26 2015-03-24 Omnivision Technologies, Inc. Image overlay in a mobile device
US20120290380A1 (en) * 2011-05-09 2012-11-15 Krista Paul Reward travel management software and methods
US8949333B2 (en) 2011-05-20 2015-02-03 Alejandro Backer Systems and methods for virtual interactions
WO2013012952A1 (en) 2011-07-18 2013-01-24 Viggle Inc System and method for tracking and rewarding media and entertainment usage including substanitally real time rewards
US9933935B2 (en) 2011-08-26 2018-04-03 Apple Inc. Device, method, and graphical user interface for editing videos
US20130178257A1 (en) * 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US8723796B2 (en) 2012-02-02 2014-05-13 Kodak Alaris Inc. Multi-user interactive display system
US8838328B2 (en) * 2012-07-02 2014-09-16 Carmen Hardesty Automotive diagnostic system
US8948568B2 (en) * 2012-07-31 2015-02-03 Google Inc. Customized video
KR20140017392A (ko) * 2012-08-01 2014-02-11 삼성전자주식회사 디스플레이장치 및 그 전원오류 검출방법
US20140058812A1 (en) * 2012-08-17 2014-02-27 Augme Technologies, Inc. System and method for interactive mobile ads
US20140096167A1 (en) 2012-09-28 2014-04-03 Vringo Labs, Inc. Video reaction group messaging with group viewing
US20140115649A1 (en) 2012-10-19 2014-04-24 Electronics And Telecommunications Research Institute Apparatus and method for providing realistic broadcasting
US20140128162A1 (en) * 2012-11-07 2014-05-08 Hossam Arafat Method, System and Program Product for a Social Website
US9485459B2 (en) 2012-12-14 2016-11-01 Biscotti Inc. Virtual window
US20140188997A1 (en) * 2012-12-31 2014-07-03 Henry Will Schneiderman Creating and Sharing Inline Media Commentary Within a Network
US20170039867A1 (en) 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
US9467750B2 (en) * 2013-05-31 2016-10-11 Adobe Systems Incorporated Placing unobtrusive overlays in video content
US20140355960A1 (en) * 2013-05-31 2014-12-04 Microsoft Corporation Touch optimized design for video editing
US20160307599A1 (en) 2013-06-05 2016-10-20 Snakt, Inc. Methods and Systems for Creating, Combining, and Sharing Time-Constrained Videos
KR102182398B1 (ko) 2013-07-10 2020-11-24 엘지전자 주식회사 전자 기기 및 그 제어 방법
WO2015010069A1 (en) * 2013-07-19 2015-01-22 Google Inc. Small-screen movie-watching using a viewport
WO2015017672A1 (en) 2013-07-31 2015-02-05 Clearslide, Inc. Screen sharing using scripting computer language code
US10089786B2 (en) 2013-08-19 2018-10-02 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
KR102119659B1 (ko) 2013-09-23 2020-06-08 엘지전자 주식회사 영상표시장치 및 그것의 제어 방법
US20160234551A1 (en) 2013-12-02 2016-08-11 Dumbstruck, Inc. Video reaction processing
US20160163212A1 (en) 2013-12-10 2016-06-09 Scott Edward Stuckey Active Learner Multi-media Assessment System
JP6664069B2 (ja) 2013-12-31 2020-03-13 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
US9407858B2 (en) 2014-01-20 2016-08-02 Custom Solutions Group, LLC Voiceover system and method
US10033825B2 (en) 2014-02-21 2018-07-24 Knowledgevision Systems Incorporated Slice-and-stitch approach to editing media (video or audio) for multimedia online presentations
US9977580B2 (en) 2014-02-24 2018-05-22 Ilos Co. Easy-to-use desktop screen recording application
US9892556B2 (en) 2014-03-11 2018-02-13 Amazon Technologies, Inc. Real-time exploration of video content
US10176496B2 (en) 2016-06-27 2019-01-08 Adobe Inc. Audience segmentation based on viewing angle of a user viewing a video of a multi-angle viewing environment
US9942464B2 (en) 2014-05-27 2018-04-10 Thomson Licensing Methods and systems for media capture and seamless display of sequential images using a touch sensitive device
US10326964B2 (en) * 2014-08-06 2019-06-18 Smart Blonde Co. Interactive broadcast television
US20160277772A1 (en) 2014-09-30 2016-09-22 Telefonaktiebolaget L M Ericsson (Publ) Reduced bit rate immersive video
US20170032823A1 (en) 2015-01-15 2017-02-02 Magisto Ltd. System and method for automatic video editing with narration
CN104602129B (zh) * 2015-01-27 2018-03-06 三星电子（中国）研发中心 互动式多视角视频的播放方法及***
US20160300392A1 (en) 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
US9967618B2 (en) 2015-06-12 2018-05-08 Verizon Patent And Licensing Inc. Capturing a user reaction to media content based on a trigger signal and using the user reaction to determine an interest level associated with a segment of the media content
US9349414B1 (en) 2015-09-18 2016-05-24 Odile Aimee Furment System and method for simultaneous capture of two video streams
US9573062B1 (en) 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
US9781349B2 (en) * 2016-01-05 2017-10-03 360fly, Inc. Dynamic field of view adjustment for panoramic video content
US10043238B2 (en) 2016-01-21 2018-08-07 International Business Machines Corporation Augmented reality overlays based on an optically zoomed input
US9602795B1 (en) 2016-02-22 2017-03-21 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US20170303001A1 (en) 2016-04-19 2017-10-19 Koowalla Inc. Systems and methods for optimizing content creation on a mobile platform using mobile multi-track timeline-optimized editing and viewer interest content for video
US10681325B2 (en) * 2016-05-16 2020-06-09 Google Llc Continuous depth-ordered image compositing
US10148876B1 (en) 2016-07-26 2018-12-04 360fly, Inc. Panoramic video cameras, camera systems, and methods that facilitate handling multiple video streams while tracking an object
US9959905B1 (en) 2017-05-05 2018-05-01 Torus Media Labs Inc. Methods and systems for 360-degree video post-production
US10248934B1 (en) 2017-11-16 2019-04-02 Melo Inc. Systems and methods for logging and reviewing a meeting

Also Published As

Publication number Publication date
US10795557B2 (en) 2020-10-06
US20180024724A1 (en) 2018-01-25
MX2019000966A (es) 2019-09-18
AU2017300770A1 (en) 2019-02-28
EP3488616A4 (en) 2020-03-25
US11216166B2 (en) 2022-01-04
WO2018018000A1 (en) 2018-01-25
CA3033484C (en) 2020-10-27
US20190196696A1 (en) 2019-06-27
CN109716782A (zh) 2019-05-03
US10222958B2 (en) 2019-03-05
EP3488616A1 (en) 2019-05-29
CA3033484A1 (en) 2018-01-25
US20210019040A1 (en) 2021-01-21
JP2019528654A (ja) 2019-10-10

Similar Documents

Publication Publication Date Title
US10020025B2 (en) Methods and systems for customizing immersive media content
US11216166B2 (en) Customizing immersive media content with embedded discoverable elements
US10770113B2 (en) Methods and system for customizing immersive media content
US20170201808A1 (en) System and method of broadcast ar layer
US9292163B2 (en) Personalized 3D avatars in a virtual social venue
JP6049456B2 (ja) 双方向テレビに対しハイパーリンクされた３ｄビデオインサート
US8667402B2 (en) Visualizing communications within a social setting
US20110239136A1 (en) Instantiating widgets into a virtual social venue
US20190104325A1 (en) Event streaming with added content and context
US20110225515A1 (en) Sharing emotional reactions to social media
US20110225039A1 (en) Virtual social venue feeding multiple video streams
US20110225516A1 (en) Instantiating browser media into a virtual social venue
CA2882869A1 (en) Sharing television and video programming through social networking
US20110225498A1 (en) Personalized avatars in a virtual social venue
US20110225518A1 (en) Friends toolbar for a virtual social venue
US11659250B2 (en) System and method for exploring immersive content and immersive advertisements on television
US20110225517A1 (en) Pointer tools for a virtual social venue
Bassbouss et al. Interactive 360° video and storytelling tool
CN114846808B (zh) 内容发布***、内容发布方法以及存储介质
JP2023024092A (ja) プログラム、情報処理方法、端末
WO2011112296A1 (en) Incorporating media content into a 3d platform
JP2023024091A (ja) プログラム、情報処理方法、端末

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application