CN111316656B - 一种计算机实现的方法及存储介质 - Google Patents

一种计算机实现的方法及存储介质 Download PDF

Info

Publication number
CN111316656B
CN111316656B CN201880071766.5A CN201880071766A CN111316656B CN 111316656 B CN111316656 B CN 111316656B CN 201880071766 A CN201880071766 A CN 201880071766A CN 111316656 B CN111316656 B CN 111316656B
Authority
CN
China
Prior art keywords
video data
user
image capture
capture device
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880071766.5A
Other languages
English (en)
Other versions
CN111316656A (zh
Inventor
文森特·查尔斯·张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Inc
Original Assignee
Meta Platforms Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/121,060 external-priority patent/US10805521B2/en
Priority claimed from US16/121,081 external-priority patent/US10868955B2/en
Priority claimed from US16/121,087 external-priority patent/US10666857B2/en
Application filed by Meta Platforms Inc filed Critical Meta Platforms Inc
Priority to CN202310329426.0A priority Critical patent/CN116193175A/zh
Priority to CN202310329439.8A priority patent/CN116208791A/zh
Publication of CN111316656A publication Critical patent/CN111316656A/zh
Application granted granted Critical
Publication of CN111316656B publication Critical patent/CN111316656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

各种客户端设备包括显示装置和被配置成捕获视频数据的一个或更多个图像捕获设备。在线***的不同用户可以授权客户端设备交换由它们各自的图像捕获设备捕获的信息。此外，客户端设备基于在视频数据中识别的用户来修改捕获的视频数据。例如，客户端设备改变图像捕获设备的参数以更显著地显示在视频数据中识别的用户，并且还可以基于在视频数据中识别的用户的手势或移动来改变图像捕获设备的参数。客户端设备可以将多个模型应用于捕获的视频数据，以修改捕获的视频数据或图像捕获设备随后对视频数据的捕获。

Description

一种计算机实现的方法及存储介质
背景
本公开总体上涉及捕获视频数据，且更具体地，涉及基于先前捕获的视频数据修改对视频数据的捕获。
越来越多的客户端设备、在线***和网络允许用户相互交换更多的内容。例如，在线***允许其用户经由与用户相关联的客户端设备来交换由不同用户捕获的视频数据。在特定示例中，在线***可以在用户和另一用户之间建立视频消息传送(messaging)，允许用户实时或接近实时地交换由他们各自的客户端设备捕获的视频数据。
然而，当提供视频数据时，传统的客户端设备需要用户手动地配置视频捕获。例如，客户端设备的用户向客户端设备提供输入，以标识(identify) 客户端设备的图像捕获设备的焦点，指定客户端设备的图像捕获设备的放大率、或者客户端设备的图像捕获设备的其他参数。除了提供标识客户端设备的图像捕获设备的参数的初始输入之外，传统的客户端设备需要用户手动地将客户端设备的图像捕获设备重新定位到客户端设备的图像捕获设备的视场内的局部区域的不同部分。因此，用户手动地选择并维护由客户端设备的图像捕获设备捕获的内容，该内容被传送到另一客户端设备。虽然这种对用户提供的输入的依赖为用户提供了对由客户端设备捕获的视频数据的显著控制，但是传统的客户端设备不允许用户在经由客户端设备捕获视频数据的同时在视频消息传送会话中容易地执行其他任务，因为传统的客户端设备在没有接收到用户提供的一个或更多个输入的情况下不能随着条件的改变而调整视频数据捕获。
概述
与在线***的用户相关联的各种客户端设备包括一个或更多个图像捕获设备。被包括在客户端设备中的图像捕获设备被配置成例如在视频呼叫期间或者当用户打开视频捕获功能时，捕获客户端设备周围的局部区域的视频数据。另外，客户端设备包括耦合到该一个或更多个图像捕获设备的控制器。控制器将一个或更多个模型应用于由图像捕获设备捕获的视频数据，并基于该一个或更多个模型的应用来修改由图像捕获设备捕获的视频数据和/或图像捕获设备的参数。这允许控制器基于图像捕获设备先前捕获的视频数据的特性或内容来修改捕获的视频数据。
在各种实施例中，控制器为用户和在视频数据或其他数据中捕获的其他人维护并实施一个或更多个隐私设置。例如，控制器可以具有默认隐私设置，该默认隐私设置防止控制器识别用户，直到用户手动改变隐私设置以允许控制器识别用户。默认隐私设置还可以扩展到任何捕获的视频数据、音频数据、图像数据或其他数据，使得用户可以选择是否允许图像捕获设备识别数据中的任何用户。另外，隐私设置还管理从客户端设备到另一实体(例如，另一客户端设备或第三方***)的信息传输。各种隐私设置允许用户控制对用户的识别以及任何用户相关数据的存储和共享。隐私设置也可以针对每个人被单独实施。例如，选择加入(opt in)用户识别功能的用户不会改变可能在客户端设备周围的局部区域中偶然捕获到的其他用户的默认隐私设置。
在各种实施例中，基于用户的使客户端设备能够识别用户的隐私选择，控制器将一个或更多个机器学习模型应用于由图像捕获设备捕获的视频数据，以定位被包括在捕获的视频数据中的用户。由控制器应用于捕获的视频数据的模型可以执行(二维或三维的)面部跟踪、二维姿态跟踪、三维姿态跟踪或任何其他合适的方法来识别人的面部的一些部分或人的身体的一些部分。在各种实施例中，控制器修改捕获的视频数据或图像捕获设备的参数，以更显著地呈现被定位的用户。例如，控制器裁剪捕获的视频数据，以移除视频数据中不包括至少一个人的部分。作为另一示例，控制器将图像捕获设备的焦点修改为人的面部，并增加图像捕获设备的放大率(即，缩放)。在各种实施例中，用户具有防止任何记录(视频、语音等)被本地存储在客户端设备中和/或被存储在云上的选项，并且如果记录被保存的话，还具有删除任何记录的选项。
在各种实施例中，当启用用户识别时，由控制器应用的一个或更多个模型应用一个或更多个规则来修改由客户端设备的图像捕获设备捕获的视频数据。例如，如果控制器还确定位于视频数据内的人的面部朝向相机，则控制器修改捕获的视频数据以更显著地显示此人。在另一示例中，控制器确定从视频数据中识别的人与图像捕获设备之间的距离，并修改捕获的视频数据，使得视频数据以至少一组阈值尺寸(例如，以至少阈值高度和阈值宽度，或者使用图像捕获设备的至少阈值百分比的视场)呈现离图像捕获设备具有最小确定距离的人，或者以至少该一组阈值尺寸显示离图像捕获设备的确定距离小于阈值距离的人。
控制器可以从客户端设备的其他部件接收数据，并且基于所接收的视频数据和来自客户端设备的其他部件的数据的特性来修改捕获的视频数据。例如，图像捕获设备或客户端设备包括音频捕获设备(例如麦克风)，其被配置为从客户端设备周围的局部区域捕获音频数据。根据用户选择的隐私设置，当修改捕获的视频数据时，控制器可以连同捕获的视频数据一起处理捕获的音频数据。在各种实施例中，控制器将一个或更多个模型应用于捕获的音频数据，以确定捕获的视频数据内包括音频数据源的位置。控制器将一个或更多个模型应用于捕获的视频数据内包括音频数据源的位置。响应于模型的应用确定捕获的视频数据内包括音频数据源的位置包括人，控制器修改捕获的视频数据以更显著地呈现捕获的视频数据内包括音频数据源的位置，或重新定位图像捕获设备以聚焦在音频数据源上(例如，增加由音频数据源占据的图像捕获设备的视场、改变音频数据源在图像捕获设备的视场内的位置)。然而，响应于确定捕获的视频数据内包括音频数据源的位置不包括人，控制器不修改捕获的视频数据或重新定位图像捕获设备。作为另一示例，控制器修改捕获的视频数据或重新定位图像捕获设备，以更显著地呈现在捕获的视频数据内识别的、控制器确定其为捕获的音频数据的源的人(例如，增加由音频数据源占据的图像捕获设备的视场、改变音频数据源在图像捕获设备的视场内的位置)，这允许捕获的视频数据更显著地显示被确定为正在讲话或以其他方式正在提供被客户端设备的音频捕获设备捕获的音频数据的用户。
在视频消息传送会话中或在用户已经开启视频捕获和用户识别功能的其他情形下，控制器可以将一个或更多个模型应用于在接收到标识感兴趣的用户的信息之后捕获的视频数据，以修改图像捕获设备的一个或更多个参数，从而跟随在局部区域周围的感兴趣的用户。例如，控制器将一个或更多个面部辨识模型应用于在捕获的视频数据中被定位的人，以识别与 (从在线***接收的，或者基于来自在线***的信息而从先前捕获的视频数据中识别的)感兴趣的用户的面部匹配的人的面部，并且随后将图像捕获设备的焦点重新定位到具有与感兴趣的用户的面部匹配的面部的人。替代地，控制器从包括感兴趣的用户的捕获的视频数据中提取色度图(color map)，并重新定位图像捕获设备的焦点，使得提取的色度图保持被包括在图像捕获设备捕获的视频数据中。
根据本发明的实施例在涉及方法和计算机程序产品的所附权利要求中被具体公开，其中，在一个权利要求类别(例如方法)中提到的任何特征也可以在另一个权利要求类别(例如计算机程序产品、***、存储介质) 中被要求保护。所附权利要求中的从属性或往回引用仅出于形式原因被选择。然而，也可以要求保护由对任何前面权利要求的有意往回引用(特别是多项引用)而产生的任何主题，使得权利要求及其特征的任何组合被公开并且可以被要求保护，而不考虑在所附的权利要求中选择的从属性。可以被要求保护的主题不仅包括如在所附的权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的任何实施例和特征可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。
附图简述
图1是根据实施例的在线***在其中进行操作的***环境的框图。
图2是根据实施例的客户端设备的框图。
图3是根据实施例的在线***的框图。
图4是根据实施例的方法的流程图，该方法用于基于感兴趣的用户的注视朝向视频数据内的不同位置的可能性来选择视频数据片段以呈现给在线***的感兴趣的用户。
附图仅为了说明的目的而描绘各种实施例。本领域中的技术人员从下面的讨论中将容易认识到本文示出的结构和方法的可选的实施例可以被采用而不偏离本文所述的原理。
详细描述
***架构
图1是用于在线***140的***环境100的框图。图1所示的***环境100包括一个或更多个客户端设备110、网络120、一个或更多个第三方***130和在线***140。另外，在图1所示的***环境100中，控制器 117耦合到客户端设备110。在替代配置中，***环境100中可以包括不同和/或附加的部件。例如，在线***140是社交网络***、内容共享网络或向用户提供内容的另一种***。
客户端设备110是能够接收用户输入以及经由网络120发送和/或接收数据的一个或更多个计算设备。在一个实施例中，客户端设备110是传统的计算机***，例如台式计算机或膝上型计算机。替代地，客户端设备110 可以是具有计算机功能的设备，例如个人数字助理(PDA)、移动电话、智能手机或其他合适的设备。客户端设备110被配置成经由网络120进行通信。在一个实施例中，客户端设备110执行允许客户端设备110的用户与在线***140交互的应用。例如，客户端设备110执行浏览器应用，以使得客户端设备110和在线***140之间能够经由网络120进行交互。在另一实施例中，客户端设备110通过运行在客户端设备110的本机(native) 操作***(例如
Figure BDA0002478716360000051
或ANDROIDTM)上的应用编程接口(API)来与在线***140交互。如下面结合图2进一步描述的，客户端设备110包括被配置为呈现内容的显示设备115以及被配置为捕获客户端设备110周围的局部区域的图像或视频数据的一个或更多个图像捕获设备。
客户端设备110被配置成使用有线和/或无线通信***经由网络120进行通信，网络120可以包括局域网和/或广域网的任何组合。在一个实施例中，网络120使用标准通信技术和/或协议。例如，网络120包括使用诸如以太网、802.11、全球微波接入互操作性(WiMAX)、3G、4G、码分多址 (CDMA)、数字用户线路(DSL)等技术的通信链路。用于经由网络120 进行通信的网络协议的示例包括多协议标签交换(MPLS)、传输控制协议 /互联网协议(TCP/IP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP) 和文件传输协议(FTP)。可以使用任何合适的格式(例如超文本标记语言 (HTML)或可扩展标记语言(XML))来表示通过网络120交换的数据。在一些实施例中，可以使用任何合适的技术或多项技术来对网络120的所有或一些通信链路进行加密。
一个或更多个第三方***130可以耦合到网络120，以与在线***140 进行通信，这将在下面结合图3进行进一步的描述。在一个实施例中，第三方***130是应用提供商，其传送描述用于由客户端设备110执行的应用的信息，或者向客户端设备110传送数据以供在客户端设备上执行的应用使用。在其他实施例中，第三方***130经由客户端设备110提供用于呈现的内容或其他信息。第三方***130还可以向在线***140传送信息，例如广告、内容或关于第三方***130提供的应用的信息。
图2是客户端设备117的实施例的框图。在图2所示的实施例中，客户端设备110包括显示设备115和图像捕获设备117以及控制器210。然而，在其他实施例中，客户端设备110包括与图2所示的那些部件不同的部件或附加部件。
显示设备115可以集成到客户端设备110中或者耦合到客户端设备 110。例如，集成到客户端设备110中的显示设备115是被包括在客户端设备110中的显示屏。替代地，显示设备115是耦合到客户端设备110的监视器或其他显示装置。显示设备115向用户呈现图像数据或视频数据。显示设备115呈现的图像或视频数据由在客户端设备110上执行的应用确定。不同的应用可以被包括在客户端设备110上，使得不同应用的执行改变由显示设备115呈现给用户的内容。
图像捕获设备117捕获在客户端设备110周围且在图像捕获设备117 的视场内的局部区域的视频数据或图像。在一些实施例中，图像捕获设备 117包括一个或更多个相机、一个或更多个摄像机或能够捕获图像数据或视频数据的任何其他设备。另外，图像捕获设备117可以包括一个或更多个滤波器(例如，用于增加信噪比)。各种参数(例如，焦距、聚焦、帧速率、ISO、传感器温度、快门速度、光圈、焦点等)配置图像捕获设备 117对视频数据或图像数据的捕获。因此，修改图像捕获设备117的一个或更多个参数会在该一个或更多个参数的修改之后修改由图像捕获设备 117捕获的视频数据或图像数据。虽然图2示出了被包括在客户端设备110 中的单个图像捕获设备117，但是在其他实施例中，客户端设备110包括任何合适数量的图像捕获设备117。在各种实施例中，用户具有防止任何记录(视频、语音等)被本地存储在客户端设备中和/或被存储在云上的选项，并且如果记录被保存的话，还具有删除任何记录的选项。
控制器210耦合到图像捕获设备117，并且包括耦合到处理器的存储设备。在各种实施例中，控制器210还耦合到显示设备115。控制器210 包括指令，当这些指令由处理器执行时将一个或更多个模型应用于由图像捕获设备117捕获的视频数据。在各种实施例中，一个或更多个模型被应用于由图像捕获设备117或者被包括在客户端设备110中的或耦合到客户端设备110的任何其他设备捕获的视频数据、音频数据、图像数据或数据的任何组合。如下面结合图4进一步描述的，由控制器210应用于捕获的视频数据的模型将一个或更多个规则应用于捕获的视频数据的特性，以识别捕获的视频数据中的对象、人、移动或任何其他合适的内容。基于模型的应用并根据一个或更多个隐私设置，控制器210修改捕获的视频数据或修改图像捕获设备117的一个或更多个参数，使得修改随后捕获的视频数据。例如，用户可以授权控制器210应用基于捕获的视频数据的特性而在捕获的视频数据中定位用户的模型，并且修改捕获的视频数据以更显著地包括被定位的用户，或者修改图像捕获设备117的一个或更多个参数(例如，捕获的视频数据的焦距、放大率或缩放、裁剪)使得附加的视频数据更显著地包括被定位的用户。附加的视频数据通过以至少一组阈值尺寸 (例如，以至少阈值高度或阈值宽度)呈现被定位的人而更显著地包括被定位的人、在图像捕获设备117的至少阈值量的视场中或在捕获的视频数据的至少阈值量的帧中呈现被定位的人、或者在捕获的视频数据内的一个或更多个特定位置呈现被定位的人。然而，由控制器210应用的模型可以识别由图像捕获设备117捕获的视频数据的任何合适的组成部分，并且相应地修改图像捕获设备117的参数或者修改捕获的视频数据。
在各种实施例中，客户端设备110包括一个或更多个音频捕获设备(例如麦克风)。例如，客户端设备110包括被配置用于二维或三维波束成形的麦克风阵列。音频捕获设备从客户端设备110周围的局部区域内的不同区捕获音频信号。在各种实施例中，一个或更多个音频捕获设备耦合到控制器210，控制器210维护标识客户端设备110周围的局部区域中的不同区的信息；例如，控制器210标识客户端设备110周围的局部区域中源自客户端设备110内的点的24个15度区，从而标识客户端设备110周围的360 度局部区域中的区。
一个或更多个音频捕获设备耦合到控制器210。根据用户选择的隐私设置，控制器210将一个或更多个模型(例如机器学习模型或其他声音辨识模型)应用于从客户端设备110周围的局部区域中的区捕获的音频数据。控制器210包括识别用户或对象(例如，电视、移动设备)的信息，并且将一个或更多个模型应用于从客户端设备110周围的局部区域中的区捕获的音频，以确定捕获的音频数据是否包括来自被控制器210识别的用户或对象的音频数据或环境噪声。在一些实施例中，由控制器210应用的一个或更多个模型确定由控制器210识别的特定用户或特定对象，一个或更多个音频捕获设备从该特定用户或特定对象捕获该区中的音频。在其他实施例中，客户端设备110将由一个或更多个音频设备捕获的音频数据传送到在线***140，在线***140应用一个或更多个模型，以确定音频数据是否包括从识别的对象或用户捕获的音频数据，或者确定从其捕获音频数据的特定识别的用户或对象。在线***140向客户端设备110提供捕获的音频数据是否包括从识别的对象或用户捕获的音频数据的指示，或者提供指定从其捕获音频数据的特定识别的对象或用户的信息。控制器210或在线***140类似地确定音频是否是从客户端设备110的局部区域周围的其他区捕获的。基于对从其捕获不同区中的音频数据的识别的对象或用户的确定，控制器210修改对一个或更多个音频设备的定位，以提高从一个或更多个区捕获的音频的质量。例如，控制器210重新定位一个或更多个音频捕获设备，以提高从局部区域周围的区(来自该区的音频数据是从特定用户或从特定对象捕获的)捕获的音频的质量。类似地，控制器210可以基于客户端设备110周围的局部区域中的区(来自该区的音频数据是从不同用户或对象捕获的)来重新定位图像捕获设备117或以其他方式修改图像捕获设备117的一个或更多个参数。在各种实施例中，一个或更多个音频设备和图像捕获设备117可以朝向客户端设备110周围的局部区域的不同部分。例如，图像捕获设备117朝向用户描述的对象，而控制器210使一个或更多个音频捕获设备朝向客户端设备110周围的局部区域中的区，音频数据是特定用户从该区捕获的。
在各种实施例中，在线***140和客户端设备110的控制器210协作地和/或单独地维护和实施从捕获的视频数据或其他数据中识别的用户或人的一个或更多个隐私设置。用户或人的隐私设置确定可以如何共享与用户或人相关联的特定信息，并且可以与标识用户或人的信息相关联地被存储。在一些实施例中，控制器210检索由在线***140维护的一个或更多个用户的隐私设置。在一个实施例中，隐私设置指定了与用户相关联的特定信息，并标识了可以与之共享所指定的信息的其他实体。可以与之共享信息的实体的示例可以包括其他用户、应用、第三方***130、或可能潜在地访问信息的任何实体。可以由用户共享的信息的示例包括：包含用户或人的图像数据、包含从用户或人捕获的音频的音频数据、包含用户或人的视频数据等。
例如，在特定实施例中，隐私设置可以允许第一用户(例如，通过选择退出(optout)、通过不选择加入(not opt in))指定在线***140是否可以出于任何目的接收、收集、记录或存储与用户相关联的特定对象或信息。在特定实施例中，隐私设置可以允许第一用户指定特定视频捕获设备、音频捕获设备、应用或过程是否可以访问、存储或使用与用户相关联的特定对象或信息。隐私设置可以允许第一用户选择加入或选择退出使特定设备、应用或过程能够访问、存储或使用对象或信息。在线***140可以访问这样的信息以便向第一用户提供特定的功能或服务，而在线***140不能出于任何其他目的访问该信息。在访问、存储或使用这样的对象或信息之前，在线***可以提示用户提供指定哪些应用或过程(如果有的话)可以在允许任何这样的动作之前访问、存储或使用对象或信息的隐私设置。作为示例而非限制，第一用户可以经由与在线社交网络相关的应用(例如，消息传送app)向第二用户发送消息，并且可以指定这样的消息不应被在线***140存储的隐私设置。
由在线***140和/或控制器210维护和实施的隐私设置可以与默认设置相关联。在各种实施例中，控制器210不在捕获的视频数据、音频数据、图像数据或其他数据内识别用户，除非控制器210从用户获得授权控制器 210识别用户的隐私设置。例如，与用户相关联的隐私设置具有防止控制器210识别用户的默认设置，因此控制器210不识别用户，除非用户手动改变该隐私设置以允许控制器210识别用户。此外，在各种实施例中，替代隐私设置管理从客户端设备110向另一实体(例如，另一客户端设备110、在线***140、第三方***130)传输识别用户的信息。在各种实施例中，替代隐私设置具有防止传输识别用户的信息的默认设置，这防止了控制器 210向其他实体传输识别用户的信息，除非用户手动修改该替代隐私设置以授权传输)。控制器210为从捕获的视频数据或其他数据中识别的每个用户维护一个或更多个隐私设置，允许对每个用户的传输和识别进行用户特定的控制。在一些实施例中，当控制器210最初从捕获的数据中识别人时，控制器210提示此人提供隐私设置，并将所提供的隐私设置与识别此人的信息相关联地进行存储。
在各种实施例中，对于具有可以将用户的个人信息或生物识别信息 (biometricinformation)用作输入以用于用户认证或体验个性化目的的功能的在线***140和/或客户端设备110的各种部件，用户可选择利用这些功能来增强他们使用设备和在线***的体验。作为示例而非限制，用户可以自愿向在线***140提供个人信息或生物识别信息。用户的隐私设置可以指定这样的信息仅可以用于特定的过程(例如认证)，并且进一步指定这样的信息不可以与任何第三方共享或者不可以用于与在线***140相关联的其他过程或应用。作为另一示例而非限制，在线***140可以为用户提供向在线社交网络提供声纹(voice-print)记录的功能。作为示例而非限制，如果用户希望利用在线社交网络的这一功能，则用户可以提供他或她自己的语音的语音记录，用于提供在线社交网络上的状态更新。语音输入的记录可以与用户的声纹进行比较，以确定用户说了什么话。用户的隐私设置可以指定这种语音记录仅可以用于语音输入目的(例如，认证用户、发送语音消息、改善语音辨识以便使用在线社交网络的语音操作功能)，并且进一步指定这种语音记录不可以与任何第三方***共享或者不可以由与在线***140相关联的其他过程或应用使用。作为另一示例而非限制，在线***140可以为用户提供向在线社交网络提供参考图像(例如，面部轮廓)的功能。在线社交网络可以将参考图像与稍后接收的图像输入进行比较(例如，以认证用户、在照片中标记用户)。用户的隐私设置可以指定这种语音记录仅可以用于有限的目的(例如，认证、在照片中标记用户)，并且进一步指定这种语音记录不可以与任何第三方***共享或者不可以由与***140相关联的其他过程或应用使用。对捕获生物识别数据和/或其他个人数据的任何这样的限制也可以应用于客户端设备110。
用户可以授权以一种或更多种方式捕获数据、识别用户和/或共享和跨应用使用用户相关数据。例如，在用户使用客户端设备110的功能和/或在在线***140中采取动作之前，用户可以预先选择各种隐私设置。在另一种情况下，当用户第一次执行动作或使用客户端设备110和/或在线*** 140的功能时、和/或当用户已经一预定时间段没有执行动作或使用功能时，可以提示选择对话框。在又一个示例中，当需要用户数据的某些功能开始操作或者由于用户的选择而被禁用时，客户端设备110和在线***140还可以向用户提供通知，以允许用户通过通知做出进一步的选择。用户进行授权的其他合适方式也是可能的。
在一些实施例中，根据用户的隐私设置，控制器210为从捕获的视频数据中识别的用户获得由在线***140维护的或来自一个或更多个第三方***130的信息。基于包括客户端设备110先前捕获的用户的视频数据、音频数据、图像数据或其他数据以及获得的信息，控制器210可以生成用于经由客户端设备110呈现给用户的内容。例如，控制器210叠加(overlay) 来自在线***140的、与控制器210从客户端设备110捕获的视频数据或图像数据中识别的一个或更多个对象相关联的内容项。替代地，在线*** 140基于从客户端设备110接收的包括用户的视频数据、图像数据、音频数据或其他数据以及在线***140为用户维护的信息(或在线***140从一个或更多个第三方***130获得的信息)来为用户生成内容，并将生成的内容提供给客户端设备110用于呈现给用户。
图3是在线***140的架构的框图。图3所示的在线***140包括用户简档储存器305、内容储存器310、动作记录器315、动作日志320、边储存器(edge store)325、内容选择模块330和web服务器335。在其他实施例中，在线***140可以包括用于各种应用的附加的、更少的或不同的部件。没有示出常规部件(例如网络接口、安全功能、负载平衡器、故障转移服务器、管理和网络操作控制台等)，以便不使***架构的细节模糊。
在线***140的每个用户与被存储在用户简档储存器305中的用户简档相关联。用户简档包括由用户明确共享的关于用户的声明性信息，并且还可以包括由在线***140推断的简档信息。在一个实施例中，用户简档包括多个数据字段(data field)，每个数据字段描述相应在线***用户的一个或更多个属性。存储在用户简档中的信息的示例包括传记信息、人口统计信息和其他类型的描述性信息(例如工作经历、教育历史、性别、爱好或偏好、位置等)。用户简档还可以存储用户提供的其他信息，例如图像或视频。在某些实施例中，可以用标识图像中显示的在线***用户的信息来对用户的图像进行标记，其中标识用户被标记的图像的信息存储在用户的用户简档中。用户简档储存器305中的用户简档还可以维护对相应用户在内容储存器310中的内容项上执行的并存储在动作日志320中的动作的引用。
此外，为用户维护的用户简档包括与用户相关联的一个或更多个客户端设备110的特性，允许在线***140随后从客户端设备110提供的特性中识别用户。例如，与在线***140相关联并在客户端设备110上执行的应用将设备标识符或唯一标识客户端设备110的其他信息与用户标识符相关联地提供到在线***140。在线***110在为用户维护的用户简档中存储设备标识符或唯一标识客户端设备110的其他信息，这允许随后如果在线***140接收到设备标识符或唯一标识客户端设备110的其他信息则进行用户识别。与用户相关联的客户端设备110的其他特性可以替代地或附加地被包括在用户维护的用户简档中。例如，用户简档包括客户端设备110 用来访问网络120的网络地址、在线***140从其接收信息的客户端设备 110上执行的应用的标识符、在线***140从其接收信息的客户端设备110 的类型(例如，制造商、客户端设备110的型号的标识符等)以及在线***140从其接收信息的客户端设备110上执行的操作***。然而，在线***140可以在用户简档中存储客户端设备110的任何合适特性，这允许在线***140维护关于与用户简档相对应的用户所使用的客户端设备110的信息。
虽然用户简档储存器305中的用户简档通常与个人相关联，允许个人经由在线***140彼此互动，但是也可以为诸如企业或组织的实体而存储用户简档。这允许实体在在线***140上建立存在，用于与其他在线***用户联系并交换内容。实体可以使用与该实体的用户简档相关联的品牌页面来发布关于其自身、关于其产品的信息或者向在线***140的用户提供其他信息。在线***140的其他用户可以关连到品牌页面以接收被发布到品牌页面的信息或者从品牌页面接收信息。与品牌页面相关联的用户简档可以包括关于实体自身的信息，以向用户提供关于实体的背景或信息数据。
内容储存器310存储对象，这些对象各自表示各种类型的内容。对象表示的内容的示例包括页面帖子、状态更新、照片、视频、链接、共享的内容项、游戏应用成就、在本地企业处的签到(check-in)事件、品牌页面或任何其他类型的内容。在线***用户可以创建由内容储存器310存储的对象，例如状态更新、被用户标记为与在线***140中的其他对象相关联的照片、事件、群组或应用。在一些实施例中，从第三方应用或独立于在线***140的第三方应用接收对象。在一个实施例中，内容储存器310中的对象表示单条内容(single pieceof content)或内容“项(item)”。因此，通过经由各种通信渠道将各种类型的媒体的文本和内容项发布到在线***140来鼓励在线***用户与彼此进行通信。这增加了用户与彼此之间的交互的量，并增加了用户在在线***140内交互的频率。
被包括在内容储存器310中的一个或更多个内容项包括创意(creative) 和出价金额(bid amount)，创意是用于呈现给用户的内容。创意是呈现给用户的文本、图像、音频、视频或任何其他合适的数据。在各种实施例中，创意还指定一页内容。例如，内容项包括指定当内容项被访问时用户所朝向的内容的登录页面的网络地址的链接。如果向用户呈现内容，出价金额被用户包括在内容项中，并且如果内容项中的内容被呈现给用户、如果内容项中的内容在呈现时接收到用户交互、或者如果当内容项中的内容被呈现给用户时满足任何合适的条件，则出价金额被用来确定广告商提供给在线***140的预期值，例如货币补偿。例如，被包括在内容项中的出价金额指定了，如果内容项中的内容被显示，在线***140从向在线***140 提供内容项的用户接收的货币金额。在一些实施例中，对于在线***140呈现来自内容项的内容的预期值，可以通过将出价金额乘以用户访问内容项的内容的概率来被确定。
各种内容项可以包括标识与内容项相关联的用户期望其他用户在呈现有被包括在内容项中的内容时执行的交互的意图(objective)。示例意图包括：安装与内容项相关联的应用、指示对内容项的偏好、与其他用户共享内容项、与和内容项相关联的对象进行交互、或者执行任何其他合适的交互。当来自内容项的内容被呈现给在线***用户时，在线***140记录在被呈现有内容项的用户之间的或者与内容项相关联的对象的交互。此外，当在线***用户执行与内容项的交互，其满足内容项中包括的意图时，在线***140从与该内容项相关联的用户接收补偿。
此外，内容项可以包括由向在线***140提供内容项的用户指定的一个或更多个定位标准(targeting criteria)。被包括在内容项请求中的定位标准指定有资格被呈现有内容项的用户的一个或更多个特性。例如，定位标准用于识别具有满足定位标准中的至少一项的用户简档信息、边或动作的用户。因此，定位标准允许用户识别具有特定特征的用户，这简化了随后向不同用户分发内容。
在一个实施例中，定位标准可以指定用户与在线***140的另一用户或对象之间的动作或关连的类型。定位标准还可以指定用户与在在线*** 140外部(例如在第三方***130上)执行的对象之间的交互。例如，定位标准识别已经采取特定动作(例如向另一用户发送消息、使用应用、加入群组、离开群组、加入事件、生成事件描述、使用在线市场购买或查看产品或服务、从第三方***130请求信息、安装应用或执行任何其他合适的动作)的用户。在定位标准中包括动作允许用户进一步细分(refine)有资格被呈现有内容项的用户。作为另一示例，定位标准识别与另一用户或对象有关连或者与另一用户或对象有特定类型的关连的用户。
基于隐私设置，动作记录器315可以被授权接收关于在在线***140 内部和/或外部的用户动作的通信，用关于用户动作的信息填充动作日志 320。动作的示例包括添加与另一用户的关连、向另一用户发送消息、上传图像、从另一用户读取消息、查看与另一用户相关联的内容以及参加由另一用户发布的事件。此外，许多动作可能涉及一个对象和一个或更多个特定用户，因此这些动作也与特定用户相关联并存储在动作日志320中。
基于隐私设置，动作日志320可以被用户授权为由在线***140使用以跟踪在线***140上的用户动作以及向在线***140传送信息的第三方***130上的动作。用户可以与在线***140上的各种对象交互，并且描述这些交互的信息存储在动作日志320中。与对象的交互的示例包括：评论帖子、共享链接、经由客户端设备110在物理位置签到、访问内容项以及任何其他合适的交互。与被包括在动作日志320中的在线***140上的对象的交互的附加示例包括：评论相册、与用户通信、建立与对象的关连、加入事件、加入群组、创建事件、授权应用、使用应用、表达对对象的偏好(“点赞(liking)”对象)以及参与交易。此外，动作日志320可以记录用户与在线***140上的广告的交互以及与在线***140上运行的其他应用的交互。在一些实施例中，来自动作日志320的数据用于推断用户的兴趣或偏好，增强用户的用户简档中包括的兴趣，并允许对用户偏好的更完整的理解。
根据用户的隐私设置，动作日志320还可以存储在第三方***130(例如外部网站)上采取的用户动作并传送给在线***140。例如，电子商务网站可以通过使电子商务网站能够识别在线***140的用户的社交插件来辨识在线***140的用户。因为在线***140的用户是唯一可识别的，所以(例如在前面的示例中)电子商务网站可以将关于用户在在线***140 外部的动作的信息传送给在线***140，用于与用户进行关联。因此，动作日志320可以记录关于用户在第三方***130上执行的动作的信息，包括网页浏览历史、参与的广告、完成的购买以及来自购物和购买的其他模式。此外，用户经由与第三方***130相关联的应用来执行的且在客户端设备110上执行的动作可以由该应用传送给动作记录器315，用于在动作日志320中进行记录和与用户进行关联。
在一个实施例中，边储存器325将描述用户与在线***140上的其他对象之间的关连的信息存储为边。某些边可以由用户定义，允许用户指定他们与其他用户的关系。例如，用户可以生成与其他用户的边，这些边并行于用户的现实生活关系(例如朋友、同事、伙伴等)。当用户与在线***140中的对象交互(例如表达对在线***140上的页面的兴趣、与在线***140的其他用户共享链接、以及对由在线***140的其他用户制作的帖子进行评论)时，生成其他边。
边可以包括各种特征，每个特征表示用户之间的交互、用户和对象之间的交互、或者对象之间的交互的特性。例如，边中包括的特征描述了两个用户之间的交互的速率、两个用户最近如何与彼此进行交互、一个用户检索关于对象的信息的速率或量、或者用户发布的关于对象的评论的数量和类型。这些特征还可以表示描述特定对象或用户的信息。例如，特征可以表示用户对特定主题的兴趣程度、用户登录在线***140的速率、或者描述关于用户的人口统计信息的信息。每个特征可以与源对象或用户、目标对象或用户以及特征值相关联。特征可以被指定为基于描述源对象或用户、目标对象或用户、或者源对象或用户与目标对象或用户之间的交互的值的表达式；因此，边可以被表示为一个或更多个特征表达式。
边储存器325还存储关于边的信息，例如对象、兴趣和其他用户的亲和力分数(affinity score)。在线***140可以随时间计算亲和力分数或“亲和力”，以基于用户执行的动作来近似用户对在线***140中的另一用户或对象的兴趣。在线***140可以随时间计算用户的亲和力，以基于用户执行的动作来近似用户对在线***140中的另一用户、对象或主题的兴趣。在于2010年12月23日提交的第12/978,265号美国专利申请、于2012年 11月30日提交的第13/690,254号美国专利申请、于2012年11月30日提交的第13/689,969号美国专利申请和于2012年11月30日提交的第 13/690,088号美国专利申请中进一步描述了亲和力的计算，这些专利申请中的每一个专利申请都在此通过引用以其整体并入。在一个实施例中，用户和特定对象之间的多个交互可以作为单条边存储在边储存器325中。替代地，用户和特定对象之间的每次交互都被存储为单独的边。在一些实施例中，用户之间的关连可以存储在用户简档储存器305中，或者用户简档储存器305可以访问边储存器325以确定用户之间的关连。
内容选择模块330选择用于传送给客户端设备110的一个或更多个内容项，以呈现给用户。内容选择模块330从内容储存器310或从另一个源检索有资格呈现给用户的内容项，内容选择模块330选择这些内容项中的一个或更多个内容项用于呈现给观看用户。有资格呈现给用户的内容项是与用户的特性所满足的至少阈值数量的定位标准相关联的内容项，或者是与定位标准不相关联的内容项。在各种实施例中，内容选择模块330包括在一个或更多个选择过程中的有资格呈现给用户的内容项，这些选择过程识别一组要呈现给用户的内容项。例如，内容选择模块330基于由在线***140关联到用户的属性以及基于用户对不同内容项的亲和力来确定各种内容项与用户的相关性度量。内容项与用户的相关性度量是基于对用于用户的内容项的质量的度量的，这可以基于内容项中包括的创意以及由内容项中的链接标识的登录页面的内容。基于相关性度量，内容选择模块330 选择内容项用于呈现给用户。作为附加示例，内容选择模块330选择具有最高相关性度量或具有至少阈值相关性度量的内容项用于呈现给用户。替代地，内容选择模块330基于其相关联的相关性度量来对内容项进行排名，并选择在排名中具有最高位置或者在排名中至少具有阈值位置的内容项用于呈现给用户。
有资格呈现给用户的内容项可以包括与出价金额相关联的内容项。当选择呈现给用户的内容时，内容选择模块330使用与内容项相关联的出价金额。在各种实施例中，内容选择模块330基于各种内容项的出价金额来确定与各种内容项相关联的预期值，并选择与最大预期值相关联或至少与阈值预期值相关联的内容项来呈现。与内容项相关联的预期值表示对用于呈现内容项的在线***140的预期补偿量。例如，与内容项相关联的预期值是内容项的出价金额和用户与内容项交互的可能性的乘积。内容选择模块330可以基于内容项的相关出价金额来对内容项进行排名，并选择在排名中至少具有阈值位置的内容项以呈现给用户。在一些实施例中，内容选择模块330基于与内容项相关联的出价金额和相关性度量，在统一的排名中对与出价金额不相关联的内容项和与出价金额相关联的内容项进行排名。基于该统一排名，内容选择模块330选择内容以呈现给用户。在于2012 年7月10日提交的第13/545,266号美国专利申请中进一步描述了通过统一排名来选择与出价金额相关联的内容项和与出价金额不相关联的内容项，该专利申请在此通过引用以其整体并入。
例如，内容选择模块330接收向在线***140的用户呈现内容信息流 (feed)的请求。该信息流包括内容项，例如描述与关连到该用户的其他在线***用户相关联的动作的动态(stories)。内容选择模块330访问用户简档储存器305、内容储存器310、动作日志320和边储存器325中的一个或更多个，以检索关于用户的信息。例如，对描述与关连到该用户的其他用户相关联的动作或者与关连到该用户的用户相关联的其他数据的信息进行检索。内容选择模块330检索并分析来自内容储存器310的内容项，以识别有资格呈现给用户的候选内容项。例如，与未关连到该用户的用户相关联的内容项或者与该用户具有小于阈值亲和力的用户相关联的动态被舍弃用作候选内容项。基于各种标准，内容选择模块330选择一个或更多个被识别为候选内容项的内容项，用于呈现给识别的用户。所选择的内容项被包括在呈现给该用户的内容信息流中。例如，内容信息流包括至少阈值数量的内容项，其描述与经由在线***140关连到该用户的用户相关联的动作。
在各种实施例中，内容选择模块330通过包括被选择用于呈现给用户的多个内容项的信息流来向用户呈现内容。内容选择模块330还可以确定所选择的内容项经由信息流被呈现的顺序。例如，内容选择模块330基于用户与各种内容项交互的可能性来对信息流中的内容项进行排序。
基于用户的动作或许可，内容选择模块330接收由被包括在与在线***的用户相关联的客户端设备110中的图像捕获设备117捕获的视频数据，并且将该视频数据发送到接收客户端设备110，用于经由显示设备115呈现给观看用户。在线***140可以从客户端设备110接收识别观看用户的请求，并且随后响应于从观看用户接收到授权，向接收客户端设备110提供来自客户端设备110的视频数据。相反，在线***140经由接收客户端设备110接收来自观看用户的请求，并且随后响应于从用户接收到授权，向接收客户端设备110提供从客户端设备110接收的视频数据。这允许在线***140的不同用户经由在线***140交换由与用户相关联的客户端设备110捕获的视频数据。
此外，内容选择模块330可以经由接收客户端设备110从观看用户接收指令，并将一个或更多个指令发送到客户端设备110。基于接收到的指令，客户端设备110修改在接收到指令之后捕获的视频数据，或者基于指令修改图像捕获设备117的一个或更多个参数。因此，客户端设备110基于来自接收客户端设备110的一个或更多个指令来修改捕获的视频数据，并且将修改后的视频数据或者由图像捕获设备117使用修改后的参数捕获的视频数据发送到内容选择模块330，内容选择模块330将该视频数据发送到接收客户端设备110，这在下面结合图4进行进一步描述。这允许观看用户修改或调整由客户端设备110捕获并经由接收客户端设备110提供给观看用户的视频数据。
在各种实施例中，内容选择模块330实施在线***140的用户的一个或更多个隐私设置。用户的隐私设置确定可以如何共享与用户相关联的特定信息，并且可以存储在用户简档储存器305中的用户的用户简档中。在一个实施例中，隐私设置指定了与用户相关联的特定信息，并标识了可以与之共享所指定的信息的其他实体。可以与之共享信息的实体的示例可以包括其他用户、应用、第三方***130、或可能潜在地访问信息的任何实体。可以由用户共享的信息的示例包括用户简档信息(例如简档照片)、与用户相关联的电话号码、用户的关连、包括用户的视频数据、由用户采取的动作(例如添加关连)、改变用户简档信息等。在各种实施例中，在线***140维护与用户相关联的隐私设置，该隐私设置具有防止其他实体访问或接收与用户相关联的内容的默认设置，并且允许用户修改不同的隐私设置，以允许由用户指定的其他实体访问或检索对应于修改后的隐私设置的内容。
可以以不同的粒度水平提供隐私设置规范。在一个实施例中，隐私设置可以标识要与其他用户共享的特定信息。例如，隐私设置标识工作电话号码或一组特定的相关信息(例如，包括简档照片、家庭电话号码以及状态的个人信息)。可选地，隐私设置可以应用于与用户相关联的所有信息。也可以以不同的粒度水平指定可以访问特定信息的该组实体的规范。可以与之共享信息的各种实体集合可以包括例如关连到该用户的所有用户、关连到该用户的一组用户、与关连到该用户的用户关连的附加用户、所有应用、所有第三方***130、特定第三方***130或所有外部***。
一个实施例使用实体的枚举来指定被允许访问所标识的信息的实体或者标识呈现给不同实体的信息类型。例如，用户可以指定传送给其他用户的或传送给指定用户组的动作的类型。替代地，用户可以指定动作的类型或不发布或呈现给其他用户的其他信息的类型。
内容选择模块330包括确定与用户相关联的某些信息是否可以由经由在线***140关连到该用户的其他用户、第三方***130和/或其他应用和实体进行访问的逻辑。基于用户的隐私设置，内容选择模块330确定另一用户、第三方***130、应用或另一实体是否被允许访问与该用户相关联的信息(包括关于用户采取的动作的信息)。例如，内容部分模块230使用用户的隐私设置来确定包括该用户的视频数据是否可以呈现给另一用户。这使用户的隐私设置能够指定哪些其他用户或其他实体被允许接收关于用户的动作的数据或与用户相关联的其他数据。
web服务器335经由网络120将在线***140链接到一个或更多个客户端设备110以及链接到一个或更多个第三方***130。web服务器335 提供网页以及其他内容，例如
Figure BDA0002478716360000211
XML等。web服务器 335可以接收消息并在在线***140和客户端设备110之间路由该消息(例如即时消息、排队消息(例如，电子邮件)、文本消息、短消息服务(SMS) 消息或使用任何其他合适的消息传送技术发送的消息)。用户可以向web 服务器335发送上传存储在内容储存器310中的信息(例如，图像或视频) 的请求。此外，web服务器335可以提供应用编程接口(API)功能，以将数据直接发送到本机客户端设备操作***，例如
Figure BDA0002478716360000212
ANDROIDTM或BlackberryOS。
基于先前捕获的视频数据的特性修改视频数据捕获
图4是基于图像捕获设备117先前捕获的视频的特性来修改图像捕获设备117对视频数据的捕获的方法的一个实施例的交互图。在各种实施例中，可以以不同的顺序执行结合图4描述的步骤。此外，在一些实施例中，该方法可以包括与图4所示的那些步骤不同的步骤和/或附加的步骤。
如上面结合图1和图2进一步描述的，图像捕获设备117被包括在发送客户端设备110A中，并且捕获405发送客户端设备110A周围的局部区域的视频数据。由图像捕获设备117捕获的图像被传送到被包括在发送客户端设备110A中的(或者在其他实施例中耦合到客户端设备110的)控制器210。在各种实施例中，用户可以(例如，通过预先选择的隐私设置和/或提示的选择)授权控制器210将一个或更多个机器学习模型应用于由图像捕获设备117捕获405的视频的特性，以定位被包括在捕获的视频数据中的人。在各种实施例中，控制器210修改视频数据以更显著地呈现被定位的用户，并将修改后的视频数据发送410到在线***140。通过在视频数据中以至少一组阈值尺寸(例如，以至少阈值高度或阈值宽度)呈现、在图像捕获设备117的至少阈值量的视场中或在捕获的视频数据的至少阈值量的帧中呈现、或者在捕获的视频数据内的一个或更多个特定位置呈现，而更显著地呈现被定位的用户。例如，控制器210裁剪捕获的视频数据，以移除视频数据中不包括至少一个人的部分。作为另一示例，控制器210 增加视频数据中包括人的一部分的缩放(也被称为放大率)。为了修改捕获的视频数据，控制器210可以在视频数据被图像捕获设备117捕获之后修改该视频数据，或者可以修改图像捕获设备117的一个或更多个参数以修改图像捕获设备117如何捕获405视频数据。
在各种实施例中，控制器210应用一种或更多种方法来在捕获的视频数据内定位人。然而，控制器210可以通过将一个或更多个模型应用于捕获的视频数据来类似地定位对象(例如，电器、家具、产品)。虽然以下示例涉及将模型应用于视频数据，但是一个或更多个模型可以被应用于视频数据、音频数据、图像数据、由客户端设备110捕获的任何其他数据及其任意组合。控制器210可以使用任何合适的模型或模型的组合来在图像捕获设备117捕获405的视频数据内定位人。由控制器210应用于捕获的视频数据的模型可以执行(二维或三维的)面部跟踪、二维姿态跟踪、三维姿态跟踪或任何其他合适的方法来识别人的面部的一些部分或人的身体的一些部分。类似地，由控制器210应用的模型可以从捕获的视频数据中识别对象。在一些实施例中，基于用户的授权，控制器210与在线*** 140通信，以基于从在线***140获得的信息更具体地识别对象或人，而在其他实施例中，控制器210在本地维护模型，以从捕获的视频数据中识别不同的对象或人。基于一个或更多个模型的应用，控制器210可以修改包括被定位用户的身体的某些部分的捕获的视频数据的裁剪或缩放，以更显著地显示被定位用户的身体的某些部分。例如，当一个或更多个模型识别人的面部时，控制器修改捕获的视频数据以移除视频数据中不包括人的面部的部分。如果一个或更多个模型的应用在捕获的视频数据中定位多个人，则控制器210修改捕获的视频数据，使得视频的不同部分显示不同的人。例如，控制器210将捕获的视频数据划分成网格，网格的每个区域显示不同人的一个或更多个部分。在其他实施例中，控制器210增加图像捕获设备117在包括人的一部分的一部分视频数据上的放大率(即，缩放)。因此，控制器210可以裁剪捕获的视频数据的部分或者增加捕获的视频数据的部分的放大率(即，缩放)来修改视频数据，以更显著地呈现在捕获的视频数据内定位的一个或更多个人的部分。此外，当基于一个或更多个模型的应用来修改捕获的视频数据时，控制器210可以应用一个或更多个模型来稳定修改后的视频数据，从而以更高的质量呈现一个或更多个被定位的人的部分。
基于隐私设置，控制器210还可以应用一个或更多个模型来定位被识别的人的身体的部位，并修改图像捕获设备117的一个或更多个参数或由图像捕获设备117捕获的视频数据，以修改捕获的视频数据中包括的被定位的人的身体的部分。例如，控制器210定位被识别的人的身体的不同关节，并修改捕获的视频数据或图像捕获设备117的参数，以在捕获的视频数据中包括对应于被定位的人的身体的不同部位的关节。因此，控制器210 可以修改捕获的视频数据是否包括人的头部、人的头部和躯干、或者人的全身。控制器210可以包括各种规则，这些规则基于在先前捕获的视频数据中包括的内容、在先前捕获的视频数据中识别的移动或者从视频数据中识别的任何其他合适的特性，来修改被包括在捕获的视频数据中的人的身体的部分。
在各种实施例中，由控制器210应用的一个或更多个模型应用一个或更多个规则来修改由发送客户端设备110A的图像捕获设备117捕获405 的视频数据。例如，如果控制器210还确定从视频数据中定位的人的面部朝向相机，则控制器210通过修改在此人所在的一部分视频数据上的捕获的数据的缩放，或者通过修改此人所在的一部分视频数据的裁剪以移除除此人之外的对象，来修改捕获的视频数据，以更显著地显示从视频数据中定位的人。作为示例，如果控制器210应用的一个或更多个模型确定人的面部朝向图像捕获设备117(例如，如果人的面部的一个或更多个特定特征被图像捕获设备117捕获)，则控制器210修改捕获的视频数据以更显著地显示用户的面部。在另一示例中，控制器210确定视频数据内被定位的人和图像捕获设备117之间的距离，并且修改捕获的视频数据以显著地显示离图像捕获设备117具有最小确定距离的人、或者显著地显示离图像捕获设备的确定距离小于阈值距离的人。在另一示例中，当人或对象移动时，控制器210应用一个或更多个模型来重新定位图像捕获设备117，允许图像捕获设备117捕获的视频数据跟踪人或对象的移动。
由控制器210应用的一个或更多个模型可以基于考虑在捕获的视频数据中识别的多个人的位置的规则来修改捕获的视频数据。在各种实施例中，用户可以授权控制器210在捕获的视频中定位用户，控制器210将模型应用于捕获的视频，该模型确定捕获的视频数据内被识别用户的注视所朝向的位置。响应于确定至少阈值数或阈值数量的被定位用户具有朝向捕获的视频数据内包括特定人的位置的注视，控制器210修改捕获的视频数据以更显著地显示该特定人(例如，裁剪捕获的视频数据以移除除该特定人之外的内容，增加该特定人的放大率或缩放)。作为另一示例，控制器210 确定在视频数据内被定位的不同人之间的距离，并修改捕获的视频数据以更显著地显示在彼此的阈值距离内的人；这允许控制器210通过裁剪或缩放一组人所在的一部分视频数据来修改捕获的视频数据。此外，控制器210可以基于捕获的视频数据内识别的对象或人而从捕获的视频数据中移除一个或更多个帧；例如，如果在捕获的视频数据内识别少于阈值数量的对象或人，或者如果在捕获的视频数据内识别的对象或人的小于阈值量的移动被确定，则控制器210在将捕获的视频数据发送410到在线***140之前从捕获的视频数据中移除帧。在其他实施例中，如下面进一步描述的，在线***140在向接收客户端设备110B发送415捕获的视频数据之前，使用上述标准从接收自发送客户端设备110A的视频数据中移除帧。
控制器210可以从发送客户端设备110A的其他部件接收数据，并且基于所接收的视频数据和来自发送客户端设备110A的其他部件的数据的特性来修改捕获的视频数据。例如，图像捕获设备117或客户端设备110 包括音频捕获设备(例如麦克风)，其被配置为从客户端设备110周围的局部区域捕获音频数据。当修改捕获的视频数据时，用户可以授权控制器210 连同捕获的视频数据一起处理捕获的音频数据。在各种实施例中，控制器 210将一个或更多个模型应用于捕获的音频数据，以确定捕获的视频数据内包括音频数据源的位置。控制器210将一个或更多个模型应用于捕获的视频数据内包括音频数据源的位置。响应于模型的应用确定捕获的视频数据内包括音频数据源的位置包括人，控制器210修改捕获的视频数据以更显著地呈现捕获的视频数据内包括音频数据源的位置(即，增加包括捕获的视频数据的源的位置的缩放，或者裁剪包括捕获的视频数据的源的位置，以移除除捕获的视频数据的源之外的对象)，或重新定位图像捕获设备117 以聚焦在音频数据源上。然而，响应于确定捕获的视频数据内包括音频数据源的位置不包括人，控制器210不修改捕获的视频数据或重新定位图像捕获设备117。作为另一示例，控制器210修改捕获的视频数据或重新定位图像捕获设备117，以更显著地呈现捕获的视频数据内被定位的、控制器210确定其是捕获的音频数据的源的人，允许捕获的视频数据更显著地显示被确定为正在说话或以其他方式提供被发送客户端设备110A的音频捕获设备捕获的音频数据的人(即，增加包括被确定为正在提供音频数据的人的位置的缩放，或者裁剪包括捕获的视频数据的源的位置，以移除除了被确定为正在提供音频数据的人之外的对象)。
在一些实施例中，用户还可以授权控制器210应用一个或更多个模型，以基于图像捕获设备117先前捕获405的视频数据来修改捕获的视频数据或客户端设备110的图像捕获设备117的参数。例如，如果控制器210在捕获的视频数据中定位多个人，则控制器210修改捕获的视频数据或成像设备117的一个或更多个参数，使得每个被定位的人在捕获的视频中被显著地呈现(例如，以至少一组阈值尺寸在视频数据中呈现、在图像捕获设备117的至少阈值量的视场中或者在捕获的视频数据的至少阈值量的帧中呈现、或者在捕获的视频数据内的一个或更多个特定位置呈现)最小量的时间。作为另一示例，根据隐私设置，控制器210存储标识被定位在捕获的视频数据中的人的信息，这些人已经在捕获的视频数据中被显著地呈现了至少阈值量的时间。当控制器210在捕获的视频数据中定位到另一人时，控制器210将该另一人与所存储的标识已经在捕获的视频数据中被显著地呈现的人的信息进行比较。响应于确定所存储的信息没有标识该另一人，控制器210修改捕获的视频数据或修改图像捕获设备117的一个或更多个参数，以显著地显示该另一人至少阈值量的时间。这允许控制器210修改视频数据，使得控制器210在视频数据中定位的每个人都被显著地显示至少阈值量的时间。
此外，控制器210可以响应于识别捕获的视频数据中被定位的人的移动来修改捕获的视频数据或图像捕获设备117的参数。例如，如果由控制器210应用于捕获的视频的一个或更多个模型确定被定位的人正朝着对象打手势，则控制器210修改捕获的视频，使得被定位的人和对象被显著地呈现。作为一个示例，如果捕获的视频显著地显示被定位的人(例如，以至少一组阈值尺寸显示被定位的人，或者显示被定位的人使其占据视频数据的至少阈值量的一个或更多个帧)，并且控制器确定被定位的人正朝着对象打手势，则控制器210修改捕获的视频，使得被定位的人和对象呈现在视频数据中。例如，控制器210减小捕获的视频数据的放大率，使得被定位的人和对象都被包括在捕获的视频中。在另一示例中，如果控制器210 应用一个或更多个模型，该一个或更多个模型确定被定位的人正持有对象，则控制器210修改捕获的视频数据或图像捕获设备117的一个或更多个参数，使得该对象被显著地呈现(例如，将成像设备117的焦点改变到该对象，并增加图像捕获设备117的缩放)。在一些实施例中，控制器210可以在捕获的视频数据中显著地呈现被定位的人所持有的对象特定量的时间，然后修改捕获的视频数据或图像捕获设备117的参数，使得被定位的人再次被捕获的视频数据显著地呈现。
发送客户端设备110A将视频数据(如上面进一步描述的，该视频数据可以被控制器210修改)从发送客户端设备110A发送410到在线*** 140，在线***140将捕获的视频数据发送415到接收客户端设备110B。使用显示设备115，接收客户端设备110B将来自在线***140的视频数据呈现420给在线***140的观看用户。在各种实施例中，观看用户将与发送客户端设备110A通信的请求从接收客户端设备110B传送到在线*** 140。在线***140向发送客户端设备110A传送该请求，发送客户端设备 110A向在线***140提供响应。如果发送客户端设备110A响应于该请求而向在线***140提供授权，则在线***140将由发送客户端设备110A 的图像捕获设备117捕获405并提供给在线***140的视频数据传送到接收客户端设备110B用于在显示设备115上呈现，反之亦然。
在各种实施例中，用户可以(例如，基于预定的隐私设置和通过用户动作)授权发送客户端设备110A向在线***140提供标识与控制器210 在捕获的视频内定位的人相对应的一个或更多个用户的信息，该信息包括标识该一个或更多个用户的信息，其中视频数据被发送420到接收客户端设备110B。替代地，发送客户端设备110A向在线***140标识包括控制器210定位的人的视频数据部分，在线***140将控制器210定位的人所在的视频数据部分与所存储的标识在线***用户的图像进行比较。基于隐私设置，在线***140检索标识用户的信息，这些用户由被在线***140 确定为与控制器210定位的人所在的发送客户端设备110A的控制器210 视频数据的部分至少具有阈值相似性的存储的图像来标识。这允许在线***140识别被包括在从发送客户端设备110A接收的视频数据中的在线***140的用户，如果用户选择加入这种识别特征的话。在线***140可以将一个或更多个面部辨识过程或其他识别过程应用于接收到的视频数据中由控制器210定位的人所在的部分以及由在线***140存储的标识用户的图像(例如，用户的用户简档中的简档图片，用标识信息标记用户的包括用户的面部的图像)，以确定在接收到的视频数据的该部分中被定位的人是否是在线***用户。例如，在线***140增强来自发送客户端设备 110A的视频数据，使得标识在线***用户的信息(例如，名和姓、电子邮件地址)叠加在来自发送客户端设备110A的视频数据的一部分上，该视频数据的一部分包括被在线***140识别为在线***用户的人。在线*** 140将增强的视频数据发送420到接收客户端设备110B。替代地，在线***140生成标识与从发送客户端设备110A接收的视频数据中被定位的人相对应的在线***用户的信息，并且将标识与视频中的人相对应的在线***用户的信息与视频数据一起发送到接收客户端设备110B。例如，在线***140生成与从发送客户端设备110A接收的视频数据中的人相对应的在线***用户的名和姓的列表或者用户名的列表，用于由接收客户端设备 110B结合视频数据呈现给观看用户。
在用户授权各种用户相关数据用于改善在线***140的用户体验的一些实施例中，当生成标识与从发送客户端设备110A接收的视频数据中被定位的人相对应的在线***用户的信息时，在线***140可以考虑与接收客户端设备110B相关联的观看用户和从发送客户端设备110A接收的视频数据中识别的用户之间的亲和力。例如，在线***140为从发送客户端设备110A接收的视频数据中识别的、与在线***140维护的观看用户有关连的在线***用户生成标识信息；在一些实施例中，在线***140可以不为从发送客户端设备110A接收的视频数据中识别的、与观看用户没有关连的在线***用户生成标识信息。替代地，在线***140在视觉上将从接收的视频数据中识别的、关连到观看用户的在线***用户的标识信息与未关连到观看用户的在线***用户的标识信息区分开。作为另一示例，在线***140确定观看用户对于从发送客户端设备110A接收的视频数据中识别的每个在线***用户的亲和力，并修改从视频数据中识别的在线***用户的标识信息的呈现。例如，在线***140生成标识从接收到的视频数据中识别的在线***用户的信息，该信息在视觉上区分在线***140确定观看用户对于其具有至少阈值亲和力的所标识的在线***用户。作为另一示例，在线***140基于观看用户对于从接收的视频数据中识别的在线***用户的亲和力，对标识从接收的视频数据中识别的在线***用户的信息进行排名；在线***140生成信息，该信息在视觉上将在排名中具有至少阈值位置的、标识从接收的视频数据中识别的在线***用户的信息与标识从接收的视频数据中识别的其他在线***用户的信息区分开。在另一实施例中，在线***140基于观看用户对于从接收的视频数据中识别的在线***用户的亲和力来生成信息，该信息呈现标识从接收的视频数据中识别的在线***用户的信息。
接收客户端设备110B经由显示设备115呈现420来自在线***140 的视频数据，允许发送客户端设备110A向接收客户端设备110B提供用于呈现的视频数据。来自在线***140的标识在线***140的用户的信息由接收客户端设备110B结合视频数据来呈现。根据所呈现的视频数据，接收客户端设备110B从观看用户接收425对感兴趣的用户的选择，并且向在线***140发送430标识该感兴趣的用户的信息。在各种实施例中，观看用户可以选择感兴趣的对象。例如，观看用户从结合视频数据和接收客户端设备110B呈现的、标识在线***140的用户的信息中选择标识感兴趣的用户的信息，并且接收客户端设备110B向在线***140发送430标识该感兴趣的用户的信息。观看用户可以从描述被包括视频数据中的用户、且由接收客户端设备110B连同视频数据一起呈现的信息中选择标识感兴趣的用户的信息。替代地，观看用户选择所呈现的视频数据中包括人的部分，并且接收客户端设备110B向在线***140标识所呈现的视频数据的被选择部分，在线***140将视频数据的被选择部分的内容与存储的与用户相关联的面部或身体的图像(例如，被包括在用户简档中的图像、由在线***140维护的其中各种用户被标识的图像)进行比较，并且将与和视频的被选择部分的内容匹配的一个或更多个存储图像相关联的用户识别为感兴趣的用户。
在线***140向发送客户端设备110A发送435标识感兴趣的用户的信息。基于标识感兴趣的用户的信息和图像捕获设备117捕获405的视频数据中包括的对象的特性，控制器210修改440捕获的视频数据或发送客户端设备110A的图像捕获设备117的参数，以更显著地呈现感兴趣的用户。可以在关于可以如何改变捕获的视频的通知被显示在客户端设备110A 上以供被捕获的用户查看和授权之后和/或基于参照控制接收客户端设备 110B的预授权人员的列表(例如，通过隐私设置)对这样的改变的预授权来进行修改。修改可以包括修改图像捕获设备117的参数，以增加视频数据中包括感兴趣的用户的部分的放大率，或者移除视频数据中不包括感兴趣的用户的部分。在各种实施例中，发送客户端设备110A的控制器210 将一个或更多个上面进一步描述的模型应用于捕获的视频数据，来修改 440捕获的视频数据，以更显著地呈现感兴趣的用户。用于显著地呈现感兴趣的用户的修改后的视频数据从发送客户端设备110A被发送445到在线***140，在线***140将显著地呈现感兴趣的用户的视频数据发送450 到接收客户端设备110B，接收客户端设备110B将修改后的视频数据呈现 455给观看用户。
控制器210可以将一个或更多个模型应用于在接收到标识感兴趣的用户的信息之后捕获的视频数据，以修改图像捕获设备117的一个或更多个参数，从而跟随在局部区域周围的感兴趣的用户。例如，控制器210将一个或更多个面部辨识模型应用于捕获的视频数据中被定位的人，以识别与(从在线***140接收的，或者基于来自在线***的信息而从先前捕获405 的视频数据中识别的)感兴趣的用户的面部匹配的人的面部，并且随后将图像捕获设备117的焦点重新定位到具有与感兴趣的用户的面部匹配的面部的人。替代地，控制器210从包括感兴趣的用户的捕获的视频数据中提取色度图，并重新定位图像捕获设备117的焦点，使得提取的色度图保持被包括在图像捕获设备117捕获的视频数据中。在一些实施例中，控制器 210接收标识感兴趣的用户的信息，并随后修改图像捕获设备117以跟踪所标识的人或对象，允许图像捕获设备117捕获的视频数据跟踪所标识的人或对象的移动。
在各种实施例中，观看用户向在线***140提供修改由接收客户端设备110B的显示设备115呈现的视频数据的附加指令，在线***140向发送客户端设备110A发送这些指令。基于来自在线***140的指令，发送客户端设备110A的控制器210修改图像捕获设备117的一个或更多个参数，或者修改图像捕获设备117捕获405的视频数据。例如，观看用户经由在线***140提供的指令使得控制器210配置发送客户端设备110A的图像捕获设备117，使得当感兴趣的用户在图像捕获设备117的视场内移动时重新定位图像捕获设备117。作为另一示例，观看用户经由在线*** 140提供的指令标识在由发送客户端设备110A的图像捕获设备117捕获 405的视频数据内并且经由接收客户端设备110B呈现的对象。当发送客户端设备110A从在线***140接收指令时，控制器210修改捕获的视频数据或修改图像捕获设备117的一个或更多个参数，使得随后提供给附加客户端设备110的捕获的视频数据包括所标识的对象。这允许观看用户向发送客户端设备110A提供修改由发送客户端设备110A的图像捕获设备117 捕获并且经由接收客户端设备110B呈现给观看用户的视频数据的指令。在各种实施例中，观看用户可以向在线***140提供指令，用于与发送客户端设备110A进行通信，以修改由发送客户端设备110A捕获的视频数据，而无需从由发送客户端设备110A捕获并由接收客户端设备110B呈现425 的视频数据中识别感兴趣的用户。这允许观看用户改变由发送客户端设备 110A捕获405的视频数据。
结论
为了说明的目的提出了本公开的实施例的前述描述；它并不旨在是无遗漏的或将专利权利限制到所公开的精确形式。相关领域中的技术人员可以认识到，按照上面的公开，许多修改和变化是可能的。
本描述的一些部分从对信息的操作的算法和符号表示方面描述了实施例。这些算法描述和表示通常被数据处理领域的技术人员用来向本领域的其他技术人员有效地传达他们工作的实质。虽然在功能上、计算上或逻辑上对这些操作进行了描述，但这些操作应被理解为由计算机程序或等效电路、微代码等来实现。此外，将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件、硬件或其任何组合中。
可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现本文描述的任何步骤、操作或过程。在一个实施例中，利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块，计算机程序代码可以由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。
实施例也可以涉及用于执行本文的操作的装置。该装置可以被特别构造成用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性的、有形的计算机可读存储介质、或者适于存储电子指令的任何类型的介质中，这些介质可以耦合到计算机***总线。此外，说明书中提到的任何计算***可以包括单个处理器，或者可以是采用多处理器设计以提高计算能力的体系结构。
实施例也可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括由计算过程产生的信息，其中信息被存储在非暂时性的、有形的计算机可读介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。
最后，在说明书中使用的语言主要为了可读性和指导目的而被选择，并且它可以不被选择来描绘或限制专利权利。因此，意图是本专利权利的范围不受该详细描述限制，而是受在基于此的申请上所发布的任何权利要求限制。因此，实施方案的公开内容意图对本专利权利的范围是说明性的，而不是限制性的，在所附的权利要求中阐述了本专利权利的范围。
根据本发明的实施例在涉及方法和计算机程序产品的所附权利要求中被具体公开，其中，在一个权利要求类别(例如方法)中提到的任何特征也可以在另一个权利要求类别(例如计算机程序产品、***、存储介质) 中被要求保护。所附权利要求中的从属性或往回引用仅出于形式原因被选择。然而，也可以要求保护由对任何前面权利要求的有意往回引用(特别是多项引用)而产生的任何主题，使得权利要求及其特征的任何组合被公开并且可以被要求保护，而不考虑在所附的权利要求中选择的从属性。可以被要求保护的主题不仅包括如在所附的权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的任何实施例和特征可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。
在根据本发明的实施例中，一种计算机实现的方法可以包括：
提供在被包括在客户端设备中的图像捕获设备的视场内的局部区域的捕获的视频数据，该视频数据包括在线***的一个或更多个用户；
将由客户端维护的一个或更多个模型应用于捕获的视频数据的特性；
对被包括在捕获的视频数据中的在线***的一个或更多个用户进行定位；
将视频数据发送到在线***；
从在线***接收标识在捕获的视频数据内的感兴趣的用户的信息；
修改图像捕获设备的一个或更多个参数，以修改图像捕获设备随后捕获的视频数据，裁剪或缩放该视频数据中包括感兴趣的用户的部分，以更显著地包括感兴趣的用户；以及
将由图像捕获设备使用修改后的一个或更多个参数而随后捕获的视频数据发送到在线***。
修改图像捕获设备的一个或更多个参数，以修改图像捕获设备随后捕获的视频数据，裁剪或缩放该视频数据中包括感兴趣的用户的部分，以更显著地包括感兴趣的用户，可以包括：
增加图像捕获设备随后捕获的视频数据中包括感兴趣的用户的部分的放大率。
修改图像捕获设备的一个或更多个参数，以修改图像捕获设备随后捕获的视频数据，裁剪或缩放该视频数据中包括感兴趣的用户的部分，以更显著地包括感兴趣的用户，可以包括：
修改图像捕获设备随后捕获的视频数据，以移除图像捕获设备随后捕获的视频数据中不包括感兴趣的用户的一个或更多个部分。
修改图像捕获设备的一个或更多个参数，以修改图像捕获设备随后捕获的视频数据，裁剪或缩放该视频数据中包括感兴趣的用户的部分，以更显著地包括感兴趣的用户，可以包括：
在由图像捕获设备捕获的视频数据中识别感兴趣的用户；以及
将图像捕获设备的焦点重新定位到感兴趣的用户。
在由图像捕获设备捕获的视频数据中识别感兴趣的用户可以包括：
应用一个或更多个面部辨识模型来在由图像捕获设备捕获的视频数据中识别感兴趣的用户。
在由图像捕获设备捕获的视频数据中识别感兴趣的用户可以包括：
从捕获的视频数据的包括感兴趣的用户的部分中提取色度图。
在根据本发明的实施例中，一种计算机实现的方法可以包括：
从在线***接收修改由图像捕获设备捕获的附加视频数据的指令；以及
响应于所接收的指令而修改图像捕获设备的一个或更多个参数。
响应于所接收的指令而修改图像捕获设备的一个或更多个参数可以包括：
当感兴趣的用户在图像捕获设备的视场内移动时，重新定位图像捕获设备。
修改图像捕获设备的一个或更多个参数，以修改图像捕获设备随后捕获的视频数据，裁剪或缩放该视频数据中包括感兴趣的用户的部分，以更显著地包括感兴趣的用户，可以包括：
将一个或更多个模型应用于图像捕获设备随后捕获的视频数据，该一个或更多个模型识别感兴趣的用户的移动；以及
基于所识别的感兴趣的用户的移动来修改图像捕获设备的视场。
在根据本发明的实施例中，一种计算机实现的方法可以包括：
在在线***处接收在被包括在客户端设备中的图像捕获设备的视场内的局部区域的视频数据，该视频数据包括在线***的一个或更多个用户；
检索标识被包括在视频数据中的在线***的一个或更多个用户的信息；
识别在线***的观看用户；
将视频数据和标识被包括在视频数据中的在线***的一个或更多个用户的信息发送到与观看用户相关联的附加客户端设备；
从附加客户端设备接收标识被包括在视频数据中的在线***的一个或更多个用户中的感兴趣的用户的信息；
将标识感兴趣的用户的信息发送到客户端设备；
接收由客户端设备的图像捕获设备捕获的附加视频数据，该附加视频数据包括已经被裁剪或缩放以更显著地显示感兴趣的用户的、包括感兴趣的用户的部分；以及
将附加视频数据发送到附加客户端设备。
检索标识被包括在视频数据中的在线***的一个或更多个用户的信息可以包括：
识别被包括在在线***中的、经由在线***关连到观看用户的在线***的用户；以及
检索标识被包括在在线***中的、经由在线***关连到观看用户的在线***的用户的信息。
检索标识被包括在视频数据中的在线***的一个或更多个用户的信息可以包括：
识别被包括在在线***中的、经由在线***关连到观看用户的在线***的用户；以及
生成标识被包括在视频数据中的在线***的用户的信息，该信息在视觉上将被包括在视频数据中的、经由在线***关连到观看用户的用户与被包括在视频数据中的、没有经由在线***关连到观看用户的用户区分开。
检索标识被包括在视频数据中的在线***的一个或更多个用户的信息可以包括：
确定观看用户对于被包括在视频数据中的在线***的每个用户的亲和力；以及
基于观看用户对于被包括在视频数据中的在线***的每个用户的亲和力，生成标识被包括在视频数据中的在线***的每个用户的信息。
基于观看用户对于被包括在视频数据中的在线***的每个用户的亲和力，生成标识被包括在视频数据中的在线***的每个用户的信息，可以包括：
生成标识被包括在视频数据中的、观看用户对于其具有至少阈值亲和力的在线***的每个用户的信息。
基于观看用户对于被包括在视频数据中的在线***的每个用户的亲和力，生成标识被包括在视频数据中的在线***的每个用户的信息，可以包括：
基于观看用户对于被包括在视频数据中的在线***的用户的亲和力，对被包括在视频数据中的在线***的用户进行排名；以及
生成标识被包括在视频数据中的、在排名中至少具有阈值位置的在线***的每个用户的信息。
在根据本发明的实施例中，一种计算机实现的方法可以包括：
在在线***处从附加客户端设备接收修改由客户端设备的图像捕获设备捕获的视频数据的指令；
向客户端设备发送指令；
基于指令从客户端设备接收由图像捕获设备捕获的附加视频数据；以及
将附加视频数据从在线***发送到附加客户端设备。
在根据本发明的实施例中，一种计算机程序产品，该计算机程序产品包括其上编码有指令的计算机可读存储介质，这些指令当由处理器执行时，可以使处理器：
提供在被包括在客户端设备中的图像捕获设备的视场内的局部区域的捕获的视频数据，该视频数据包括在线***的一个或更多个用户；
将由客户端维护的一个或更多个模型应用于捕获的视频数据的特性；
对被包括在捕获的视频数据中的在线***的一个或更多个用户进行定位；
将视频数据发送到在线***；
从在线***接收标识在捕获的视频数据内的感兴趣的用户的信息；
修改图像捕获设备的一个或更多个参数，以修改图像捕获设备随后捕获的视频数据，裁剪或缩放该视频数据中包括感兴趣的用户的部分，以更显著地包括感兴趣的用户；以及
将由图像捕获设备使用修改后的一个或更多个参数而随后捕获的视频数据发送到在线***。
修改图像捕获设备的一个或更多个参数，以修改图像捕获设备随后捕获的视频数据，裁剪或缩放该视频数据中包括感兴趣的用户的部分，以更显著地包括感兴趣的用户，可以包括：
修改图像捕获设备随后捕获的视频数据，以移除图像捕获设备随后捕获的视频数据中不包括感兴趣的用户的一个或更多个部分。
修改图像捕获设备的一个或更多个参数，以修改图像捕获设备随后捕获的视频数据，裁剪或缩放该视频数据中包括感兴趣的用户的部分，以更显著地包括感兴趣的用户，可以包括：
在由图像捕获设备捕获的视频数据中识别感兴趣的用户；以及
将图像捕获设备的焦点重新定位到感兴趣的用户。
在根据本发明的实施例中，一个或更多个计算机可读非暂时性存储介质可以体现软件，该软件在被执行时可操作来执行根据本发明或任何上面提到的实施例的方法。
在根据本发明的实施例中，一种***可以包括：一个或更多个处理器；以及耦合到处理器并包括由处理器可执行的指令的至少一个存储器，处理器当执行指令时可操作来执行根据本发明或任何上面提到的实施例的方法。
在根据本发明的实施例中，优选地包括计算机可读非暂时性存储介质的计算机程序产品当在数据处理***上被执行时可以可操作来执行根据本发明或任何上面提到的实施例的方法。
在根据本发明的实施例中，一种方法，特别是计算机实现的方法，可以包括：
在客户端设备处维护一个或更多个模型，每个模型应用一个或更多个规则，以基于由客户端设备的图像捕获设备捕获的视频数据的特性来确定在线***的用户的身体的哪一部分位于由图像捕获设备捕获的视频数据中；
提供在被包括在客户端设备中的图像捕获设备的视场内的局部区域的捕获的视频数据；
定位被包括在所捕获的视频数据中的用户；
将一个或更多个所维护的模型应用于捕获的视频数据；
基于一个或更多个模型的应用，修改由图像捕获设备捕获的视频数据以裁剪或缩放该视频数据中包括用户的一个或更多个部分的部分；以及
将修改后的视频数据发送到在线***。
基于一个或更多个模型的应用，修改由图像捕获设备捕获的视频数据以裁剪或缩放该视频数据中包括用户的一个或更多个部分的部分，可以包括：
识别用户的身体的关节；以及
基于被包括在一个或更多个模型中的一个或更多个规则，修改由图像捕获设备捕获的视频数据，以包括与用户的身体的不同部分相对应的关节。
基于一个或更多个模型的应用，修改由图像捕获设备捕获的视频数据以裁剪或缩放该视频数据中包括用户的一个或更多个部分的部分，可以包括：
基于被包括在一个或更多个模型中的一个或更多个规则的应用，修改视频数据以包括从由以下项组成的组中选择的一项或更多项：用户的头部、用户的躯干、用户的全身、以及它们的任意组合。
该一个或更多个规则可以是基于从由以下项组成的组中选择的一项或更多项的：由图像捕获设备先前捕获的视频数据的内容、用户在由图像捕获设备先前捕获的视频数据中的移动、以及它们的任意组合。
基于一个或更多个模型的应用，修改由图像捕获设备捕获的视频数据以裁剪或缩放该视频数据中包括用户的一个或更多个部分的部分，可以包括：
从一个或更多个模型的应用中确定用户正朝着局部区域中的对象打手势；以及
减小图像捕获设备的放大率，使得由图像捕获设备捕获的附加视频数据包括该用户和该用户正朝着其打手势的对象。
基于一个或更多个模型的应用，修改由图像捕获设备捕获的视频数据以裁剪或缩放该视频数据中包括用户的一个或更多个部分的部分，可以包括：
从一个或更多个模型的应用中确定用户正持有局部区域中的对象；以及
将图像捕获设备的发声点改变到该对象，并增加图像捕获设备的放大率。
基于一个或更多个模型的应用，修改由图像捕获设备捕获的视频数据以裁剪或缩放该视频数据中包括用户的一个或更多个部分的部分，可以包括：
基于一个或更多个模型的应用，修改影响图像捕获设备的视场的图像捕获设备的一个或更多个参数。
图像捕获设备的参数可以包括图像捕获设备的放大率。
基于一个或更多个模型的应用，修改由图像捕获设备捕获的视频数据以裁剪或缩放该视频数据中包括用户的一个或更多个部分的部分，可以包括：
修改由图像捕获设备捕获的视频数据，以修改捕获的视频数据中包括所识别的用户的部分的放大率。
定位被包括在捕获的视频数据中的用户可以包括：
从在线***接收标识用户的信息；以及
基于所接收的信息，识别由图像捕获设备捕获的视频数据中包括所标识的用户的部分。
在根据本发明的实施例中，一种计算机程序产品，该计算机程序产品包括其上编码有指令的计算机可读存储介质，这些指令当由处理器执行时，可以使处理器：
在客户端设备处维护一个或更多个模型，每个模型应用一个或更多个规则，以基于由客户端设备的图像捕获设备捕获的视频数据的特性来确定用户的身体的哪一部分位于由图像捕获设备捕获的视频数据中；
提供在被包括在客户端设备中的图像捕获设备的视场内的局部区域的捕获的视频数据；
定位被包括在捕获的视频数据中的用户；
将一个或更多个所维护的模型应用于捕获的视频数据；
基于一个或更多个模型的应用，修改由图像捕获设备捕获的视频数据以裁剪或缩放该视频数据中包括用户的一个或更多个部分的部分；以及
将修改后的视频数据发送到在线***。
基于一个或更多个模型的应用，修改由图像捕获设备捕获的视频数据以裁剪或缩放该视频数据中包括用户的一个或更多个部分的部分，可以包括：
识别用户的身体的关节；以及
基于被包括在一个或更多个模型中的一个或更多个规则，修改由图像捕获设备捕获的视频数据，以包括与用户的身体的不同部分相对应的关节。
基于一个或更多个模型的应用，修改由图像捕获设备捕获的视频数据以裁剪或缩放该视频数据中包括用户的一个或更多个部分的部分，可以包括：
基于被包括在一个或更多个模型中的一个或更多个规则的应用，修改视频数据以包括从由以下项组成的组中选择的一项或更多项：用户的头部、用户的躯干、用户的全身、以及它们的任意组合。
该一个或更多个规则可以是基于从由以下项组成的组中选择的一项或更多项的：由图像捕获设备先前捕获的视频数据的内容、用户在由图像捕获设备先前捕获的视频数据中的移动、以及它们的任意组合。
基于一个或更多个模型的应用，修改由图像捕获设备捕获的视频数据以裁剪或缩放该视频数据中包括用户的一个或更多个部分的部分，可以包括：
从一个或更多个模型的应用中确定用户正朝着局部区域中的对象打手势；以及
减小图像捕获设备的放大率，使得由图像捕获设备捕获的附加视频数据包括该用户和该用户正朝着其打手势的对象。
基于一个或更多个模型的应用，修改由图像捕获设备捕获的视频数据以裁剪或缩放该视频数据中包括用户的一个或更多个部分的部分，可以包括：
从一个或更多个模型的应用中确定用户正持有局部区域中的对象；以及
将图像捕获设备的发声点改变到该对象，并增加图像捕获设备的放大率。
基于一个或更多个模型的应用，修改由图像捕获设备捕获的视频数据以裁剪或缩放该视频数据中包括用户的一个或更多个部分的部分，可以包括：
基于一个或更多个模型的应用，修改影响图像捕获设备的视场的图像捕获设备的一个或更多个参数。
图像捕获设备的参数可以包括图像捕获设备的放大率。
基于一个或更多个模型的应用，修改由图像捕获设备捕获的视频数据以裁剪或缩放该视频数据中包括用户的一个或更多个部分的部分，可以包括：
修改由图像捕获设备捕获的视频数据，以修改所捕获的视频数据中包括用户的部分的放大率。
定位被包括在所捕获的视频数据中的用户可以包括：
从在线***接收标识用户的信息；以及
基于所接收的信息，识别由图像捕获设备捕获的视频数据中包括所标识的用户的部分。
在根据本发明的实施例中，一个或更多个计算机可读非暂时性存储介质可以体现软件，该软件在被执行时可操作来执行根据本发明或任何上面提到的实施例的方法。
在根据本发明的实施例中，一种***可以包括：一个或更多个处理器；以及耦合到处理器并包括由处理器可执行的指令的至少一个存储器，处理器当执行指令时可操作来执行根据本发明或任何上面提到的实施例的方法。
在根据本发明的实施例中，优选地包括计算机可读非暂时性存储介质的计算机程序产品当在数据处理***上被执行时可以可操作来执行根据本发明或任何上面提到的实施例的方法。
在根据本发明的实施例中，一种方法，特别是计算机实现的方法，可以包括：
在客户端设备处维护一个或更多个模型，每个模型应用一个或更多个规则，以在由客户端设备的图像捕获设备捕获的视频数据中定位用户，并确定一个或更多个被定位的用户在所捕获的视频数据中显示；
提供在被包括在客户端设备中的图像捕获设备的视场内的局部区域的所捕获的视频数据；
在所捕获的视频数据中定位多个用户；
将一个或更多个所维护的模型应用于所捕获的视频数据；
基于一个或更多个所维护的模型的应用来修改所捕获的视频数据以显示一个或更多个被定位的用户；以及
将修改后的视频数据从客户端设备发送到在线***。
基于一个或更多个所维护的模型的应用来修改所捕获的视频数据以显示一个或更多个被定位的用户可以包括：
基于一个或更多个所维护的模型的应用来修改图像捕获设备的一个或更多个参数；以及
使用图像捕获设备的修改后的一个或更多个参数来捕获局部区域的附加视频数据。
基于一个或更多个所维护的模型的应用来修改所捕获的视频数据以显示一个或更多个被定位的用户可以包括：
从一个或更多个所维护的模型的应用中确定所捕获的视频数据内被定位的用户的注视朝向的位置；以及
将图像捕获设备的焦点修改为至少阈值数量的被定位的用户的注视所朝向的被定位的用户人。
基于一个或更多个所维护的模型的应用来修改所捕获的视频数据以显示一个或更多个被定位的用户可以包括：
确定在所捕获的视频数据内定位的不同用户之间的距离；以及
修改图像捕获设备的焦点，使得附加捕获的视频数据包括在彼此的阈值距离内的用户。
基于一个或更多个所维护的模型的应用来修改所捕获的视频数据以显示一个或更多个被定位的用户可以包括：
经由被包括在客户端设备中的音频捕获设备来捕获音频数据；
通过将一个或更多个所维护的模型应用于所捕获的音频数据和所捕获的视频数据来确定在局部区域内的音频数据源；
确定在局部区域内的音频数据源是用户；以及
响应于确定在局部区域内的音频数据源是用户，将图像捕获设备的焦点修改为音频数据源。
基于一个或更多个所维护的模型的应用来修改所捕获的视频数据以显示一个或更多个被定位的用户可以包括：
从一个或更多个所维护的模型的应用中识别被定位的用户的移动；以及
基于所识别的被定位的用户的移动来修改图像捕获设备的视场。
从一个或更多个所维护的模型的应用中识别被定位的用户的移动可以包括：
识别被定位的用户正朝着被包括在局部区域中的对象打手势。
修改图像捕获设备的视场可以包括：
减小图像捕获设备的放大率，使得由图像捕获设备捕获的附加视频数据包括被定位的用户和该被定位的用户正朝着其打手势的对象。
从一个或更多个所维护的模型的应用中识别被定位的用户的移动可以包括：
从一个或更多个所维护的模型的应用中确定被定位的用户正持有局部区域中的对象。
修改图像捕获设备的视场可以包括：
将图像捕获设备的焦点改变到对象，并增加图像捕获设备的放大率。
基于一个或更多个所维护的模型的应用来修改所捕获的视频数据以显示一个或更多个被定位的用户可以包括：
修改所捕获的视频数据，使得每个被定位的用户在所捕获的视频数据内以至少一组阈值尺寸呈现至少阈值量的时间。
基于一个或更多个所维护的模型的应用来修改所捕获的视频数据以显示一个或更多个被定位的用户可以包括：
修改所捕获的视频数据，使得每个被定位的用户在所捕获的视频数据内呈现至少阈值量的时间。
基于一个或更多个所维护的模型的应用来修改所捕获的视频数据以显示一个或更多个被定位的用户可以包括：
从一个或更多个所维护的模型的应用中识别在所捕获的视频数据内的用户的面部；
修改所捕获的视频数据以移除所捕获的视频数据中不包括用户的面部的部分。
基于一个或更多个所维护的模型的应用来修改所捕获的视频数据以显示一个或更多个被定位的用户可以包括：
修改所捕获的视频数据以包括每一个被定位的用户。
基于一个或更多个所维护的模型的应用来修改所捕获的视频数据以显示一个或更多个被定位的用户可以包括：
通过应用一个或更多个所维护的模型来稳定所捕获的视频数据。
基于一个或更多个所维护的模型的应用来修改所捕获的视频数据以显示一个或更多个被定位的用户可以包括：
将在所捕获的视频数据内的被定位的用户与描述被包括在所捕获的视频数据中的用户的存储数据进行比较，该存储数据描述的用户先前已被所捕获的视频数据以至少一组阈值尺寸呈现；以及
响应于比较确定所识别的用户与被包括在所捕获的视频数据中的、先前已被所捕获的视频数据以至少一组阈值尺寸的用户不匹配，修改所捕获的视频数据以显著地呈现被定位的人。
在根据本发明的实施例中，一种计算机程序产品，该计算机程序产品包括其上编码有指令的计算机可读存储介质，这些指令当由处理器执行时，可以使处理器：
在客户端设备处维护一个或更多个模型，每个模型应用一个或更多个规则，以在由客户端设备的图像捕获设备捕获的视频数据中定位用户，并根据视频数据的特性确定一个或更多个被定位的用户在所捕获的视频数据中显示；
捕获在被包括在客户端设备中的图像捕获设备的视场内的局部区域的视频数据；
在所捕获的视频数据中定位多个用户；
将一个或更多个所维护的模型应用于所捕获的视频数据；
基于一个或更多个所维护的模型的应用来修改所捕获的视频数据以显示一个或更多个被定位的用户；以及
将修改后的视频数据从客户端设备发送到在线***。
基于一个或更多个所维护的模型的应用来修改所捕获的视频数据以显示一个或更多个被定位的用户可以包括：
从一个或更多个所维护的模型的应用中确定所捕获的视频数据内被定位的用户的注视朝向的位置；以及
将图像捕获设备的焦点修改为至少阈值数量的被识别的人的注视所朝向的被定位的人。
基于一个或更多个所维护的模型的应用来修改所捕获的视频数据以显示一个或更多个被定位的用户可以包括：
确定在所捕获的视频数据内定位的不同用户之间的距离；以及
修改图像捕获设备的焦点，使得附加捕获的视频数据包括彼此在阈值距离内的人。
基于一个或更多个所维护的模型的应用来修改所捕获的视频数据以显示一个或更多个被定位的用户可以包括：
经由被包括在客户端设备中的音频捕获设备来捕获音频数据；
通过将一个或更多个所维护的模型应用于所捕获的音频数据和所捕获的视频数据来确定在局部区域内的音频数据源；
确定在局部区域内的音频数据源是被定位的用户；以及
响应于确定在局部区域内的音频数据源是被定位的用户，将图像捕获设备的焦点修改为音频数据源。
在根据本发明的实施例中，一个或更多个计算机可读非暂时性存储介质可以体现软件，该软件在被执行时可操作来执行根据本发明或任何上面提到的实施例的方法。
在根据本发明的实施例中，一种***可以包括：一个或更多个处理器；以及耦合到处理器并包括由处理器可执行的指令的至少一个存储器，处理器当执行指令时可操作来执行根据本发明或任何上面提到的实施例的方法。
在根据本发明的实施例中，优选地包括计算机可读非暂时性存储介质的计算机程序产品当在数据处理***上被执行时可以可操作来执行根据本发明或任何上面提到的实施例的方法。

Claims (19)

1.一种计算机实现的方法，包括：
提供在被包括在客户端设备中的图像捕获设备的视场内的局部区域的捕获的第一视频数据，所述第一视频数据包括在线社交网络***的一个或更多个用户；
根据由所述一个或更多个用户选择的一个或更多个隐私设置，通过将由所述客户端设备维护的一个或更多个模型应用于所述捕获的第一视频数据的特性，对被包括在所述捕获的第一视频数据中的所述在线社交网络***的所述一个或更多个用户进行定位；
将所述第一视频数据和所定位的一个或更多个用户从所述客户端设备发送到所述在线社交网络***；
经由所述在线社交网络***，接收标识在所述捕获的第一视频数据内的所定位的一个或更多个用户中的感兴趣的用户的信息；
根据由所述感兴趣的用户选择的一个或更多个隐私设置，修改所述图像捕获设备的一个或更多个参数，以修改所述图像捕获设备随后捕获的第二视频数据，裁剪或缩放该第二视频数据中包括所标识的感兴趣的用户的部分，以更显著地包括所标识的感兴趣的用户；以及
将由所述图像捕获设备使用修改后的一个或更多个参数而随后捕获的所述第二视频数据从所述客户端设备发送到所述在线社交网络***。
2.根据权利要求1所述的计算机实现的方法，其中，修改所述图像捕获设备的一个或更多个参数，以修改所述图像捕获设备随后捕获的所述第二视频数据，裁剪或缩放该第二视频数据中包括所标识的感兴趣的用户的部分，以更显著地包括所标识的感兴趣的用户，包括：
增加所述图像捕获设备随后捕获的所述第二视频数据中包括所标识的感兴趣的用户的部分的放大率。
3.根据权利要求1或权利要求2所述的计算机实现的方法，其中，修改所述图像捕获设备的一个或更多个参数，以修改所述图像捕获设备随后捕获的所述第二视频数据，裁剪或缩放该第二视频数据中包括所标识的感兴趣的用户的部分，以更显著地包括所标识的感兴趣的用户，包括：
修改所述图像捕获设备随后捕获的所述第二视频数据，以移除所述图像捕获设备随后捕获的所述第二视频数据中不包括所标识的感兴趣的用户的一个或更多个部分。
4.根据权利要求1至3中任一项所述的计算机实现的方法，其中，修改所述图像捕获设备的一个或更多个参数，以修改所述图像捕获设备随后捕获的所述第二视频数据，裁剪或缩放该第二视频数据中包括所标识的感兴趣的用户的部分，以更显著地包括所标识的感兴趣的用户，包括：
在由所述图像捕获设备捕获的所述第二视频数据中标识所述感兴趣的用户；以及
将所述图像捕获设备的焦点重新定位到所标识的感兴趣的用户。
5.根据权利要求4所述的计算机实现的方法，其中，在由所述图像捕获设备捕获的所述第二视频数据中标识所述感兴趣的用户包括：
应用一个或更多个面部辨识模型来在由所述图像捕获设备捕获的所述第二视频数据中标识所述感兴趣的用户。
6.根据权利要求4所述的计算机实现的方法，其中，在由所述图像捕获设备捕获的所述第二视频数据中标识所述感兴趣的用户包括：
从所述捕获的第二视频数据的包括所述感兴趣的用户的部分中提取色度图。
7.根据权利要求1至6中任一项所述的计算机实现的方法，还包括：
从所述在线社交网络***接收修改由所述图像捕获设备捕获的附加视频数据的指令；以及
响应于所接收的指令而修改所述图像捕获设备的一个或更多个参数。
8.根据权利要求7所述的计算机实现的方法，其中，响应于所接收的指令而修改所述图像捕获设备的一个或更多个参数包括：
当所标识的感兴趣的用户在所述图像捕获设备的视场内移动时，重新定位所述图像捕获设备。
9.根据权利要求1至8中任一项所述的计算机实现的方法，其中，修改所述图像捕获设备的一个或更多个参数，以修改所述图像捕获设备随后捕获的所述第二视频数据，裁剪或缩放该第二视频数据中包括所标识的感兴趣的用户的部分，以更显著地包括所标识的感兴趣的用户，包括：
将一个或更多个模型应用于所述图像捕获设备随后捕获的所述第二视频数据，所述一个或更多个模型标识所标识的感兴趣的用户的移动；以及
基于所标识的感兴趣的用户的所标识的移动来修改所述图像捕获设备的视场。
10.一种计算机实现的方法，包括：
在在线社交网络***处接收在被包括在客户端设备中的图像捕获设备的视场内的局部区域的第一视频数据，所述第一视频数据包括在线社交网络***的一个或更多个用户；
根据由所述一个或更多个用户选择的一个或更多个隐私设置，检索标识被包括在所述第一视频数据中的所述在线社交网络***的所述一个或更多个用户的信息；
标识所述在线社交网络***的观看用户；
将所述第一视频数据和标识被包括在所述第一视频数据中的所述在线社交网络***的所述一个或更多个用户的信息发送到与所述观看用户相关联的附加客户端设备；
从所述附加客户端设备接收标识被包括在所述第一视频数据中的所述在线社交网络***的所述一个或更多个用户中的感兴趣的用户的信息；
根据由所述感兴趣的用户选择的一个或更多个隐私设置，将标识所述感兴趣的用户的信息发送到所述客户端设备；
接收由所述客户端设备的所述图像捕获设备捕获的第二视频数据，所述第二视频数据包括已经被裁剪或缩放以更显著地显示所标识的感兴趣的用户的、包括所标识的感兴趣的用户的部分；以及
将所述第二视频数据发送到所述附加客户端设备。
11.根据权利要求10所述的计算机实现的方法，其中，检索标识被包括在所述第一视频数据中的所述在线社交网络***的所述一个或更多个用户的信息包括：
标识被包括在所述在线社交网络***中的、经由所述在线社交网络***关连到所述观看用户的所述在线社交网络***的用户；以及
检索标识被包括所述在线社交网络***中的、经由所述在线社交网络***关连到所述观看用户的所述在线社交网络***的用户的信息。
12.根据权利要求10或权利要求11所述的计算机实现的方法，其中，检索标识被包括在所述第一视频数据中的所述在线社交网络***的所述一个或更多个用户的信息包括：
标识被包括在所述在线社交网络***中的、经由所述在线社交网络***关连到所述观看用户的所述在线社交网络***的用户；以及
生成标识被包括在所述第一视频数据中的所述在线社交网络***的用户的信息，该信息在视觉上将被包括在所述第一视频数据中的、经由所述在线社交网络***关连到所述观看用户的用户与被包括在所述第一视频数据中的、没有经由所述在线社交网络***关连到所述观看用户的用户区分开。
13.根据权利要求10至12中任一项所述的计算机实现的方法，其中，检索标识被包括在所述第一视频数据中的所述在线社交网络***的所述一个或更多个用户的信息包括：
确定所述观看用户对于被包括在所述第一视频数据中的所述在线社交网络***的每个用户的亲和力；以及
基于所述观看用户对于被包括在所述第一视频数据中的所述在线社交网络***的每个用户的所述亲和力，生成标识被包括在所述第一视频数据中的所述在线社交网络***的每个用户的信息。
14.根据权利要求13所述的计算机实现的方法，其中，基于所述观看用户对于被包括在所述第一视频数据中的所述在线社交网络***的每个用户的所述亲和力，生成标识被包括在所述第一视频数据中的所述在线社交网络***的每个用户的信息，包括：
生成标识被包括在所述第一视频数据中的、所述观看用户对于其具有至少阈值亲和力的所述在线社交网络***的每个用户的信息。
15.根据权利要求13所述的计算机实现的方法，其中，基于所述观看用户对于被包括在所述第一视频数据中的所述在线社交网络***的每个用户的所述亲和力，生成标识被包括在所述第一视频数据中的所述在线社交网络***的每个用户的信息，包括：
基于所述观看用户对于被包括在所述第一视频数据中的所述在线社交网络***的用户的所述亲和力，对被包括在所述第一视频数据中的所述在线社交网络***的用户进行排名；以及
生成标识被包括在所述第一视频数据中的、在所述排名中至少具有阈值位置的所述在线社交网络***的每个用户的信息。
16.根据权利要求10至15中任一项所述的计算机实现的方法，还包括：
在所述在线社交网络***处从所述附加客户端设备接收修改由所述客户端设备的所述图像捕获设备捕获的视频数据的指令；
向所述客户端设备发送所述指令；
基于所述指令从所述客户端设备接收由所述图像捕获设备捕获的第二视频数据；以及
将所述第二视频数据从所述在线社交网络***发送到所述附加客户端设备。
17.一种计算机可读存储介质，其上编码有指令，所述指令当由处理器执行时，使所述处理器：
提供在被包括在客户端设备中的图像捕获设备的视场内的局部区域的捕获的第一视频数据，所述第一视频数据包括在线社交网络***的一个或更多个用户；
根据由所述一个或更多个用户选择的一个或更多个隐私设置，通过将由所述客户端设备维护的一个或更多个模型应用于所述捕获的第一视频数据的特性，对被包括在所述捕获的第一视频数据中的所述在线社交网络***的所述一个或更多个用户进行定位；
将所述第一视频数据和所定位的一个或更多个用户从所述客户端设备发送到所述在线社交网络***；
经由所述在线社交网络***，接收标识在所述捕获的第一视频数据内的所定位的一个或更多个用户中的感兴趣的用户的信息；
根据由所述感兴趣的用户选择的一个或更多个隐私设置，修改所述图像捕获设备的一个或更多个参数，以修改所述图像捕获设备随后捕获的第二视频数据，裁剪或缩放该第二视频数据中包括所标识的感兴趣的用户的部分，以更显著地包括所标识的感兴趣的用户；以及
将由所述图像捕获设备使用修改后的一个或更多个参数而随后捕获的所述第二视频数据从所述客户端设备发送到所述在线社交网络***。
18.根据权利要求17所述的计算机可读存储介质，其中，修改所述图像捕获设备的一个或更多个参数，以修改所述图像捕获设备随后捕获的所述第二视频数据，裁剪或缩放该第二视频数据中包括所标识的感兴趣的用户的部分，以更显著地包括所标识的感兴趣的用户，包括：
修改所述图像捕获设备随后捕获的所述第二视频数据，以移除所述图像捕获设备随后捕获的所述第二视频数据中不包括所标识的感兴趣的用户的一个或更多个部分。
19.根据权利要求17或权利要求18所述的计算机可读存储介质，其中，修改所述图像捕获设备的一个或更多个参数，以修改所述图像捕获设备随后捕获的所述第二视频数据，裁剪或缩放该第二视频数据中包括所标识的感兴趣的用户的部分，以更显著地包括所标识的感兴趣的用户，包括：
在由所述图像捕获设备捕获的所述第二视频数据中标识所述感兴趣的用户；以及
将所述图像捕获设备的焦点重新定位到所标识的感兴趣的用户。
CN201880071766.5A 2017-09-05 2018-09-05 一种计算机实现的方法及存储介质 Active CN111316656B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310329426.0A CN116193175A (zh) 2017-09-05 2018-09-05 一种计算机实现的方法及存储介质
CN202310329439.8A CN116208791A (zh) 2017-09-05 2018-09-05 一种计算机实现的方法及存储介质

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201762554564P 2017-09-05 2017-09-05
US62/554,564 2017-09-05
US201715856108A 2017-12-28 2017-12-28
US201715856109A 2017-12-28 2017-12-28
US201715856105A 2017-12-28 2017-12-28
US15/856,108 2017-12-28
US15/856,109 2017-12-28
US15/856,105 2017-12-28
US16/121,060 US10805521B2 (en) 2017-09-05 2018-09-04 Modifying capture of video data by an image capture device based on video data previously captured by the image capture device
US16/121,081 US10868955B2 (en) 2017-09-05 2018-09-04 Modifying capture of video data by an image capture device based on video data previously captured by the image capture device
US16/121,087 2018-09-04
US16/121,081 2018-09-04
US16/121,060 2018-09-04
US16/121,087 US10666857B2 (en) 2017-09-05 2018-09-04 Modifying capture of video data by an image capture device based on video data previously captured by the image capture device
PCT/US2018/049532 WO2019050938A1 (en) 2017-09-05 2018-09-05 MODIFICATION OF VIDEO DATA CAPTURE BY AN IMAGE CAPTURE DEVICE BASED ON VIDEO DATA PRIOR TO CAPTURING BY THE IMAGE CAPTURE DEVICE

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202310329439.8A Division CN116208791A (zh) 2017-09-05 2018-09-05 一种计算机实现的方法及存储介质
CN202310329426.0A Division CN116193175A (zh) 2017-09-05 2018-09-05 一种计算机实现的方法及存储介质

Publications (2)

Publication Number Publication Date
CN111316656A CN111316656A (zh) 2020-06-19
CN111316656B true CN111316656B (zh) 2023-03-28

Family

ID=65635185

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202310329439.8A Pending CN116208791A (zh) 2017-09-05 2018-09-05 一种计算机实现的方法及存储介质
CN201880071766.5A Active CN111316656B (zh) 2017-09-05 2018-09-05 一种计算机实现的方法及存储介质
CN202310329426.0A Pending CN116193175A (zh) 2017-09-05 2018-09-05 一种计算机实现的方法及存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310329439.8A Pending CN116208791A (zh) 2017-09-05 2018-09-05 一种计算机实现的方法及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310329426.0A Pending CN116193175A (zh) 2017-09-05 2018-09-05 一种计算机实现的方法及存储介质

Country Status (5)

Country Link
EP (1) EP3679722A4 (zh)
JP (3) JP7258857B2 (zh)
KR (1) KR20200039814A (zh)
CN (3) CN116208791A (zh)
WO (1) WO2019050938A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2884438B1 (fr) * 2005-04-19 2007-08-03 Commissariat Energie Atomique Procede d'extraction d'au moins un compose d'une phase liquide comprenant un liquide ionique fonctionnalise, et systeme microfluidique pour la mise en oeuvre de ce procede.
KR20220107860A (ko) * 2021-01-26 2022-08-02 삼성전자주식회사 화면 캡쳐를 수행하는 전자 장치 및 전자 장치에서 화면을 캡쳐하는 방법
WO2023087215A1 (en) * 2021-11-18 2023-05-25 Citrix Systems, Inc. Online meeting non-participant detection and remediation
KR20230083101A (ko) * 2021-12-02 2023-06-09 삼성전자주식회사 디스플레이 장치에서 재생 중인 콘텐트를 편집하는 방법 및 이를 위한 전자 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101606039B (zh) * 2007-01-08 2012-05-30 微软公司 根据用户参数的动态地图呈现

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8510283B2 (en) * 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
KR100703699B1 (ko) * 2005-02-05 2007-04-05 삼성전자주식회사 다자간 화상 통신을 제공하는 장치 및 방법
US8085302B2 (en) * 2005-11-21 2011-12-27 Microsoft Corporation Combined digital and mechanical tracking of a person or object using a single video camera
US20070198632A1 (en) * 2006-02-03 2007-08-23 Microsoft Corporation Transferring multimedia from a connected capture device
US8284990B2 (en) * 2008-05-21 2012-10-09 Honeywell International Inc. Social network construction based on data association
JP4569670B2 (ja) * 2008-06-11 2010-10-27 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5495855B2 (ja) * 2010-03-01 2014-05-21 キヤノン株式会社 映像処理装置及び映像処理方法
CN102196087A (zh) * 2010-03-12 2011-09-21 中兴通讯股份有限公司 镜头控制方法及终端
US8626847B2 (en) * 2010-04-30 2014-01-07 American Teleconferencing Services, Ltd. Transferring a conference session between client devices
US20120204225A1 (en) * 2011-02-08 2012-08-09 Activepath Ltd. Online authentication using audio, image and/or video
US20120233076A1 (en) * 2011-03-08 2012-09-13 Microsoft Corporation Redeeming offers of digital content items
KR20140099111A (ko) * 2013-02-01 2014-08-11 삼성전자주식회사 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치
US9558555B2 (en) * 2013-02-22 2017-01-31 Leap Motion, Inc. Adjusting motion capture based on the distance between tracked objects
US9923979B2 (en) * 2013-06-27 2018-03-20 Google Llc Systems and methods of determining a geographic location based conversion
JP6429454B2 (ja) * 2013-11-28 2018-11-28 キヤノン株式会社 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
JP2015115741A (ja) * 2013-12-11 2015-06-22 キヤノンマーケティングジャパン株式会社 画像管理装置、画像管理方法およびプログラム
US10235587B2 (en) * 2014-03-04 2019-03-19 Samsung Electronics Co., Ltd. Method and system for optimizing an image capturing boundary in a proposed image
US9576343B2 (en) * 2014-11-10 2017-02-21 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for a content-adaptive photo-enhancement recommender
JP6486656B2 (ja) * 2014-11-11 2019-03-20 オリンパス株式会社 撮像装置
US10244175B2 (en) * 2015-03-09 2019-03-26 Apple Inc. Automatic cropping of video content
EP3292677B1 (en) * 2015-05-05 2023-11-01 Penguin Computing, Inc. Ultra-low latency remote application access
US9860451B2 (en) * 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US20160366330A1 (en) * 2015-06-11 2016-12-15 Martin Paul Boliek Apparatus for processing captured video data based on capture device orientation
US9621795B1 (en) * 2016-01-08 2017-04-11 Microsoft Technology Licensing, Llc Active speaker location detection
JP6241802B1 (ja) * 2017-01-20 2017-12-06 パナソニックＩｐマネジメント株式会社 映像配信システム、ユーザ端末装置および映像配信方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101606039B (zh) * 2007-01-08 2012-05-30 微软公司 根据用户参数的动态地图呈现

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于位置社交网络的地点推荐算法;袁适之等;《计算机应用研究》;20150929;第第33卷卷(第07期);第2003-2006页 *

Also Published As

Publication number Publication date
JP7258857B2 (ja) 2023-04-17
WO2019050938A1 (en) 2019-03-14
CN111316656A (zh) 2020-06-19
JP2023098930A (ja) 2023-07-11
EP3679722A1 (en) 2020-07-15
JP2020532903A (ja) 2020-11-12
EP3679722A4 (en) 2020-07-15
JP2023098931A (ja) 2023-07-11
KR20200039814A (ko) 2020-04-16
CN116208791A (zh) 2023-06-02
CN116193175A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
US10971158B1 (en) Designating assistants in multi-assistant environment based on identified wake word received from a user
US11558543B2 (en) Modifying capture of video data by an image capture device based on video data previously captured by the image capture device
US10805521B2 (en) Modifying capture of video data by an image capture device based on video data previously captured by the image capture device
CN111316656B (zh) 一种计算机实现的方法及存储介质
US11166065B1 (en) Synchronizing presentation of content presented by multiple client devices
US10873697B1 (en) Identifying regions of interest in captured video data objects by detecting movement within higher resolution frames of the regions
US11418827B2 (en) Generating a feed of content for presentation by a client device to users identified in video data captured by the client device
CN109792557B (zh) 用于处理视频数据的方法及存储介质
US10721394B1 (en) Gesture activation for an image capture device
US10666857B2 (en) Modifying capture of video data by an image capture device based on video data previously captured by the image capture device
US10757347B1 (en) Modifying display of an overlay on video data based on locations of regions of interest within the video data
CN112806021B (zh) 基于捕获视频数据的另一客户端设备对视频数据的分析修改由接收客户端设备对视频数据的呈现
CN112806020A (zh) 基于向图像捕获设备标识捕获的视频数据中的感兴趣对象修改图像捕获设备对视频数据的捕获
US11381533B1 (en) Intelligent determination of whether to initiate a communication session for a user based on proximity to client device
US10812616B2 (en) Transferring an exchange of content to a receiving client device from a client device authorized to transfer a content exchange to the receiving client device
US11444943B1 (en) Exchange content between client devices when a client device determines a user is within a field of view of an image capture device of the client device and authorized to exchange content
US11100330B1 (en) Presenting messages to a user when a client device determines the user is within a field of view of an image capture device of the client device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan platform Co.

Address before: California, USA

Applicant before: Facebook, Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant