CN111935532A - 视频的交互方法、装置、电子设备及存储介质 - Google Patents

视频的交互方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111935532A
CN111935532A CN202010816324.8A CN202010816324A CN111935532A CN 111935532 A CN111935532 A CN 111935532A CN 202010816324 A CN202010816324 A CN 202010816324A CN 111935532 A CN111935532 A CN 111935532A
Authority
CN
China
Prior art keywords
video
zoom
zooming
real
playing interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010816324.8A
Other languages
English (en)
Other versions
CN111935532B (zh
Inventor
吴丰诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010816324.8A priority Critical patent/CN111935532B/zh
Publication of CN111935532A publication Critical patent/CN111935532A/zh
Application granted granted Critical
Publication of CN111935532B publication Critical patent/CN111935532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供了一种视频的交互方法、装置、电子设备及计算机可读存储介质;方法包括:在播放界面中播放视频;响应于针对所述视频的缩放操作,确定所述缩放操作在所述视频中设定的缩放位置,并将所述视频中的所述缩放位置锁定到所述播放界面的固定位置,以在所述播放界面中继续播放根据缩放比例调整后得到的缩放视频。通过本申请,能够支持用户在视频观看过程中对视频画面进行个性化地灵活缩放。

Description

视频的交互方法、装置、电子设备及存储介质
技术领域
本申请涉及互联网技术,尤其涉及一种视频的交互方法、装置、电子设备及计算机可读存储介质。
背景技术
视频作为信息传播媒介得到了广泛的运用,随着互联网技术的不断发展和数字视频采集设备的不断更新换代,视频的分辨率越来越高,视频画面包括了比以往更多的细节性内容。
视频的播放过程中往往存在观看视频画面中某一部分区域的细节的需求,但是相关技术通常只能对视频播放界面的缩放的支持不够,例如,需要暂停视频播放以进行截屏操作,进而进行缩放,或者对视频画面中的固定位置为原点进行缩放,这无法满足用户观看视频中多样化内容的细节的需求。
可见,对于实现视频中画面的灵活性的缩放,相关技术尚无有效解决方案。
发明内容
本申请实施例提供一种视频的交互方法、装置、电子设备及计算机可读存储介质,能够支持用户在视频观看过程中对视频画面进行个性化地灵活缩放。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种视频的交互方法,包括:
在播放界面中播放视频;
响应于针对所述视频的缩放操作,确定所述缩放操作在所述视频中设定的缩放位置,并
将所述视频中的所述缩放位置锁定到所述播放界面的固定位置,以在所述播放界面中继续播放根据缩放比例调整后得到的缩放视频。
本申请实施例提供一种视频的交互装置,包括:
播放模块,用于在播放界面中播放视频;
缩放模块,用于响应于针对所述视频的缩放操作,确定所述缩放操作在所述视频中设定的缩放位置;
所述缩放模块,还用于将所述视频中的所述缩放位置锁定到所述播放界面的固定位置,以在所述播放界面中继续播放根据缩放比例调整后得到的缩放视频。
在上述方案中,所述缩放模块,还用于当所述缩放操作为用于缩小的多指捏合操作或用于放大的多指展开操作时,确定所述缩放操作在所述视频的实时画面中最初的多个触点的中间位置,并将所述中间位置确定为所述缩放操作在所述视频中设定的缩放位置。
在上述方案中,所述缩放模块,还用于当所述缩放操作为点击操作时,将所述缩放操作在所述视频的实时画面中点击的位置,确定为所述缩放操作在所述视频中设定的缩放位置。
在上述方案中,所述缩放模块,还用于在所述视频的实时画面中呈现与至少一个候选缩放位置对应的按钮;响应于按钮触发操作,将被触发的按钮所对应的候选缩放位置确定为所述缩放操作在所述视频中设定的缩放位置。
在上述方案中,所述缩放模块,还用于将通过以下方式至少之一确定的位置作为所述候选缩放位置:确定观看视线在所述实时画面中的落点的位置;采集音频数据,对所述音频数据进行语音识别得到讲话文本,确定所述实时画面中与所述讲话文本相匹配的内容的位置;确定所述实时画面中的固定位置,所述固定位置包括中心位置和边缘位置;识别所述实时画面中的文字,确定字号小于字号阈值的文字所在的位置;确定所述实时画面中目标对象所在区域的中心位置;其中,所述目标对象的类型包括:互动对象和历史视频中被缩放的对象;获取所述实时画面中被设定的历史缩放位置。
在上述方案中,所述缩放模块,还用于将所述视频的后续画面中的所述放大定点位置,锁定到所述播放界面的固定位置,并播放后续画面中通过所述放大比例放大后的放大区域;其中,所述放大区域是所述视频的实时画面中以所述放大定点位置为中心的区域;其中,所述后续画面是在接收到所述缩放操作之后所述视频中待显示的实时画面。
在上述方案中,所述缩放模块,还用于执行以下操作至少之一,在所述视频的实时画面中确定以所述放大定点位置为中心的放大区域:确定所述实时画面中以所述放大定点位置为中心的多个候选区域,将与相邻的候选区域之间的内容密度的差值大于密度差值阈值的候选区域确定为所述放大区域;将所述实时画面中以所述放大定点位置为中心、且包括目标内容的区域确定为所述放大区域,其中,所述目标内容与历史视频中被放大的内容的类型相同,或者,所述目标内容中包括的文字的字号小于字号阈值;响应于以所述放大定点位置为中心的边界设定操作,根据设定的边界确定所述放大区域;当所述放大定点位置是观看视线在所述实时画面中的落点的位置时,将以所述落点的位置为中心的视场区域确定为所述放大区域。
在上述方案中,所述缩放模块,还用于确定与所述缩放操作的参数对应的缩放比例;或者,根据每次接收到的触发操作确定固定的缩放比例。
在上述方案中,所述缩放模块,还用于当所述缩放操作是针对所述视频的实时画面的多指捏合操作或多指展开操作时,确定与所述缩放操作的轨迹的长度正相关的缩放比例;当所述缩放操作是针对所述视频的实时画面的点击操作时,确定与所述缩放操作的点击次数正相关的缩放比例;当所述缩放操作是针对所述视频的实时画面的长按操作时,确定与所述长按操作的持续时长正相关的缩放比例。
在上述方案中,所述播放界面包括用于显示未缩放过的所述视频的原始视频播放界面、以及显示经过缩放的所述缩放视频的缩放视频播放界面;其中,所述原始视频播放界面和所述缩放视频播放界面的关系包括:所述原始视频播放界面和所述缩放视频播放界面被分屏显示;所述缩放视频播放界面浮层浮动于所述原始视频播放界面的顶层;所述原始视频播放界面和所述缩放视频播放界面被切换显示。
在上述方案中,当在所述播放界面中继续播放根据缩放比例调整后得到的缩放视频时,所述视频的交互装置还包括:移动模块,用于响应于针对所述缩放视频的后续画面的移动操作,确定与所述移动操作对应的新缩放位置,并将所述视频的新后续画面中的所述新缩放位置锁定到所述播放界面的固定位置,以在所述播放界面中继续播放根据缩放比例调整后得到的缩放视频;其中,所述后续画面为在接收到所述缩放操作之后所述视频中待显示的实时画面,所述新后续画面为在接收到所述移动操作之后所述视频中待显示的实时画面。
在上述方案中,所述移动模块,还用于根据所述移动操作的移动的距离和方向,对所述缩放位置进行同步地移动,将移动后得到的位置作为新缩放位置。
在上述方案中,所述播放界面是视频视图层中的视频视图,所述视频视图层的顶层设置识别器视图层;所述缩放模块,用于通过所述识别器视图层识别所述缩放操作,以确定所述缩放操作在所述视频中设定的缩放位置;根据所述缩放位置和所述缩放比例,对所述视频视图层中的视频视图进行坐标变换处理,得到根据缩放比例调整后的缩放视频的后续画面;其中,所述后续画面为在接收到所述缩放操作之后所述视频中待显示的实时画面。
本申请实施例提供一种电子设备,包括:
存储器,用于存储计算机可执行指令;
处理器,用于执行所述存储器中存储的计算机可执行指令时,实现本申请实施例提供的视频的交互方法。
本申请实施例提供一种计算机可读存储介质,存储有计算机可执行指令,用于被处理器执行时,实现本申请实施例提供的视频的交互方法。
本申请实施例具有以下有益效果:
在播放视频的过程中,支持用户对视频画面的任意位置进行缩放,相较于相关技术只能对视频画面的中心位置进行放大而言,其缩放的形式多样性更高,能够满足用户个性化需求;并且将缩放操作确定的缩放位置锁定到播放界面的固定位置来对视频进行缩放,能够保证用户指定的视频中的缩放内容始终在播放界面的固定位置呈现,从而提高缩放的有效性,进而能够避免浪费用户终端的缩放资源。
附图说明
图1A和图1B是相关技术提供的应用场景示意图;
图2是本申请实施例提供的视频的交互***100的结构示意图;
图3是本申请实施例提供的电子设备500的结构示意图;
图4A是本申请实施例提供的视频的交互方法的流程示意图;
图4B是本申请实施例提供的视频的交互方法的应用场景示意图;
图4C是本申请实施例提供的视频的交互方法的应用场景示意图;
图5是本申请实施例提供的视频的交互方法的流程示意图;
图6是本申请实施例提供的视频的交互方法的应用场景示意图;
图7A、图7B、图7C和图7D是本申请实施例提供的视频的交互方法的应用场景示意图;
图8是本申请实施例提供的视频的交互方法的原理示意图;
图9是本申请实施例提供的视频的交互方法的原理示意图;
图10A和图10B是本申请实施例提供的视频的交互方法的应用场景示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一/第二/第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
2)客户端,终端中运行的用于提供各种服务的应用程序,例如视频客户端、直播客户端或短视频客户端等。
3)缩放,是指缩小或放大,基于缩放位置对视频画面按照缩放比例(或称缩放因子)进行均匀缩小或放大。
4)缩放位置,即对视频的画面进行缩放的原点,在视频缩放时,缩放位置将被锁定到屏幕的播放界面的固定位置(例如屏幕中心位置)进行显示。
5)缩放比例,即对视频中的画面缩小或放大的比例。缩放比例包括正负两种比例,正的比例表示对原始画面放大,例如,+5%表示将原始画面扩大5%,即,将原始画面扩大为之前的105%;负的比例表示对原始画面缩小,例如,-5%表示将原始画面缩小5%,即,将原始画面缩小为之前的95%。
以在线教育的应用场景为例,相关技术中,录播课程视频支持中心点双指缩放,并且对于放大后的视频不支持单指移动查看内容。举例来说,参见图1A和图1B,图1A和图1B是相关技术提供的应用场景示意图,例如,图1A是基于视频画面的中心点101将视频画面进行放大后的效果;图1B是将视频画面进行缩小后的效果,例如,将原始视频画面102进行缩小,以在播放界面中呈现缩小后的视频画面103。
在本申请实施例中发现相关技术存在以下技术问题:1)学生在学习录播课程,只能以视频中心放大视频内容;2)放大后的视频内容不支持单指滑动查看;3)双指在缩放视频的过程中,边缩放边移动会造成视频偏移,出现无法看见的情况。
针对上述技术问题,本申请实施例提供一种视频的交互方法,能够支持用户在视频观看过程中对视频进行个性化缩放。参见图2,图2是本申请实施例提供的视频的交互***100的结构示意图。其中,视频的交互***100包括:服务器200、网络300、以及终端400,将分别进行说明。
服务器200是客户端410的后台服务器,用于响应客户端410的视频获取请求,向客户端410发送相应的视频。
网络300,用于作为服务器200和终端400之间通信的媒介,可以是广域网或者局域网,又或者是二者的组合。
终端400,用于运行客户端410,客户端410是具备视频播放功能的客户端。客户端410,用于响应用户的视频播放操作,向服务器200发送视频获取请求,以接收服务器200发送的视频,并在播放界面中播放视频;还用于响应用户针对视频的缩放操作,将缩放操作在视频中设定的缩放位置锁定到播放界面的固定位置,以在播放界面中继续播放根据缩放比例调整后得到的缩放视频。
在一些实施例中,终端400通过运行计算机程序来实现本申请实施例提供的视频的交互方法,例如,计算机程序可以是操作***中的原生程序或软件模块;可以是本地(Native)应用程序(APP,Application),即需要在操作***中安装才能运行的程序,例如视频APP或直播APP;也可以是小程序,即只需要下载到浏览器环境中就可以运行的程序;还可以是能够嵌入至任意APP中的视频小程序或直播小程序。总而言之,上述计算机程序可以是任意形式的应用程序、模块或插件。
本申请实施例可以借助于云技术(Cloud Technology)实现,云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、以及应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络***的后台服务需要大量的计算、存储资源。
作为示例,服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、以及智能手表等,但并不局限于此。终端400以及服务器200可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例中不做限制。
接下来说明本申请实施例提供的电子设备的结构,电子设备可以是图2所示的终端400,参见图3,图3是本申请实施例提供的电子设备500的结构示意图,图3所示的电子设备500包括:至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线***540耦合在一起。可理解,总线***540用于实现这些组件之间的连接通信。总线***540除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图3中将各种总线都标为总线***540。
处理器510可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器550可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
存储器550包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Me mory),易失性存储器可以是随机存取存储器(RAM,Random Access Memor y)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。
在一些实施例中,存储器550能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作***551,包括用于处理各种基本***服务和执行硬件相关任务的***程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块552,用于经由一个或多个(有线或无线)网络接口520到达其他计算设备,示例性的网络接口520包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块553,用于经由一个或多个与用户接口530相关联的输出装置531(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作***设备和显示内容和信息的用户接口);
输入处理模块554,用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的视频的交互装置可以采用软件方式实现,图3示出了存储在存储器550中的视频的交互装置555,其可以是计算机程序和插件等形式的软件,例如,视频客户端、直播客户端或短视频客户端。视频的交互装置555包括以下软件模块:播放模块5551和缩放模块5552,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
本申请实施例提供的视频的交互方法可以由图2中的终端400单独执行,也可以由图2中的终端400和服务器200协同执行。
下面,以由图2中的终端400单独执行本申请实施例提供的视频的交互方法为例说明。参见图4A,图4A是本申请实施例提供的视频的交互方法的流程示意图,将结合图4A示出的步骤进行说明。
需要说明的是,图4A示出的方法可以由终端400运行的各种形式计算机程序执行,并不局限于上述的客户端410,例如上文所述的操作***551、软件模块和脚本,因此客户端不应视为对本申请实施例的限定。
在步骤S101中,在播放界面中播放视频。
这里,视频可以是终端的本地存储的视频,也可以是从服务器中请求获取的视频。
在一些实施例中,响应于视频播放操作,向服务器发送视频获取请求,以使服务器响应于视频获取请求,并发送相应的视频;接收视频,并在播放界面中播放视频的实时画面。
在步骤S102中,响应于针对视频的缩放操作,确定缩放操作在视频中设定的缩放位置。
在一些实施例中,响应于针对视频的缩放操作,确定缩放操作在视频中的实时画面中设定的缩放位置。
这里,缩放位置是指缩放的原点。缩放操作包括缩小操作和放大操作;缩放操作可以是操作***预先设置的、且和已注册操作无冲突的各种形式的操作;也可以是用户自定义的、且和已注册操作无冲突的各种形式的操作。缩放操作包括以下至少之一:点击操作(例如单指点击操作、多指点击操作或多次连击操作等);按照特定轨迹或方向的滑动操作;语音操作;体感操作(例如上下晃动的操作或曲线运动操作等)。如此,能够提高用户的操作体验。
在一些实施例中,当缩放操作为用于缩小的多指捏合操作或用于放大的多指展开操作时,确定缩放操作在视频的实时画面中最初的多个触点的中间位置,并将中间位置确定为缩放操作在视频中设定的缩放位置。
以缩放操作是用于放大的操作(即放大操作)为例,响应于以实时画面的第一位置为起始位置、且从起始位置同时向实时画面的第二位置和第三位置滑动的操作,将第一位置确定为缩放位置。
举例来说,图7A中,支持双指延箭头701方向滑动放大左上角区域702;图7B中,支持双指延箭头703方向放大中间区域704。
以缩放操作是用于缩小的操作(即缩小操作)为例,响应于以实时画面的第二位置和第三位置为起始位置、且从起始位置同时向实时画面的第一位置滑动的操作,将第一位置确定为缩放位置。
本申请实施例支持用户通过简单的操作对视频的画面中的任意内容进行缩小和放大,不仅能够解决相关技术中“学生在学习录播课程,只能以视频中心放大视频内容”的技术问题,而且缩放的形式多样性更高,能够满足用户个性化需求。
在另一些实施例中,当缩放操作为点击操作时,将缩放操作在视频的实时画面中点击的位置,确定为缩放操作在视频中设定的缩放位置。如此,能够对用户所点击的位置附近的内容进行放大或缩小。
在又一些实施例中,在视频的实时画面中呈现与至少一个候选缩放位置对应的按钮;响应于按钮触发操作,将被触发的按钮所对应的候选缩放位置确定为缩放操作在视频中设定的缩放位置。
这里,在视频的实时画面中呈现与至少一个候选缩放位置对应的按钮之前,可以响应于针对视频的缩放模式开启操作,如此,能够在实时画面中呈现至少一个按钮,以方便用户针对对应按钮的内容进行缩放。
作为示例,将通过以下方式至少之一确定的位置作为候选缩放位置:
方式一,确定观看视线在实时画面中的落点的位置。
作为示例,在实时画面中确定观看视线的落点的过程为:调用终端的摄像装置(例如摄像头)采集观看者的瞳孔和眼球角膜外表面的反射亮斑的位置;根据观看者的瞳孔和眼球角膜外表面的反射亮斑的位置,在实时画面中确定对应于观看者视线的落点。
这里,眼球角膜外表面的反射亮斑是指普尔钦斑(Purkinje Image),即眼球角膜上的一个亮光点,由进入瞳孔的光线在角膜外表面上反射(CR,Cornea l Reflection)而产生的。
根据观看者的瞳孔和眼球角膜外表面的反射亮斑的位置,在实时画面中确定对应于观看者视线的落点的原理是:由于终端摄像头的位置固定,终端屏幕光源的位置也固定、眼球中心位置不变,普尔钦斑的绝对位置并不随眼球的转动而变化。但其相对于瞳孔和眼球的位置则是在不断变化的,例如,当观看者盯着摄像头时,普尔钦斑就位于观看者的瞳孔之间;而当观看者抬起头时,普尔钦斑就在观看者的瞳孔下方。如此,只要实时定位眼睛图像上的瞳孔和普尔钦斑的位置,计算出角膜反射向量,便能利用几何模型,估算得到观看者的视线方向。再基于前期定标过程(即让观看者注视终端屏幕上特定的点)中所建立的观看者眼睛特征与终端屏幕呈现内容之间的关系,即可在实时画面中确定对应于观看者视线的落点。
例如,根据观看者的瞳孔和眼球角膜外表面的反射亮斑的位置,确定观看者的角膜反射向量;根据观看者的角膜反射向量,确定观看者观看实时画面时的视线方向;根据观看者观看视频时的视线方向,在实时画面中确定落点。
如此,能够实时且准确的根据观看者的视线确定当前的观看位置,以对观看位置附近的内容进行缩放,能够帮助观看者看清观看位置附近的内容,从而提高用户的学习效率。
方式二,采集音频数据,对音频数据进行语音识别得到讲话文本,确定实时画面中与讲话文本相匹配的内容的位置。
作为示例,调用麦克风实时采集发言者针对实时画面讲解的音频数据;对音频数据进行语音识别,以得到对应音频数据的讲话文本;将讲话文本和实时画面中包括的内容进行比对,在实时画面中确定与讲话文本相匹配的内容的位置。
以在线教育为例,实时画面中包括“第一章节的内容”和“第二章节的内容”,客户端实时采集教师针对实时画面讲解的音频数据,并对音频数据进行语音识别,得到对应音频数据的讲话文本是“第二章节的内容”,因此,客户端将实时画面中展示“第二章节的内容”的位置确定为候选缩放位置。
如此,能够实时且准确的根据发言者的语音确定当前讲解的位置,以对讲解的位置附近的内容进行缩放,从而能够帮助观看者看清讲解的位置附近的内容,进而提高用户的学习效率。
方式三,确定实时画面中的固定位置。
这里,固定位置包括中心位置和边缘位置(例如,实时画面中的边角位置)。
方式四,识别实时画面中的文字,确定字号小于字号阈值的文字所在的位置。
这里,字号阈值可以是缺省值,也可以是用户设定的值,还可以是根据实时画面中包含的所有文字的字号所确定的,例如,将实时画面中包含的所有文字的字号的平均值作为字号阈值。
如此,能够向用户提示实时画面中字号较小的部分,以使用户对其进行放大,从而能够帮助用户看清视频中的内容。
方式五,确定实时画面中目标对象所在区域的中心位置。
作为一个示例,目标对象是互动对象。互动对象是指在视频观看过程中被互动(例如点赞、评论、转发或回踩等)的对象。互动对象是用户感兴趣的对象,也就是说,包括该对象的区域需要被放大的可能性较大,因此,将互动对象所在区域的中心位置确定为候选缩放位置,能够节约用户的操作,提高缩放效率。
作为另一个示例,目标对象是历史视频中被缩放的对象。如此,即可继承历史视频中被缩放的对象,从而节约用户的操作,提高缩放效率。
方式六,获取实时画面中被设定的历史缩放位置。
这里,历史缩放位置是在观看历史视频时被设定的缩放位置。如此,即可继承历史缩放位置,从而节约用户的操作,提高缩放效率。
方式七,获取观看相同视频的用户在实时画面中设定的缩放位置,如此,即可继承历史设定的缩放位置,从而节约用户的操作,提高缩放效率。
这里,缩放位置可以是历史缩放位置,也可以是实时缩放位置。以直播为例,由于直播观众观看的内容是一致的,因此,此时获取的缩放位置是实时缩放位置。
方式八,获取与用户具有社交关系的用户所设定的缩放位置。
这里,缩放位置可以是历史缩放位置,也可以是实时缩放位置。以直播为例,由于直播观众观看的内容是一致的,因此,此时获取的缩放位置是实时缩放位置。
作为示例,与用户具有社交关系的用户可以是针对视频具有相似爱好的用户,也可以是同学。如此,即可继承针对视频具有相似爱好的用户所对应的缩放位置或同学所设定的缩放位置,从而无需再次计算,节省计算资源。
在步骤S103中,将视频中的缩放位置锁定到播放界面的固定位置。
这里,固定位置可以是播放界面的中心位置,也可以是播放界面的非中心位置,例如播放界面的中心偏右的位置或播放界面的右上角的位置等,本申请对此不进行限制。
在一些实施例中,将视频的后续画面中的缩放位置锁定到播放界面的固定位置,其中,后续画面为在接收到缩放操作之后视频中待显示的实时画面。
这里,将缩放位置锁定到播放界面的固定位置是指将缩放位置设定为缩放的原点,以在后续对视频的画面按比例进行均匀缩放。如此,能够将用户选择的缩放位置锁定到播放界面的固定位置,从而能够保证用户指定的视频中的缩放内容始终在播放界面的固定位置呈现,进而提高缩放的有效性。
以缩放位置是放大定点位置、且固定位置是播放界面的中心位置为例,图7B中,将放大定点位置705锁定到播放界面的固定位置706(即中心位置),以在播放界面中呈现将区域704放大后的效果,其中,播放界面中呈现的放大后的内容的固定位置706是放大定点位置705。
以缩放位置是放大定点位置、且固定位置是播放界面的非中心位置(即中心偏右的位置)为例,图7C中,将放大定点位置705锁定到播放界面的固定位置707(即中心偏右的位置),以在播放界面中呈现将区域704放大后的效果,其中,播放界面中呈现的放大后的内容的固定位置707是放大定点位置705。
在步骤S104中,在播放界面中继续播放根据缩放比例调整后得到的缩放视频。
这里,播放界面包括用于显示未缩放过的视频的原始视频播放界面、以及显示经过缩放的缩放视频的缩放视频播放界面;其中,原始视频播放界面和缩放视频播放界面的关系包括:原始视频播放界面和缩放视频播放界面被分屏显示;缩放视频播放界面浮层浮动于原始视频播放界面的顶层;原始视频播放界面和缩放视频播放界面被切换显示。
这里,原始视频播放界面和缩放视频播放界面被切换显示可以是:当接收到缩放操作时,将原始视频播放界面切换至呈现缩放视频播放界面。
如此,步骤S101可以是:在原始视频播放界面中播放视频;步骤S104可以是:在缩放视频播放界面中继续播放根据缩放比例调整后得到的缩放视频。从而能够在人机交互界面中多样性呈现未经缩放的原始视频和/或经过缩放的缩放视频。
在一些实施例中,当缩放位置是放大定点位置、且缩放比例是放大比例时,步骤S103和步骤S104可以包括:将视频的后续画面中的放大定点位置,锁定到播放界面的固定位置,并播放后续画面中通过放大比例放大后的放大区域。
这里,放大区域是视频的实时画面中以放大定点位置为中心的区域;后续画面是在接收到放大操作之后视频中待显示的实时画面。
作为示例,在播放后续画面中通过放大比例放大后的放大区域之前,还可以包括:将通过以下方式至少之一,在视频的实时画面中确定以放大定点位置为中心的放大区域:
方式一,确定实时画面中以放大定点位置为中心的多个候选区域,将与相邻的候选区域之间的内容密度的差值大于密度差值阈值的候选区域确定为放大区域。
这里,密度差值阈值可以是缺省值,也可以是用户设定的值,还可以是根据每个候选区域与相邻的候选区域之间的内容密度的差值所确定的,例如,将所有候选区域与相邻的候选区域之间的内容密度的差值的平均值作为密度差值阈值。
作为示例,将以放大位置为圆心、且等差半径向外辐射的多个圆环确定为候选区域;确定任意两个相邻的候选区域之间的内容密度的差值;将内容密度的差值大于密度差值阈值的两个相邻的候选区域确定为候选的放大区域;在候选的放大区域中,将内容密度大的区域确定为放大区域。如此,用户在观看内容较为稀疏的区域突然转到观看内容较为紧凑的区域时,由于视觉的连贯性,用户很大程度看不清内容较为紧凑的区域中的内容,因此该区域需要被放大的可能性较大。
方式二,将实时画面中以放大定点位置为中心、且包括目标内容的区域确定为放大区域。
作为一个示例,目标内容与历史视频中被放大的内容的类型相同,如此,即可继承历史设定的放大区域,从而节约用户的操作,提高缩放效率。
作为另一个示例,目标内容中包括的文字的字号小于字号阈值,如此,能够向用户放大字号较小的内容,从而能够帮助用户看清视频中的内容。
这里,字号阈值可以是缺省值,也可以是用户设定的值,还可以是根据实时画面中包含的所有文字的字号所确定的,例如,将实时画面中包含的所有文字的字号的平均值作为字号阈值。
方式三,响应于以放大定点位置为中心的边界设定操作,根据设定的边界确定放大区域。
这里,边界设定操作可以是操作***预先设置的、且和已注册操作无冲突的各种形式的操作;也可以是用户自定义的、且和已注册操作无冲突的各种形式的操作。缩放操作包括以下至少之一:滑动操作;语音操作。如此,能够提高用户的操作体验。
以边界设定操作是滑动操作为例,将滑动操作的轨迹确定为放大区域的边界,如此,即可确定放大区域。需要说明的是,放大区域可以是规则的区域,例如,圆形或矩形,也可以是不规则的区域,本申请实施例对此不进行限定。
方式四,将实时画面的全局区域确定为放大区域,如此,能够将实时画面中的内容进行全局放大。
方式五,当放大定点位置是观看视线在实时画面中的落点的位置时,将以落点的位置为中心的视场区域确定为放大区域。
这里,确定观看视线在实时画面中的落点的位置和上述示例相同,在此不再进行赘述。
作为示例,当放大定点位置是观看视线在实时画面中的落点的位置时,确定观看视线的视角;根据视角、以及落点的位置,在实时画面中确定视场区域,并将视场区域确定为放大区域。
如此,能够实时且准确的根据观看者的视线确定当前的观看区域,以对观看区域中的内容进行放大,能够帮助观看者看清观看区域中的内容,从而提高用户的学习效率。
在一些实施例中,当缩放位置是缩小定点位置、且缩放比例是缩小比例时,步骤S103和步骤S104可以包括:将视频的后续画面中的缩小定点位置,锁定到播放界面的固定位置,并播放后续画面中通过缩小比例缩小后的缩小区域。
这里,缩小区域是视频的实时画面中以缩小定点位置为中心的区域;后续画面是在接收到缩小操作之后视频中待显示的实时画面。
举例来说,参见图4B,图4B是本申请实施例提供的视频的交互方法的应用场景示意图。图4B中,支持双指延箭头401方向滑动进行缩小,以呈现全局画面,全局画面中的区域402即上述的缩小区域。
举例来说,参见图4C,图4C是本申请实施例提供的视频的交互方法的应用场景示意图。图4C中,支持双指延箭头404方向滑动将缩小区域405(即全局画面)进行缩小,以在播放界面中呈现缩小后的全局画面、以及背景区域403,其中,背景区域403可以呈现与播放的视频相关的互动信息,还可以以写字板的形式支持用户进行记录(例如做笔记等)。
在一些实施例中,在步骤S104之前还包括:将通过以下方式至少之一,确定缩放比例:
方式一,确定与缩放操作的参数对应的缩放比例。
作为一个示例,当缩放操作是针对视频的实时画面的多指捏合操作或多指展开操作时,确定与缩放操作的轨迹的长度正相关的缩放比例。
例如,缩放操作的轨迹可以是直线或曲线。
当缩放操作是以实时画面的第一位置为起始位置、且从起始位置同时向实时画面的第二位置和第三位置滑动的多指展开操作时,根据第二位置和第三位置之间的距离,确定缩放比例,其中,缩放比例和距离成正比。多指展开操作可以是用于放大的操作。
当缩放操作是以实时画面的第二位置和第三位置为起始位置、且从起始位置同时向实时画面的第一位置滑动的多指捏合操作时,根据第二位置和第三位置之间的距离,确定缩放比例,其中,缩放比例和距离成正比。多指捏合操作可以是用于缩小的操作。
本申请实施例可以根据手指滑动的轨迹的长度确定缩放的程度,能够节约用户的操作成本,从而提高缩放效率和用户的操作体验。
作为另一个示例,当缩放操作是针对视频的实时画面的点击操作时,确定与缩放操作的点击次数正相关的缩放比例。
作为又一个示例,当缩放操作是针对视频的实时画面的长按操作时,确定与长按操作的持续时长正相关的缩放比例。
方式二,根据每次接收到的触发操作确定固定的缩放比例。
作为示例,当用户每次对视频的实时画面进行触发时,即可对实时画面进行缩放,其中,每次进行缩放的缩放比例是固定不变的。
例如,固定的缩放比例可以是缺省值,也可以是用户设定的值。
以固定的缩放比例是+5%为例,当用户触发视频的实时画面时,将视频的画面扩大为原始画面的105%;当用户再次触发视频的实时画面时,将视频的画面扩大为原始画面的110%,以此类推。如此,每次缩放操作即可对实时画面进行相同缩放程度的缩放。
方式三,当缩放操作是放大操作时,根据放大区域的面积和播放界面的面积确定放大比例。
举例来说,当将放大区域放大至播放界面完整呈现时,放大比例是放大区域的面积与播放界面的面积的比值。如此,能够在播放界面中完整呈现放大区域中的内容。
方式四,当缩放操作是缩小操作时,根据缩小区域的面积和播放界面的面积确定缩小比例。
举例来说,当将原本在播放界面中完整呈现的缩小区域放大至在播放界面完整呈现实时画面的全局内容时,缩小比例是缩小区域的面积与播放界面的面积的比值。如此,能够在播放界面中完整呈现实时画面的全局内容。
在一些实施例中,播放界面是视频视图层中的视频视图,视频视图层的顶层(从观看者观看屏幕的视角)设置识别器视图层;步骤S102可以包括:通过识别器视图层识别缩放操作,以确定缩放操作在视频中设定的缩放位置。步骤S104可以包括:根据缩放位置和缩放比例,对视频视图层中的视频视图进行坐标变换处理,得到根据缩放比例调整后的缩放视频的后续画面。
作为示例,通过识别器视图层识别缩放操作,并将缩放操作发送给视图控制器,由视图控制器确定对应缩放操作在视频中设定的缩放位置;通过视图控制器将缩放位置发送给视频视图层;通过视频视图层根据缩放位置和缩放比例,对视频视图层中的视频视图进行坐标变换处理,得到根据缩放比例调整后的缩放视频的后续画面。
本申请实施例通过视图层之间简单的数据传递以及坐标变换,即可在不影响视频播放进度的前提下,对视频进行任意位置的缩放,不仅能够解决相关技术中“双指在缩放视频的过程中,边缩放边移动会造成视频偏移,出现无法看见的情况”的技术问题,而且能够避免用户终端在进行缩放时耗费过多的计算资源。
当在播放界面中继续播放根据缩放比例调整后得到的缩放视频时,参见图5,图5是本申请实施例提供的视频的交互方法的流程示意图,基于图4A,在步骤S104之后可以包括步骤S105和步骤S106。
在步骤S105中,响应于针对缩放视频的后续画面的移动操作,确定与移动操作对应的新缩放位置。
这里,移动操作可以是操作***预先设置的、且和已注册操作无冲突的各种形式的操作;也可以是用户自定义的、且和已注册操作无冲突的各种形式的操作。移动操作包括以下至少之一:按照特定轨迹或方向的滑动操作;语音操作;体感操作(例如上下晃动的操作或曲线运动操作等);视线操作(例如基于观看者的视线对后续画面进行移动的操作)。如此,能够提高用户的操作体验。
在一些实施例中,根据移动操作在后续画面中的移动的距离和方向,对缩放位置进行同步地移动,将移动后得到的位置作为新缩放位置。
作为示例,响应于以后续画面的第四位置为起始位置、并向后续画面的第五位置滑动的操作,确定第四位置和第五位置之间的相对位置关系;在新后续画面中,将与移动前的画面的中心位置之间具有相对位置关系的位置,确定为新缩放位置。
这里,后续画面为在接收到缩放操作之后视频中待显示的实时画面,新后续画面为在接收到移动操作之后视频中待显示的实时画面。也就是说,后续画面和新后续画面的区别在于后续画面是接收到移动操作之前播放界面中显示的画面,新后续画面是接收到移动操作之后播放界面中显示的画面。作为另一种描述方式,后续画面可以称为第一画面,新后续画面可以称为第二画面。
在步骤S106中,将视频的新后续画面中的新缩放位置锁定到播放界面的固定位置,以在播放界面中继续播放根据缩放比例调整后得到的缩放视频。
以在接收移动操作之前播放界面中呈现的是放大后的视频为例,图7C中,支持单指延箭头705方向滑动至显示左上角区域。如此,用户可以通过单指滑动操作,查看放大后的局部内容。
以在接收移动操作之前播放界面中呈现的是缩小后的视频为例,参见图6,图6是本申请实施例提供的视频的交互方法的应用场景示意图。图6中,支持单指延箭头502方向,将缩小区域501滑动至播放界面的右下角位置。如此,用户可以通过单指滑动操作,调整缩小区域在播放界面中的位置,即可更新背景区域,以在背景区域中呈现与播放的视频相关的互动信息。
本申请实施例支持移动放大或缩小后的视频内容,并且在移动过程中,不会影响视频播放进度,能够解决相关技术中“放大后的视频内容不支持单指滑动查看”的技术问题。
下面,以应用场景是在线教育为例说明本申请实施例提供的视频的交互方法。
本申请实施例支持视频缩放功能,用户可以通过双指操作的方式缩放视频指定区域,查看局部内容;用户还可以通过单指滑动操作,查看局部内容。参见图7A、图7B、图7C和图7D,图7A、图7B、图7C和图7D是本申请实施例提供的视频的交互方法的应用场景示意图。
图7A中,支持双指延箭头701方向滑动放大左上角区域702。图7B和图7C中,支持双指延箭头703方向放大中间区域704。图7C中,支持单指延箭头705方向滑动至显示左上角区域。
下面,结合图8和图9说明实施例提供的视频的交互方法的具体实现方式,图8和图9是本申请实施例提供的视频的交互方法的原理示意图。
图8中,在播放器控制层(即上述的视图控制器)新添加一层手势识别器视图层(或称手势视图层,即上述的识别器视图层);在用户双指触摸屏幕手势识别成功后,当缩放手势发生变化时,时刻获取视频缩放点(即手指初始触碰的位置)和缩放比例(即根据手指滑动的距离所确定的比例)。然后对视频视图(或称视频画面)进行坐标轴变换,把变换后的结果更新到视频视图层,达到定点放大的效果,即将视频视图中对应缩放点的位置确定为中心坐标点,根据中心坐标点对视频视图进行缩放。对于单指滑动查看视频来说,根据移动手势的移动点,更新视频视图的中心坐标点,达到视频的移动效果。
例如,移动手势的起始点是A(x1,y1),终止点是B(x2,y2),保持坐标系中A和原始中心坐标点(即原点(0,0))的相对位置不变,将A移动至B时,原始中心坐标点移动后的位置所对应的坐标点即是更新后的中心坐标点。
手势视图层接收手势事件,根据手势的识别状态获取坐标信息,经过一系列的坐标变换得到最终坐标,然后更新视频画面视图的坐标,实现缩放、移动查看的效果。
本申请实施例相较于相关技术,增加了定点坐标的移动处理和缩放后结果坐标的复原处理。对缩放后的视频开启移动手势,支持移动查看。具体的,缩放、移动效果原理如图9所示。图9中,视频画面经过步骤一、步骤二和步骤三能够达到定点放大的效果,可再经过移动达到移动效果。
本申请实施例能够实现以下技术效果:
1)视频缩放功能支持直播和录播课程,实现满足不同类型课程的学生上课场景。
2)通过支持在横竖屏下视频放大功能,学生可以更好的查看教师输入的内容,提升上课体验。
参见图10A和图10B,图10A和图10B是本申请实施例提供的视频的交互方法的应用场景示意图。图10A是竖屏缩放效果,图10A中将放大区域110中的内容进行放大;图10B是横屏缩放效果,图10B中将放大区域120中的内容进行放大。
①解决看录播课的同学无法看清教师输入的内容或学生提问内容,无法在线说明的困境。
②解决直播课教师忘记放大内容,学生端在聊天区提醒,教师没看聊天区的尴尬场景。
3)通过单指移动视频灵活查看放大内容,不影响视频课程的播放进度。
本申请实施例不局限于提供为方法和硬件,还可有多种实现方式,例如提供为计算机可读存储介质(存储有用于执行本申请实施例提供的视频的交互方法的指令),以下进行举例说明。
移动端应用程序及模块:本申请实施例可提供为使用C/C++、Java等编程语言设计的软件模块,嵌入到基于Android或iOS等***的各种移动端Apps中(例如腾讯课堂等)(以可执行指令的存储在移动端的存储介质中,由移动端的处理器执行),从而直接使用移动端自身的计算资源完成相关的视频播放、视频缩放等任务,并且定期或不定期地通过各种网络通信方式将视频缩放等结果传送给远程的服务器,或者在移动端本地保存。
下面结合图3说明本申请实施例提供的视频的交互装置555的实施为软件模块的示例性结构,在一些实施例中,如图3所示,存储在存储器550的视频的交互装置555中的软件模块可以包括:
播放模块5551,用于在播放界面中播放视频;
缩放模块5552,用于响应于针对所述视频的缩放操作,确定所述缩放操作在所述视频中设定的缩放位置;
所述缩放模块5552,还用于将所述视频中的所述缩放位置锁定到所述播放界面的固定位置,以在所述播放界面中继续播放根据缩放比例调整后得到的缩放视频。
在上述方案中,所述缩放模块5552,还用于当所述缩放操作为用于缩小的多指捏合操作或用于放大的多指展开操作时,确定所述缩放操作在所述视频的实时画面中最初的多个触点的中间位置,并将所述中间位置确定为所述缩放操作在所述视频中设定的缩放位置。
在上述方案中,所述缩放模块5552,还用于当所述缩放操作为点击操作时,将所述缩放操作在所述视频的实时画面中点击的位置,确定为所述缩放操作在所述视频中设定的缩放位置。
在上述方案中,所述缩放模块5552,还用于在所述视频的实时画面中呈现与至少一个候选缩放位置对应的按钮;响应于按钮触发操作,将被触发的按钮所对应的候选缩放位置确定为所述缩放操作在所述视频中设定的缩放位置。
在上述方案中,所述缩放模块5552,还用于将通过以下方式至少之一确定的位置作为所述候选缩放位置:确定观看视线在所述实时画面中的落点的位置;采集音频数据,对所述音频数据进行语音识别得到讲话文本,确定所述实时画面中与所述讲话文本相匹配的内容的位置;确定所述实时画面中的固定位置,所述固定位置包括中心位置和边缘位置;识别所述实时画面中的文字,确定字号小于字号阈值的文字所在的位置;确定所述实时画面中目标对象所在区域的中心位置;其中,所述目标对象的类型包括:互动对象和历史视频中被缩放的对象;获取所述实时画面中被设定的历史缩放位置。
在上述方案中,所述缩放模块5552,还用于将所述视频的后续画面中的所述放大定点位置,锁定到所述播放界面的固定位置,并播放后续画面中通过所述放大比例放大后的放大区域;其中,所述放大区域是所述视频的实时画面中以所述放大定点位置为中心的区域;其中,所述后续画面是在接收到所述缩放操作之后所述视频中待显示的实时画面。
在上述方案中,所述缩放模块5552,还用于执行以下操作至少之一,在所述视频的实时画面中确定以所述放大定点位置为中心的放大区域:确定所述实时画面中以所述放大定点位置为中心的多个候选区域,将与相邻的候选区域之间的内容密度的差值大于密度差值阈值的候选区域确定为所述放大区域;将所述实时画面中以所述放大定点位置为中心、且包括目标内容的区域确定为所述放大区域,其中,所述目标内容与历史视频中被放大的内容的类型相同,或者,所述目标内容中包括的文字的字号小于字号阈值;响应于以所述放大定点位置为中心的边界设定操作,根据设定的边界确定所述放大区域;当所述放大定点位置是观看视线在所述实时画面中的落点的位置时,将以所述落点的位置为中心的视场区域确定为所述放大区域。
在上述方案中,所述缩放模块5552,还用于确定与所述缩放操作的参数对应的缩放比例;或者,根据每次接收到的触发操作确定固定的缩放比例。
在上述方案中,所述缩放模块5552,还用于当所述缩放操作是针对所述视频的实时画面的多指捏合操作或多指展开操作时,确定与所述缩放操作的轨迹的长度正相关的缩放比例;当所述缩放操作是针对所述视频的实时画面的点击操作时,确定与所述缩放操作的点击次数正相关的缩放比例;当所述缩放操作是针对所述视频的实时画面的长按操作时,确定与所述长按操作的持续时长正相关的缩放比例。
在上述方案中,所述播放界面包括用于显示未缩放过的所述视频的原始视频播放界面、以及显示经过缩放的所述缩放视频的缩放视频播放界面;其中,所述原始视频播放界面和所述缩放视频播放界面的关系包括:所述原始视频播放界面和所述缩放视频播放界面被分屏显示;所述缩放视频播放界面浮层浮动于所述原始视频播放界面的顶层;所述原始视频播放界面和所述缩放视频播放界面被切换显示。
在上述方案中,当在所述播放界面中继续播放根据缩放比例调整后得到的缩放视频时,所述视频的交互装置555还包括:移动模块,用于响应于针对所述缩放视频的后续画面的移动操作,确定与所述移动操作对应的新缩放位置,并将所述视频的新后续画面中的所述新缩放位置锁定到所述播放界面的固定位置,以在所述播放界面中继续播放根据缩放比例调整后得到的缩放视频;其中,所述后续画面为在接收到所述缩放操作之后所述视频中待显示的实时画面,所述新后续画面为在接收到所述移动操作之后所述视频中待显示的实时画面。
在上述方案中,所述移动模块,还用于根据所述移动操作的移动的距离和方向,对所述缩放位置进行同步地移动,将移动后得到的位置作为新缩放位置。
在上述方案中,所述播放界面是视频视图层中的视频视图,所述视频视图层的顶层设置识别器视图层;所述缩放模块5552,用于通过所述识别器视图层识别所述缩放操作,以确定所述缩放操作在所述视频中设定的缩放位置;根据所述缩放位置和所述缩放比例,对所述视频视图层中的视频视图进行坐标变换处理,得到根据缩放比例调整后的缩放视频的后续画面;其中,所述后续画面为在接收到所述缩放操作之后所述视频中待显示的实时画面。
本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例上述的视频的交互方法。
本申请实施例提供一种存储有计算机可执行指令的计算机可读存储介质,其中存储有计算机可执行指令,当计算机可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的视频的交互方法,例如,图4A和图5示出的视频的交互方法,计算机包括智能终端和服务器在内的各种计算设备。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EP ROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,计算机可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,计算机可执行指令可以但不一定对应于文件***中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,计算机可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述,本申请实施例具有以下有益效果:
(1)支持用户通过简单的操作对视频的画面中的任意内容进行缩小和放大,不仅能够解决相关技术中“学生在学习录播课程,只能以视频中心放大视频内容”的技术问题,而且缩放的形式多样性更高,能够满足用户个性化需求。
(2)能够实时且准确的根据观看者的视线确定当前的观看位置,以对观看位置附近的内容进行缩放,能够帮助观看者看清观看位置附近的内容,从而提高用户的学习效率。
(3)能够实时且准确的根据发言者的语音确定当前的讲解的位置,以对讲解的位置附近的内容进行缩放,从而能够帮助观看者看清讲解的位置附近的内容,进而提高用户的学习效率。
(4)能够向用户提示实时画面中字号较小的部分,以使用户对其进行放大,从而能够帮助用户看清视频中的内容。
(5)通过视图层之间简单的数据传递以及坐标变换,即可在不影响视频播放进度的前提下,对视频进行任意位置的缩放,不仅能够解决相关技术中“双指在缩放视频的过程中,边缩放边移动会造成视频偏移,出现无法看见的情况”的技术问题,而且能够避免用户终端在进行缩放时耗费过多的计算资源。
(6)支持移动放大或缩小后的视频内容,并且在移动过程中,不会影响视频播放进度,能够解决相关技术中“放大后的视频内容不支持单指滑动查看”的技术问题。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。

Claims (15)

1.一种视频的交互方法,其特征在于,所述方法包括:
在播放界面中播放视频;
响应于针对所述视频的缩放操作,确定所述缩放操作在所述视频中设定的缩放位置,并
将所述视频中的所述缩放位置锁定到所述播放界面的固定位置,以在所述播放界面中继续播放根据缩放比例调整后得到的缩放视频。
2.根据权利要求1所述的方法,其特征在于,所述确定所述缩放操作在所述视频中设定的缩放位置,包括:
当所述缩放操作为用于缩小的多指捏合操作或用于放大的多指展开操作时,确定所述缩放操作在所述视频的实时画面中最初的多个触点的中间位置,并将所述中间位置确定为所述缩放操作在所述视频中设定的缩放位置。
3.根据权利要求1所述的方法,其特征在于,所述确定所述缩放操作在所述视频中设定的缩放位置,包括:
当所述缩放操作为点击操作时,将所述缩放操作在所述视频的实时画面中点击的位置,确定为所述缩放操作在所述视频中设定的缩放位置。
4.根据权利要求1所述的方法,其特征在于,所述确定所述缩放操作在所述视频中设定的缩放位置,包括:
在所述视频的实时画面中呈现与至少一个候选缩放位置对应的按钮;
响应于按钮触发操作,将被触发的按钮所对应的候选缩放位置确定为所述缩放操作在所述视频中设定的缩放位置。
5.根据权利要求4所述的方法,其特征在于,在所述视频的实时画面中呈现与至少一个候选缩放位置对应的按钮之前,所述方法还包括:
将通过以下方式至少之一确定的位置作为所述候选缩放位置:
确定观看视线在所述实时画面中的落点的位置;
采集音频数据,对所述音频数据进行语音识别得到讲话文本,确定所述实时画面中与所述讲话文本相匹配的内容的位置;
确定所述实时画面中的固定位置,所述固定位置包括中心位置和边缘位置;
识别所述实时画面中的文字,确定字号小于字号阈值的文字所在的位置;
确定所述实时画面中目标对象所在区域的中心位置,其中,所述目标对象的类型包括:互动对象和历史视频中被缩放的对象;
获取所述实时画面中被设定的历史缩放位置。
6.根据权利要求1所述方法,其特征在于,
当所述缩放位置是放大定点位置、且所述缩放比例是放大比例时,所述将所述视频中的所述缩放位置锁定到所述播放界面的固定位置,以在所述播放界面中继续播放根据缩放比例调整后得到的缩放视频,包括:
将所述视频的后续画面中的所述放大定点位置,锁定到所述播放界面的固定位置,并播放后续画面中通过所述放大比例放大后的放大区域;
其中,所述放大区域是所述视频的实时画面中以所述放大定点位置为中心的区域;
其中,所述后续画面是在接收到所述缩放操作之后所述视频中待显示的实时画面。
7.根据权利要求6所述方法,其特征在于,在所述播放后续画面中通过所述放大比例放大后的放大区域之前,所述方法还包括:
将通过以下方式至少之一,在所述视频的实时画面中确定以所述放大定点位置为中心的放大区域:
确定所述实时画面中以所述放大定点位置为中心的多个候选区域,将与相邻的候选区域之间的内容密度的差值大于密度差值阈值的候选区域确定为所述放大区域;
将所述实时画面中以所述放大定点位置为中心、且包括目标内容的区域确定为所述放大区域,其中,所述目标内容与历史视频中被放大的内容的类型相同,或者,所述目标内容中包括的文字的字号小于字号阈值;
响应于以所述放大定点位置为中心的边界设定操作,根据设定的边界确定所述放大区域;
当所述放大定点位置是观看视线在所述实时画面中的落点的位置时,将以所述落点的位置为中心的视场区域确定为所述放大区域。
8.根据权利要求1所述的方法,其特征在于,在所述播放界面中继续播放根据缩放比例调整后得到的缩放视频之前,所述方法还包括:
确定与所述缩放操作的参数对应的缩放比例;或者,
根据每次接收到的触发操作确定固定的缩放比例。
9.根据权利要求8所述的方法,其特征在于,所述确定与所述缩放操作的参数对应的缩放比例,包括:
当所述缩放操作是针对所述视频的实时画面的多指捏合操作或多指展开操作时,确定与所述缩放操作的轨迹的长度正相关的缩放比例;
当所述缩放操作是针对所述视频的实时画面的点击操作时,确定与所述缩放操作的点击次数正相关的缩放比例;
当所述缩放操作是针对所述视频的实时画面的长按操作时,确定与所述长按操作的持续时长正相关的缩放比例。
10.根据权利要求1所述的方法,其特征在于,
所述播放界面包括用于显示未缩放过的所述视频的原始视频播放界面、以及显示经过缩放的所述缩放视频的缩放视频播放界面;
其中,所述原始视频播放界面和所述缩放视频播放界面的关系包括:
所述原始视频播放界面和所述缩放视频播放界面被分屏显示;所述缩放视频播放界面浮层浮动于所述原始视频播放界面的顶层;所述原始视频播放界面和所述缩放视频播放界面被切换显示。
11.根据权利要求1所述的方法,其特征在于,
当在所述播放界面中继续播放根据缩放比例调整后得到的缩放视频时,所述方法还包括:
响应于针对所述缩放视频的后续画面的移动操作,确定与所述移动操作对应的新缩放位置,并
将所述视频的新后续画面中的所述新缩放位置锁定到所述播放界面的固定位置,以在所述播放界面中继续播放根据缩放比例调整后得到的缩放视频;
其中,所述后续画面是在接收到所述缩放操作之后所述视频中待显示的实时画面,所述新后续画面是在接收到所述移动操作之后所述视频中待显示的实时画面;
所述确定与所述移动操作对应的新缩放位置,包括:
根据所述移动操作的移动的距离和方向,对所述缩放位置进行同步移动,将移动后得到的位置确定为所述新缩放位置。
12.根据权利要求1所述的方法,其特征在于,
所述播放界面是视频视图层中的视频视图,所述视频视图层的顶层设置识别器视图层;
所述确定所述缩放操作在所述视频中设定的缩放位置,包括:
通过所述识别器视图层识别所述缩放操作,以确定所述缩放操作在所述视频中设定的缩放位置;
所述在所述播放界面中继续播放根据缩放比例调整后得到的缩放视频,包括:
根据所述缩放位置和所述缩放比例,对所述视频视图层中的视频视图进行坐标变换处理,得到根据缩放比例调整后的缩放视频的后续画面;
其中,所述后续画面为在接收到所述缩放操作之后所述视频中待显示的实时画面。
13.一种视频的交互装置,其特征在于,包括:
播放模块,用于在播放界面中播放视频;
缩放模块,用于响应于针对所述视频的缩放操作,确定所述缩放操作在所述视频中设定的缩放位置;
所述缩放模块,还用于将所述视频中的所述缩放位置锁定到所述播放界面的固定位置,以在所述播放界面中继续播放根据缩放比例调整后得到的缩放视频。
14.一种电子设备,其特征在于,包括:
存储器,用于存储计算机可执行指令;
处理器,用于执行所述存储器中存储的计算机可执行指令时,实现权利要求1至12任一项所述的视频的交互方法。
15.一种计算机可读存储介质,其特征在于,存储有计算机可执行指令,所述计算机可执行指令被执行时用于实现权利要求1至12任一项所述的视频的交互方法。
CN202010816324.8A 2020-08-14 2020-08-14 视频的交互方法、装置、电子设备及存储介质 Active CN111935532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010816324.8A CN111935532B (zh) 2020-08-14 2020-08-14 视频的交互方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010816324.8A CN111935532B (zh) 2020-08-14 2020-08-14 视频的交互方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111935532A true CN111935532A (zh) 2020-11-13
CN111935532B CN111935532B (zh) 2024-03-01

Family

ID=73310898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010816324.8A Active CN111935532B (zh) 2020-08-14 2020-08-14 视频的交互方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111935532B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711459A (zh) * 2021-01-15 2021-04-27 腾讯科技(深圳)有限公司 多媒体数据处理方法、装置、设备及计算机可读存储介质
CN112731030A (zh) * 2020-12-23 2021-04-30 深圳市优必选科技股份有限公司 一种电子元器件的检测方法、装置、终端设备及存储介质
CN112911362A (zh) * 2021-01-29 2021-06-04 广州虎牙科技有限公司 视频画面移动缩放方法、装置、电子设备及可读存储介质
CN113301367A (zh) * 2021-03-23 2021-08-24 阿里巴巴新加坡控股有限公司 音视频处理方法、设备、***及存储介质
CN113476836A (zh) * 2021-06-30 2021-10-08 广州方硅信息技术有限公司 游戏画面显示方法、装置、电子设备及可读存储介质
CN113596561A (zh) * 2021-07-29 2021-11-02 北京达佳互联信息技术有限公司 视频流播放方法、装置、电子设备和计算机可读存储介质
CN113823211A (zh) * 2021-09-28 2021-12-21 惠科股份有限公司 驱动方法、驱动装置和显示设备
CN115225973A (zh) * 2022-05-11 2022-10-21 北京广播电视台 超高清视频播放交互方法、***、电子设备和存储介质
CN117215474A (zh) * 2023-11-07 2023-12-12 深圳市七彩虹禹贡科技发展有限公司 一种终端分屏显示方法及***

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522360B1 (en) * 1993-10-04 2003-02-18 Canon Kabushiki Kaisha Image pickup apparatus performing autofocus processing and image enlargement in a common selected image plane region
WO2005034092A2 (en) * 2003-09-29 2005-04-14 Handheld Entertainment, Inc. Method and apparatus for coding information
KR20140102905A (ko) * 2013-02-15 2014-08-25 삼성전자주식회사 스크린을 통해 표시되는 컨텐츠를 제어하는 방법 및 이를 위한 디스플레이 장치
WO2015043275A1 (en) * 2013-09-30 2015-04-02 Beijing Zhigu Rui Tuo Tech Co., Ltd Imaging for local scaling
CN106406651A (zh) * 2015-08-03 2017-02-15 北京鸿合智能***股份有限公司 动态放大显示视频的方法及装置
JP2017166968A (ja) * 2016-03-16 2017-09-21 アンリツ株式会社 測定装置及び測定方法
CN107463255A (zh) * 2017-07-31 2017-12-12 努比亚技术有限公司 一种视频播放方法、终端和计算机可读存储介质
CN110941378A (zh) * 2019-11-12 2020-03-31 北京达佳互联信息技术有限公司 视频内容显示方法及电子设备
CN110996115A (zh) * 2019-12-17 2020-04-10 广州酷狗计算机科技有限公司 直播视频播放方法、装置、设备、存储介质和程序产品
CN111031398A (zh) * 2019-12-10 2020-04-17 维沃移动通信有限公司 一种视频控制方法及电子设备
CN111432265A (zh) * 2020-03-31 2020-07-17 腾讯科技(深圳)有限公司 一种处理视频画面的方法、相关装置及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522360B1 (en) * 1993-10-04 2003-02-18 Canon Kabushiki Kaisha Image pickup apparatus performing autofocus processing and image enlargement in a common selected image plane region
WO2005034092A2 (en) * 2003-09-29 2005-04-14 Handheld Entertainment, Inc. Method and apparatus for coding information
CN1860787A (zh) * 2003-09-29 2006-11-08 手持娱乐公司 用于编码信息的方法和装置
KR20140102905A (ko) * 2013-02-15 2014-08-25 삼성전자주식회사 스크린을 통해 표시되는 컨텐츠를 제어하는 방법 및 이를 위한 디스플레이 장치
WO2015043275A1 (en) * 2013-09-30 2015-04-02 Beijing Zhigu Rui Tuo Tech Co., Ltd Imaging for local scaling
CN106406651A (zh) * 2015-08-03 2017-02-15 北京鸿合智能***股份有限公司 动态放大显示视频的方法及装置
JP2017166968A (ja) * 2016-03-16 2017-09-21 アンリツ株式会社 測定装置及び測定方法
CN107463255A (zh) * 2017-07-31 2017-12-12 努比亚技术有限公司 一种视频播放方法、终端和计算机可读存储介质
CN110941378A (zh) * 2019-11-12 2020-03-31 北京达佳互联信息技术有限公司 视频内容显示方法及电子设备
CN111031398A (zh) * 2019-12-10 2020-04-17 维沃移动通信有限公司 一种视频控制方法及电子设备
CN110996115A (zh) * 2019-12-17 2020-04-10 广州酷狗计算机科技有限公司 直播视频播放方法、装置、设备、存储介质和程序产品
CN111432265A (zh) * 2020-03-31 2020-07-17 腾讯科技(深圳)有限公司 一种处理视频画面的方法、相关装置及存储介质

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112731030A (zh) * 2020-12-23 2021-04-30 深圳市优必选科技股份有限公司 一种电子元器件的检测方法、装置、终端设备及存储介质
CN112711459A (zh) * 2021-01-15 2021-04-27 腾讯科技(深圳)有限公司 多媒体数据处理方法、装置、设备及计算机可读存储介质
CN112911362B (zh) * 2021-01-29 2024-03-08 广州虎牙科技有限公司 视频画面移动缩放方法、装置、电子设备及可读存储介质
CN112911362A (zh) * 2021-01-29 2021-06-04 广州虎牙科技有限公司 视频画面移动缩放方法、装置、电子设备及可读存储介质
CN113301367A (zh) * 2021-03-23 2021-08-24 阿里巴巴新加坡控股有限公司 音视频处理方法、设备、***及存储介质
CN113301367B (zh) * 2021-03-23 2024-06-11 阿里巴巴创新公司 音视频处理方法、设备、***及存储介质
CN113476836A (zh) * 2021-06-30 2021-10-08 广州方硅信息技术有限公司 游戏画面显示方法、装置、电子设备及可读存储介质
CN113476836B (zh) * 2021-06-30 2024-03-22 广州方硅信息技术有限公司 游戏画面显示方法、装置、电子设备及可读存储介质
CN113596561A (zh) * 2021-07-29 2021-11-02 北京达佳互联信息技术有限公司 视频流播放方法、装置、电子设备和计算机可读存储介质
CN113823211A (zh) * 2021-09-28 2021-12-21 惠科股份有限公司 驱动方法、驱动装置和显示设备
CN115225973B (zh) * 2022-05-11 2024-01-05 北京广播电视台 超高清视频播放交互方法、***、电子设备和存储介质
CN115225973A (zh) * 2022-05-11 2022-10-21 北京广播电视台 超高清视频播放交互方法、***、电子设备和存储介质
CN117215474A (zh) * 2023-11-07 2023-12-12 深圳市七彩虹禹贡科技发展有限公司 一种终端分屏显示方法及***

Also Published As

Publication number Publication date
CN111935532B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN111935532B (zh) 视频的交互方法、装置、电子设备及存储介质
US11871109B2 (en) Interactive application adapted for use by multiple users via a distributed computer-based system
US9013416B2 (en) Multi-display type device interactions
CN111866423B (zh) 用于电子终端的录屏方法及相应设备
US8640047B2 (en) Asynchronous handling of a user interface manipulation
US20170205987A1 (en) Interactive presentation controls
US11528535B2 (en) Video file playing method and apparatus, and storage medium
US20160142471A1 (en) Systems and methods for facilitating collaboration among multiple computing devices and an interactive display device
CN111654715B (zh) 直播的视频处理方法、装置、电子设备及存储介质
CN111625163B (zh) 一种显示设备及应用程序界面显示方法
WO2016160640A1 (en) Contextual help
CN114518820A (zh) 图标整理方法、装置和电子设备
CN112162672A (zh) 信息流的显示处理方法、装置、电子设备及存储介质
CN111580903A (zh) 实时投票方法、装置、终端设备和存储介质
CN112269615B (zh) 一种界面交互方法、装置和移动终端
CN115658196A (zh) 页面展示方法、装置、电子设备及存储介质
CN112653931B (zh) 资源信息播放的控制方法、装置、存储介质以及电子设备
CN114564134A (zh) 应用图标显示方法、装置
JP2014081834A (ja) 表示装置、表示制御方法及び表示制御プログラム
CN111158822A (zh) 一种显示界面控制方法、装置、存储介质和电子设备
US10867445B1 (en) Content segmentation and navigation
KR101730381B1 (ko) 문맥 정보에 기초하여 스크롤을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN111447361B (zh) 一种显示切换方法、装置、设备及存储介质
KR102561352B1 (ko) 효율적인 소통 환경이 구현된 가상의 강의 공간을 제공하는 방법 및 디바이스
CN116347143A (zh) 显示设备及双应用同屏显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant