CN106792093B - 视频分屏播放方法、装置及播放终端 - Google Patents

视频分屏播放方法、装置及播放终端 Download PDF

Info

Publication number
CN106792093B
CN106792093B CN201611183496.6A CN201611183496A CN106792093B CN 106792093 B CN106792093 B CN 106792093B CN 201611183496 A CN201611183496 A CN 201611183496A CN 106792093 B CN106792093 B CN 106792093B
Authority
CN
China
Prior art keywords
screen
texture
video
model
split
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611183496.6A
Other languages
English (en)
Other versions
CN106792093A (zh
Inventor
李忠义
王金明
蒋卫滨
张伟
张庆
马树猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Feihu Information Technology Tianjin Co Ltd
Original Assignee
Feihu Information Technology Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Feihu Information Technology Tianjin Co Ltd filed Critical Feihu Information Technology Tianjin Co Ltd
Priority to CN201611183496.6A priority Critical patent/CN106792093B/zh
Publication of CN106792093A publication Critical patent/CN106792093A/zh
Application granted granted Critical
Publication of CN106792093B publication Critical patent/CN106792093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种视频分屏播放方法，包括，播放器输出的视频画面数据绘制到纹理A上，将纹理A贴到球体模型上，纹理A随视频画面数据不断进行刷新；判断是否分屏模式，如是则，将视口设置成显示区域的一半，将球体模型整体同时绘制到左平面模型关联的纹理B上和右平面模型关联的纹理C上，所述的左平面模型和右平面模型分别对应显示区域的一半；将视口设置为显示区域大小，将左、右平面模型绘制到显示屏幕上。本发明的播放方法，仅运行一个显示层(view)，可以选择控制将渲染了播放画面的球体模型绘制到左右平面模型关联的纹理上然后将左右平面模型再绘制到屏幕上，还是将渲染了播放画面的球体模型直接绘制到真实屏幕上，该分屏技术不仅消耗***资源低，有效地减少***资源开销。

Description

视频分屏播放方法、装置及播放终端
技术领域
本发明涉及全景视频播放技术领域，特别是涉及一种视频分屏播放方法、装置及播放终端。
背景技术
随着计算机技术的飞速发展，多媒体所包含的种类和表现效果也越来越多。一些比较传统的表现方式，越来越无法满足大部分客户的要求。所以在我们需要真实、全面、直观地表现某一场景时，360度全景视频无疑是最好的选择。360度全景视频技术可以被用到房产展示、观光景点、汽车、酒店、校园、文化和体育馆、公司办公环境等。
目前，感受360全景视频最低成本最便捷的方式，就是采用手机加头盔显示设备的方式。将手机放置在头盔显示设备中，在手机上播放360度全景视频，用户可以身临其境地感受到全景带来的感官震撼体验。由于手机播放画面离人眼很近，根据人眼看物体的原理，要想看清画面，必须对播放画面进行左右分屏，所以在360度全景视屏中，进行左右分屏播放是很重要的一种技术。
当前，左右分屏播放的实现方案主要是采用两个控件显示层(View)进行实现，将与显示屏幕对应的显示区域平均分成左右两块区域，每个区域显示一个View，每个View中都做同样的事情，即在每个View中采用OpenGL绘制一个球体模型，将播放器输出的视频画面作为纹理分别绘制在两个球体的表面。通过控制其中一个View的显示和隐藏来实现全屏分屏模式的切换。
目前通用的分屏播放的实现方案，需要两个View来实现，使***资源开销增加了一倍以上，造成了极大的浪费，同时，基于此方案，实现360度全景视频全屏和分屏播放动态切换时，通常的做法是动态隐藏或者显示其中的一个显示层(View)，隐藏或者显示View会导致Android***的View体系进行重绘，不仅会导致极大的***资源开销，而且由于延时的存在，导致切换过程中会闪现黑屏，同时切换不够平滑，用户体验很差。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，而提供一种视频分屏播放方法、装置及播放终端。
为实现本发明的目的所采用的技术方案是：
一种视频分屏播放方法，包括，
播放器输出的视频画面数据绘制到纹理A上，将纹理A贴到球体模型上，纹理A随视频画面数据不断进行刷新；
判断是否分屏模式，如是则，
将视口设置成显示区域的一半，将球体模型整体同时绘制到左平面模型关联的纹理B上和右平面模型关联的纹理C上，所述的左平面模型和右平面模型分别对应显示区域的一半；
将视口设置为显示区域大小，将左、右平面模型绘制到显示屏幕上。
若不是分屏模式则将球体模型整体绘制到显示屏幕上。
在Android***框架中，利用onDrawFrame方法会不断回调用于刷新当前视频帧。
所述的显示屏幕为真实屏幕，所述的视频为360度全景视频。
一种视频分屏播放的装置，包括，
播放模块，用以将播放器输出的视频画面数据绘制到纹理A上，将纹理A贴到球体模型上，纹理A随视频画面数据不断进行刷新；
判断模块，用以判断是否分屏模式，
映射模块，用以在分屏模式下将视口设置成显示区域的一半，将球体模型整体绘制到左平面模型关联的纹理B上和右平面模型关联的纹理C上，所述的左平面模型和右平面模型分别对应显示区域的一半；
绘制模块，用以将视口设置为显示区域的大小，将左、右平面模型绘制到显示屏幕上。
在Android***框架中，利用onDrawFrame方法会不断回调用于刷新当前帧。
所述的显示屏幕为真实屏幕。
一种具有所述的视频分屏播放装置的播放终端。
与现有技术相比，本发明的有益效果是：
本发明的播放方法，仅运行一个显示层(view)，可以选择控制将渲染了播放画面的球体模型绘制到左右平面模型关联的纹理上然后将左右平面模型再绘制到屏幕上，还是将渲染了播放画面的球体模型直接绘制到真实屏幕上，该分屏技术不仅消耗***资源低，有效地减少***资源开销，解决了分屏播放导致***资源消耗成倍增加、全屏和分屏模式切换时会黑屏卡顿用户体验差的问题。而且能够实现全屏分屏播放的平滑快速切换，极大地提高了用户体验。
附图说明
图1所示为本发明的视频分屏播放方法的结构示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明视频分屏播放方法，包括，
步骤101，播放器输出的视频画面数据绘制到纹理A上，将纹理A贴到球体模型上，纹理A随视频画面数据不断进行刷新；
步骤102，判断是否分屏模式，如是则，若不是分屏模式，则将球体模型整体绘制到显示屏幕上；
步骤103，将视口设置成显示区域的一半，将球体模型整体同时绘制到左平面模型关联的纹理B上和右平面模型关联的纹理C上，所述的左平面模型和右平面模型分别对应显示区域的一半；
其中，球体模型、左平面模型和右平面模型为实例化的模型，左平面模型和右平面模型即分别对应显示区域的左右两部分，所述的显示区域与显示屏幕相对应，所述的显示屏幕一般为真实屏幕。左平面模型和右平面模型各自对应显示区域的一半，在进行绘制时将视口对应地调整，保证显示正常。
步骤104将视口设置为显示区域的大小，将左、右平面模型分别对应绘制到显示屏幕上预设区域。
该步骤中，直接将左平面模型和右平面模型绘制到真实的显示屏幕上进行显示，左、右平面模型各占屏幕的一半实现分屏显示。
OpenGL(Open Graphics Library)是指定义了一个跨编程语言、跨平台的编程接口规格的专业的图形程序接口。它用于三维图像(二维的亦可)，是一个功能强大，调用方便的底层图形库。本发明是基于opengl实现的，Frame Buffer Object(FBO)帧缓存对象技术也是opengl范畴内的一个技术。具体来说，onDrawFrame的处理流程为：首先刷新纹理A上绘制的画面数据，然后，判断“是否是分屏模式”这个变量，如果是分屏模式，就执行：将视口设置成显示区域的一半(width/2、heigth)，使用FBO技术将球体模型同时绘制到左平面模型关联的纹理B上和右平面模型关联的纹理C上，将视口设置成显示区域的原大小，将左、右平面模型绘制到真实的显示屏幕上，左右平面模型各占屏幕的一半。如果不是分屏模式，就把球体模型整体绘制到真实屏幕上。也就是说可以通过一个变量，动态切换全屏和分屏模式。onDrawFrame方法是不断回调执行的，籍以实现视频的不断播放。
以是否是分屏模式作为唯一变量，视频播放及渲染和绘制仅有一个实例，仅一个变量就可以控制全屏和分屏全景视频播放，***资源消耗少而且很快速，用户体验很好。
同时，本发明还公开了一种视频分屏播放的装置，包括，
播放模块，用以将播放器输出的视频画面数据绘制到纹理A上，将纹理A贴到球体模型上，纹理A随视频画面数据不断进行刷新；
判断模块，用以判断是否分屏模式，
映射模块，用以在分屏模式下将视口设置成显示区域的一半，将球体模型绘制到左平面模型关联的纹理B上和右平面模型关联的纹理C上，所述的左平面模型和右平面模型分别对应显示区域的一半；
绘制模块，用以将视口设置为显示区域的大小，将左、右平面模型整体绘制到显示屏幕上。
本发明是在Android***框架中实现的，采用的是Android***中对OpenGL ES提供支持的控件GLSurfaceView进行实现的，但是本发明的原理可以应用到任何支持OpenGL的平台上。
在Android***中实现如下：
在GLSurfaceView.Render的onSurfaceCreated回调方法中，球体模型(Sphere)、左平面模型(ScreenQuad)、右平面模型分别进行实例化，在onSurfaceChanged回调方法中将视口(view port)设置成回调方法中返回的宽(width)高(height)，onDrawFrame方法会不断回调用于刷新当前帧。
具有所述的视频分屏播放装置的播放终端，如手机，采用FBO技术，在同一个View中，可以动态控制是将球体模型绘制到左右平面模型关联的纹理上还是直接绘制到真实的屏幕上，通过这种控制可以低成本高效率地实现视频，尤其是360度全景视频全屏分屏的快速切换，提高了用户体验。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种视频分屏播放方法，其特征在于，包括，
所述的视频为360度，全景视频播放器输出的视频画面数据绘制到纹理A上， 将纹理A贴到球体模型上，纹理A随视频画面数据不断进行刷新；
判断是否分屏模式，如是则，
将视口设置成显示区域的一半，将球体模型整体同时绘制到左平面模型关联的纹理B上和右平面模型关联的纹理C上，所述的左平面模型和右平面模型分别对应显示区域的一半；
将视口设置为显示区域大小，将左、右平面模型绘制到显示屏幕上；
若不是分屏模式则将球体模型整体绘制到显示屏幕上，通过一个变量，动态控制是将球体模型绘制到左右平面模型关联的纹理上还是直接绘制到真实的屏幕上，动态切换全屏和分屏模式。
2.如权利要求1所述的视频分屏播放方法，其特征在于，在Android***框架中，利用onDrawFrame方法会不断回调用于刷新当前视频帧。
3.如权利要求1所述的视频分屏播放方法，其特征在于，所述的显示屏幕为真实屏幕。
4.一种视频分屏播放的装置，其特征在于，包括，
播放模块，用以将播放器输出的视频画面数据绘制到纹理A上， 将纹理A贴到球体模型上，纹理A随视频画面数据不断进行刷新；
判断模块，用以判断是否分屏模式，
映射模块，用以在分屏模式下将视口设置成显示区域的一半，将球体模型整体绘制到左平面模型关联的纹理B上和右平面模型关联的纹理C上，所述的左平面模型和右平面模型分别对应显示区域的一半；
绘制模块，用以将视口设置为显示区域的大小，将左、右平面模型绘制到显示屏幕上。
5.如权利要求4所述的视频分屏播放的装置，其特征在于，在Android***框架中，利用onDrawFrame方法会不断回调用于刷新当前帧。
6.如权利要求5所述的视频分屏播放的装置，其特征在于，所述的显示屏幕为真实屏幕。
7.一种具有如权利要求4-6任一项所述的视频分屏播放装置的播放终端。
CN201611183496.6A 2016-12-20 2016-12-20 视频分屏播放方法、装置及播放终端 Active CN106792093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611183496.6A CN106792093B (zh) 2016-12-20 2016-12-20 视频分屏播放方法、装置及播放终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611183496.6A CN106792093B (zh) 2016-12-20 2016-12-20 视频分屏播放方法、装置及播放终端

Publications (2)

Publication Number Publication Date
CN106792093A CN106792093A (zh) 2017-05-31
CN106792093B true CN106792093B (zh) 2023-09-19

Family

ID=58895804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611183496.6A Active CN106792093B (zh) 2016-12-20 2016-12-20 视频分屏播放方法、装置及播放终端

Country Status (1)

Country Link
CN (1) CN106792093B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913477B (zh) * 2016-04-18 2019-02-12 北京小鸟看看科技有限公司 一种实现虚拟现实***立体启动动画的方法和装置
US10043302B2 (en) 2016-04-18 2018-08-07 Beijing Pico Technology Co., Ltd. Method and apparatus for realizing boot animation of virtual reality system
CN111258519B (zh) * 2018-11-30 2021-07-06 北京字节跳动网络技术有限公司 屏幕分屏实现方法、装置、终端和介质
CN109766039B (zh) * 2018-12-29 2021-06-25 努比亚技术有限公司 一种移动终端的信息显示方法、移动终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105245838A (zh) * 2015-09-29 2016-01-13 成都虚拟世界科技有限公司 一种全景视频播放方法及播放器
CN105447898A (zh) * 2015-12-31 2016-03-30 北京小鸟看看科技有限公司 一种虚拟现实设备中显示2d应用界面的方法和装置
CN105678693A (zh) * 2016-01-25 2016-06-15 成都易瞳科技有限公司 全景视频浏览播放方法
CN106097245A (zh) * 2016-07-26 2016-11-09 北京小鸟看看科技有限公司 一种全景3d视频图像的处理方法和装置
CN106162203A (zh) * 2016-07-05 2016-11-23 实野文化传媒（上海）有限公司 全景视频播放方法、播放器与头戴式虚拟现实设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105245838A (zh) * 2015-09-29 2016-01-13 成都虚拟世界科技有限公司 一种全景视频播放方法及播放器
CN105447898A (zh) * 2015-12-31 2016-03-30 北京小鸟看看科技有限公司 一种虚拟现实设备中显示2d应用界面的方法和装置
CN105678693A (zh) * 2016-01-25 2016-06-15 成都易瞳科技有限公司 全景视频浏览播放方法
CN106162203A (zh) * 2016-07-05 2016-11-23 实野文化传媒（上海）有限公司 全景视频播放方法、播放器与头戴式虚拟现实设备
CN106097245A (zh) * 2016-07-26 2016-11-09 北京小鸟看看科技有限公司 一种全景3d视频图像的处理方法和装置

Also Published As

Publication number Publication date
CN106792093A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106792093B (zh) 视频分屏播放方法、装置及播放终端
CN107018336B (zh) 图像处理的方法和装置及视频处理的方法和装置
Li et al. Building and using a scalable display wall system
US20190180509A1 (en) Apparatus and associated methods for presentation of first and second virtual-or-augmented reality content
US9143770B2 (en) Application programming interface supporting mixed two and three dimensional displays
US11416201B2 (en) Apparatus and associated methods for communication between users experiencing virtual reality
CN108108140B (zh) 一种多屏协同显示方法及存储装置及支持3d显示的设备
US20080246760A1 (en) Method and apparatus for mapping texture onto 3-dimensional object model
US20220188989A1 (en) Per-pixel filter
CN106723987A (zh) 智能讲台
US20030095131A1 (en) Method and apparatus for processing photographic images
CN112138386A (zh) 一种体积渲染方法、装置、存储介质及计算机设备
WO2023207001A1 (zh) 图像渲染方法、装置、电子设备及存储介质
Zheng Research on mobile learning based on augmented reality
CN111754607A (zh) 图片处理方法及装置、电子设备、计算机可读存储介质
CN114782648A (zh) 图像处理方法、装置、电子设备及存储介质
US11775051B2 (en) Apparatus and associated methods for presentation of presentation data
CN113645476A (zh) 画面处理方法、装置、电子设备及存储介质
US12002165B1 (en) Light probe placement for displaying objects in 3D environments on electronic devices
CN205793049U (zh) 增强现实现场发布会***
US20190215581A1 (en) A method and system for delivering an interactive video
US11023995B2 (en) Systems and methods to toggle display links
US20120313954A1 (en) Optimized on-screen video composition for mobile device
KR102586860B1 (ko) 원격 단말들에 대한 몰입형 원격회의 및 텔레프레전스를 위한 상호작용 오버레이 취급
US11869144B1 (en) Modeling a physical environment based on saliency

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant