CN107484004B - 一种视频处理方法及装置 - Google Patents

一种视频处理方法及装置 Download PDF

Info

Publication number
CN107484004B
CN107484004B CN201710610590.3A CN201710610590A CN107484004B CN 107484004 B CN107484004 B CN 107484004B CN 201710610590 A CN201710610590 A CN 201710610590A CN 107484004 B CN107484004 B CN 107484004B
Authority
CN
China
Prior art keywords
video
gop
sub
playing
dividing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710610590.3A
Other languages
English (en)
Other versions
CN107484004A (zh
Inventor
朱洪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201710610590.3A priority Critical patent/CN107484004B/zh
Publication of CN107484004A publication Critical patent/CN107484004A/zh
Application granted granted Critical
Publication of CN107484004B publication Critical patent/CN107484004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供了一种视频处理方法及装置，涉及视频处理技术领域，其中，该方法包括：将原始视频划分为多个画面区域的子视频；将每个子视频划分为多个播放时间的GOP；将多个GOP中对应同一播放时间的GOP按照设定空间顺序进行合成，得到多个空间GOP组；将多个空间GOP组按照时间顺序进行合成，得到VR视频；确定当前显示界面所关联的画面区域；从VR视频中，解码并播放处于显示界面所关联的画面区域中且与当前播放时间对应的GOP。本发明将原始视频通过划分和合成步骤转化为画面范围较小的VR视频，进而在播放前只对当前显示画面区域中的GOP进行处理，而无需处理整个视频画面，大大降低了解码的复杂度，提高了解码效率，同时减轻了解码器的负荷。

Description

一种视频处理方法及装置
技术领域
本发明涉及视频处理技术领域，特别是涉及一种视频处理方法及装置。
背景技术
随着视频技术的迅猛发展，虚拟现实(英文：Virtual Reality，简称：VR) 技术作为仿真技术的重要分支也日益受到人们重视。VR技术通过将全方位摄像装置采集到的视频进行立体化处理，可以使用户观看到类似于真实立体场景的虚拟场景。
在目前的实际应用中，通常首先对立体化处理后得到的原始视频进行编码，以便于视频的传输和存储，之后可以对编码后的视频进行解码，进而播放解码后的视频。
然而，由于目前没有专门针对VR视频的解码器，因此当前仍然采用现有的解码器解码VR视频。然而，VR视频的分辨率通常远高于一般的视频，且画面范围很大，包含的信息复杂繁多，因此，在处理VR视频的过程中，通过现有的解码器进行解码的复杂度较高，解码效率低，同时也大大加重了解码器的负荷。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种视频播放方法及装置。
根据本发明的第一方面，提供了一种视频处理方法，所述方法包括：
将原始视频划分为多个画面区域的子视频；
对于所述多个子视频中的每个子视频，将所述子视频划分为多个播放时间的GOP(Group of Pictures，编码图像组)；
将针对所述多个子视频得到的多个GOP中对应同一播放时间的GOP按照设定空间顺序进行合成，得到多个空间GOP组；
将所述多个空间GOP组按照时间顺序进行合成，得到虚拟现实VR视频；
确定当前显示界面所关联的画面区域；
从所述VR视频中，解码处于所述当前显示界面所关联的画面区域中且与当前播放时间对应的GOP，并进行播放。
可选地，所述将原始视频划分为多个画面区域的子视频，包括：
按照设定长度和设定宽度，将原始视频划分为长度相同且宽度相同的多个子视频。
可选地，所述解码处于所述当前显示界面所关联的画面区域中且与当前播放时间对应的GOP，并进行播放，包括：
将处于所述当前显示界面所关联的画面区域中且与当前播放时间对应的GOP，按照所述当前显示界面所关联的画面区域在所述原始视频中的位置进行合成；
解码合成后的GOP，并进行播放。
可选地，所述将所述子视频划分为多个播放时间的GOP，包括：
将所述子视频划分为时间间隔相同的多个GOP；其中，各个GOP之间的时间间隔为第一设定时间间隔；或者，
将所述子视频划分为帧数相等的多个GOP；其中，各个GOP所包括的图像帧的个数为设定个数。
可选地，所述方法还包括：
当所述显示界面未移动时，对第二设定时间间隔后的GOP进行解码。
根据本发明的第二方面，提供了一种视频处理装置，所述装置包括：
第一划分模块，用于将原始视频划分为多个画面区域的子视频；
第二划分模块，用于对于所述多个子视频中的每个子视频，将所述子视频划分为多个播放时间的编码图像组GOP；
第一合成模块，用于将针对所述多个子视频得到的多个GOP中对应同一播放时间的GOP按照设定空间顺序进行合成，得到多个空间GOP组；
第二合成模块，用于将所述多个空间GOP组按照时间顺序进行合成，得到虚拟现实VR视频；
确定模块，用于确定当前显示界面所关联的画面区域；
播放模块，用于从所述VR视频中，解码处于所述当前显示界面所关联的画面区域中且与当前播放时间对应的GOP，并进行播放。
可选地，所述第一划分模块包括：
第一划分子模块，用于按照设定长度和设定宽度，将原始视频划分为长度相同且宽度相同的多个子视频。
可选地，所述播放模块包括：
合成子模块，将处于所述当前显示界面所关联的画面区域中且与当前播放时间对应的GOP，按照所述当前显示界面所关联的画面区域在所述原始视频中的位置进行合成；
播放子模块，解码合成后的GOP，并进行播放。
可选地，所述第二划分模块包括：
第二划分子模块，用于将所述子视频划分为时间间隔相同的多个GOP；其中，各个GOP之间的时间间隔为第一设定时间间隔；或者，
第三划分子模块，用于将所述子视频划分为帧数相等的多个GOP；其中，各个GOP所包括的图像帧的个数为设定个数。
可选地，所述装置还包括：
解码模块，用于当所述显示界面未移动时，对第二设定时间间隔后的 GOP进行解码。
本发明实施例包括以下优点：首先将原始视频从空间上划分为多个画面区域的子视频，再将每个子视频从时间上划分为多个播放时间的编码图像组 GOP，并按照设定空间顺序和时间顺序对划分得到的多个GOP进行合成，得到VR视频，从而可以将画面范围较大的原始视频通过划分和合成的步骤转化为画面范围较小的VR视频，进而可以在播放前只对当前所显示的画面区域中的GOP进行处理，而无需对当前播放时间对应的整个视频画面进行处理，因此在只使用一个解码器进行视频处理的情况下，能够大大降低解码的复杂度，提高解码效率，同时减轻了处理过程中解码器的负荷。
附图说明
图1是本发明实施例提供的一种视频处理方法的流程图；
图2A是本发明实施例提供的另一种视频处理方法的流程图；
图2B是本发明实施例提供的一种将原始视频划分为多个画面区域的子视频的示意图；
图2C是本发明实施例提供的一种排列各个画面区域的GOP的示例图；
图2D是本发明实施例提供的一种当前显示界面所关联的画面区域的示意图；
图2E是本发明实施例提供的另一种当前显示界面所关联的画面区域的示意图；
图2F是本发明实施例提供的第三种当前显示界面所关联的画面区域的示意图；
图3是本发明实施例提供的一种视频处理装置的框图；
图4A是本发明实施例提供的另一种视频处理装置的框图；
图4B是本发明实施例提供的一种第一划分模块的框图；
图4C是本发明实施例提供的一种播放模块的框图；
图4D是本发明实施例提供的一种第二划分模块的框图；
图4E是本发明实施例提供的第三种视频处理装置的框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
参照图1，示出了一种视频处理方法的流程图，该方法具体可以包括如下步骤：
步骤101：将原始视频划分为多个画面区域的子视频。
视频处理设备可以对原始视频进行划分，得到多个画面区域的子视频，其中，每个子视频所显示的整个画面即为原始视频画面中的一部分，也即原始视频中一个小范围的画面区域内所显示的画面。
需要说明的是，原始视频为对全方位摄像装置采集到的视频进行立体化处理后得到的视频，该原始视频可以存储在视频处理设备中。另外，显示界面为视频处理设备播放VR视频的界面，且显示界面的大小小于原始视频整个画面区域的大小。
步骤102：对于多个子视频中的每个子视频，将子视频划分为多个播放时间的GOP。
需要说明的是，一个GOP可以由一个可定位播放时间的I帧(帧内编码帧)和一系列帧间编码帧构成，一个GOP即一个包括多帧的图像组，播放时间即为子视频中的任一GOP在播放过程中所对应的时间点，也即该 GOP在子视频中的哪个时间点播放。其中，由于每个I帧均可以对应一个播放时间，相应地，每个GOP均可以通过该GOP中的I帧对应一个播放时间，从而视频处理设备可以通过每个GOP的I帧对应的播放时间，将子视频划分为对应不同播放时间的GOP。
步骤103：将针对多个子视频得到的多个GOP中对应同一播放时间的 GOP按照设定空间顺序进行合成，得到多个空间GOP组。
比如，视频处理设备可以将A-L这12个画面区域中的A1、B1、......、 L1依次排列，得到第一个空间GOP组，将A2、B2、......、L2依次排列，得到第二个空间GOP组，以此类推，最后可以得到12个空间GOP组。
步骤104：将多个空间GOP组按照时间顺序进行合成，得到VR视频；
比如，通过步骤103可以得到12个空间GOP组，将这12个空间GOP 组按照时间顺序进行合成，可以得到VR视频，该VR视频的GOP依次为 A1、B1、......、L1、A2、B2、......、L2、......、A1000、B1000、......、L1000。
步骤105：确定当前显示界面所关联的画面区域。
其中，视频处理设备可以通过内置陀螺仪的角度变化确定当前显示界面中的画面区域，用户在头部佩戴该视频处理设备时可以通过转动头部等方式使内置陀螺仪的角度发生变化。本步骤的具体实现方式可以参考相关技术，本发明实施例对此不做详细阐述。
步骤106：从VR视频中，解码处于当前显示界面所关联的画面区域中且与当前播放时间对应的GOP，并进行播放。
比如，当前显示界面的画面区域可以为12个画面区域中的B区域，当前播放时间可以对应第3个播放时间点，因此，视频处理设备可以根据第3 个播放时间点，通过一个解码器解码B区域中与第3个播放时间点对应的 B3这个GOP并播放，而无需在播放时解码整个原始视频，从而可以大大降低解码的复杂度，提高解码效率，同时也减轻了解码器的负荷。
本发明实施例包括以下优点：首先将原始视频从空间上划分为多个画面区域的子视频，再将每个子视频从时间上划分为多个播放时间的编码图像组 GOP，并按照设定空间顺序和时间顺序对划分得到的多个GOP进行合成，得到VR视频，从而可以将画面范围较大的原始视频通过划分和合成的步骤转化为画面范围较小的VR视频，进而可以在播放前只对当前所显示的画面区域中的GOP进行处理，而无需对当前播放时间对应的整个视频画面进行处理，因此在只使用一个解码器进行视频处理的情况下，能够大大降低解码的复杂度，提高解码效率，同时减轻了处理过程中解码器的负荷。
实施例二
参照图2A，示出了另一种视频处理方法的流程图，该方法具体可以包括如下步骤：
步骤201：将原始视频划分为多个画面区域的子视频。
本步骤的实现方式可以为：按照设定长度和设定宽度，将原始视频划分为长度相同且宽度相同的多个子视频。
比如，设定长度可以为960个像素，设定宽度可以为720个像素，原始视频的长度可以为3840个像素，原始视频的宽度可以为2160个像素，视频处理设备可以将原始视频划分为A、B、C、D、E、F、G、H、I、J、K、L 共12个画面区域的子视频，其中，每个子视频的长度均为960个像素，宽度均为720个像素，如图2B所示。本发明实施例不限定A、B、C、D、E、 F、G、H、I、J、K、L这些区域的长、宽，具体可以根据实际情况确定。
需要说明的是，原始视频为对全方位摄像装置采集到的视频进行立体化处理后得到的视频，该原始视频可以存储在视频处理设备中。另外，显示界面为视频处理设备播放VR视频的界面，且显示界面的大小小于原始视频整个画面区域的大小。
另外，当原始视频的长度不为设定长度的整数倍时，可以在原始视频的长度方向填补一定长度的黑底画面等无图像的空画面，从而使填补后的视频的长度为设定长度的整数倍，以便于进行划分，同时对用户的观感也不会产生特别大的影响，同样地，当原始视频的宽度不为设定宽度的整数倍时，也可以在原始视频的宽度方向填补一定宽度的黑底画面，从而使填补后的视频的长度为设定长度的整数倍。
步骤202：对于多个子视频中的每个子视频，将该子视频划分为多个播放时间的GOP。
需要说明的是，一个GOP可以由一个可定位播放时间的I帧(帧内编码帧)和一系列帧间编码帧构成，一个GOP即一个包括多帧的图像组。
其中，将该子视频划分为多个播放时间的GOP的实现方式可以为下述两种实现方式：
第一种划分方式：将子视频划分为时间间隔相同的多个GOP；其中，各个GOP之间的时间间隔为第一设定时间间隔。
由于每个GOP中的I帧，即关键帧，均对应一个播放时间，且各个GOP 之间的时间间隔均相同，因此，分别对应不同播放时间的多个GOP，也就等同于时间间隔相同的多个GOP。
第二种划分方式：将子视频划分为帧数相等的多个GOP；其中，各个 GOP所包括的图像帧的个数为设定个数。
由于每个GOP中包括的图像帧的个数均相同，因此，视频处理设备还可以将子视频划分为帧数相等的多个GOP，从而实现将子视频划分为多个播放时间的GOP。
比如，视频处理设备可以将图2B中所示的A区域划分为1000个播放时间的GOP，得到的1000个GOP依次为A1、A2、A3、......、A999、A1000。同样，可以将B区域也划分为这1000个播放时间的GOP，得到的1000个 GOP依次为B1、B2、B3、......、B999、B1000，直至将所有区域全部划分完毕，其中，A1、B1、......、L1均对应第一个播放时间，A2、B2、......、L2均对应第二个播放时间，以此类推。
步骤203：将针对多个子视频得到的多个GOP中对应同一播放时间的 GOP按照设定空间顺序进行合成，得到多个空间GOP组。
比如，视频处理设备可以将A-L这12个画面区域中的A1、B1、......、 L1依次排列，得到第一个空间GOP组，将A2、B2、......、L2对依次排列，得到第二个空间GOP组，以此类推，最后可以得到12个空间GOP组。
步骤204：将多个空间GOP组按照时间顺序进行合成，得到VR视频。
比如，通过步骤203可以得到12个空间GOP组，将这12个空间GOP 组按照时间顺序进行合成，可以得到VR视频，该VR视频的GOP依次为 A1、B1、......、L1、A2、B2、......、L2、......、A1000、B1000、......、L1000，图2C示出了一种排列各个画面区域的GOP的示例图，其中，每个GOP的尺寸均为960像素*720像素。
步骤205：确定当前显示界面所关联的画面区域。
其中，视频处理设备可以通过内置陀螺仪的角度变化确定当前显示界面所关联的画面区域，用户在头部佩戴该视频处理设备时可以通过转动头部等方式使内置陀螺仪的角度发生变化。本步骤的具体实现方式可以参考相关技术，本发明实施例对此不做详细阐述。
比如，当用户的视线所在的显示界面为图2D中所示的虚线方框区域时，视频处理设备可以通过内置陀螺仪确定当前显示界面所关联的画面区域为 B、C、F和G区域。再比如，当用户的视线所在的显示界面为图2E中所示的虚线方框区域时，视频处理设备可以通过内置陀螺仪确定当前显示界面所关联的画面区域为G和K区域。又比如，当用户的视线所在的显示界面为图2F中所示的虚线方框区域时，视频处理设备可以通过内置陀螺仪确定当前显示界面所关联的画面区域为G、H、K和L区域。
步骤206：从VR视频中，解码处于当前显示界面所关联的画面区域中且与当前播放时间对应的GOP，并进行播放。
本步骤的实现方式可以为：将处于当前显示界面所关联的画面区域中且与当前播放时间对应的GOP，按照当前显示界面所关联的画面区域在原始视频中的位置进行合成；通过一个解码器解码合成后的GOP，并进行播放。
比如，当前显示界面的画面区域可以为图2D中的B、C、F和G区域区域，当前播放时间可以对应第3个播放时间点，因此，视频处理设备可以根据第3个播放时间点，将B、C、F和G区域中分别与第3个播放时间点对应的B3、C3、F3和G3这四个GOP，按照B、C、F和G区域在原始视频中的位置进行合成，进而通过一个解码器解码由B3、C3、F3和G3这四个GOP 所合成的GOP并播放，并可以将其他区域对应第3个播放时间点的GOP的码流丢弃，也即是无需在播放时解码整个原始视频，从而可以大大降低解码的复杂度，提高解码效率，同时也减轻了解码器的负荷。
在处于该画面区域中且与当前播放时间对应的GOP播放完毕之后，当然还需要继续播放其他的GOP，以使用户观看到连贯播放的VR视频，因此，在本步骤之后，当显示界面未移动时，也即用户需要继续观看当前画面区域的后续视频画面时，可以执行步骤207；当显示界面移动时，也即用户此时想要观看其他角度的后续视频画面时，可以返回步骤205。
步骤207：当显示界面未移动时，对第二设定时间间隔后的GOP进行解码。
比如，当用户当前观看到B3、C3、F3和G3所合成的GOP之后，如果显示界面未移动，则意味着用户需要继续观看B4、C4、F4和G4，由于各个GOP 之间的时间间隔相同，因此，视频处理设备可以对分别与B3、C3、F3和G3之间的时间间隔为第二设定时间间隔的GOP进行合成并解码，也即对B4、 C4、F4和G4所合成的GOP进行解码。其中，由于B3与B4、C3与C4、F3与F4、以及G3与G4之间的时间间隔实际上均为一个空间GOP组的播放时长，因此为了实现在B3之后解码B4，C3之后解码C4，F3之后解码F4，以及 G3之后解码G4，第二设定时间间隔可以设定为一个空间GOP组的播放时长。
另外，当显示界面未移动时，视频处理设备可以返回确定当前显示界面所关联的画面区域的步骤，也即返回步骤205。
比如，当用户当前观看到B4、C4、F4和G4之后，如果显示界面移动至A、B、E和F区域，则意味着用户需要观看A5、B5、E5和F5，此时视频处理设备可以返回步骤205，以确定当前显示界面所关联的画面区域，从而对需要显示的区域进行重新定位，之后可以进一步播放与重新定位后的播放时间相对应的GOP，直至播放到VR视频的最后一个GOP，至此，实现了VR视频解码和播放的处理过程。
本发明实施例包括以下优点：首先将原始视频从空间上划分为多个画面区域的子视频，再将每个子视频从时间上划分为多个播放时间的编码图像组 GOP，并按照设定空间顺序和时间顺序对划分得到的多个GOP进行合成，得到VR视频，从而可以将画面范围较大的原始视频通过划分和合成的步骤转化为画面范围较小的VR视频，进而可以在播放前只对当前所显示的画面区域中的GOP进行处理，而无需对当前播放时间对应的整个视频画面进行处理，因此在只使用一个解码器进行视频处理的情况下，能够大大降低解码的复杂度，提高解码效率，同时减轻了处理过程中解码器的负荷。另外，在播放合成VR视频的过程中，当显示界面未移动时，可以对第二设定时间间隔后的GOP进行解码，也即是对当前GOP之后相同画面区域的下一各GOP 进行播放，从而可以保证画面播放的连续性；而当显示界面移动时，可以重新定位当前GOP，进而转移至当前GOP进行播放，从而可以保证用户视角移动时画面播放的连续性。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
实施例三
参照图3，示出了一种视频处理装置300的框图，该装置具体可以包括：
第一划分模块301，用于将原始视频划分为多个画面区域的子视频；
第二划分模块302，用于对于多个子视频中的每个子视频，将子视频划分为多个播放时间的编码图像组GOP；
第一合成模块303，用于将针对多个子视频得到的多个GOP中对应同一播放时间的GOP按照设定空间顺序进行合成，得到多个空间GOP组；
第二合成模块304，用于将多个空间GOP组按照时间顺序进行合成，得到虚拟现实VR视频；
确定模块305，用于确定当前显示界面所关联的画面区域；
播放模块306，用于从VR视频中，解码处于当前显示界面所关联的画面区域中且与当前播放时间对应的GOP，并进行播放。
本发明实施例包括以下优点：首先通过第一划分模块将原始视频从空间上划分为多个画面区域的子视频，再通过第二划分模块将每个子视频从时间上划分为多个播放时间的编码图像组GOP，并通过第一合成模块和第二合成模块，按照设定空间顺序和时间顺序对划分得到的多个GOP进行合成，得到VR视频，从而可以将画面范围较大的原始视频通过划分和合成的步骤转化为画面范围较小的VR视频，进而可以在播放前只对当前所显示的画面区域中的GOP进行处理，而无需对当前播放时间对应的整个视频画面进行处理，因此在只使用一个解码器进行视频处理的情况下，能够大大降低解码的复杂度，提高解码效率，同时减轻了处理过程中解码器的负荷。
实施例四
参照图4A，示出了另一种视频处理装置400的框图，该装置具体可以包括：
第一划分模块401，用于将原始视频划分为多个画面区域的子视频；
第二划分模块402，用于对于多个子视频中的每个子视频，将子视频划分为多个播放时间的编码图像组GOP；
第一合成模块403，用于将针对多个子视频得到的多个GOP中对应同一播放时间的GOP按照设定空间顺序进行合成，得到多个空间GOP组；
第二合成模块404，用于将多个空间GOP组按照时间顺序进行合成，得到虚拟现实VR视频；
确定模块405，用于确定当前显示界面所关联的画面区域；
播放模块406，用于从VR视频中，解码处于当前显示界面所关联的画面区域中且与当前播放时间对应的GOP，并进行播放。
可选地，参照图4B，第一划分模块401包括：
第一划分子模块4011，用于按照设定长度和设定宽度，将原始视频划分为长度相同且宽度相同的多个子视频。
可选地，参照图4C，播放模块406包括：
合成子模块4061，将处于当前显示界面所关联的画面区域中且与当前播放时间对应的GOP，按照当前显示界面所关联的画面区域在原始视频中的位置进行合成；
播放子模块4062，解码合成后的GOP，并进行播放。
可选地，参照图4D，第二划分模块402包括：
第二划分子模块4021，用于将子视频划分为时间间隔相同的多个GOP；其中，各个GOP之间的时间间隔为第一设定时间间隔；或者，
第三划分子模块4022，用于将子视频划分为帧数相等的多个GOP；其中，各个GOP所包括的图像帧的个数为设定个数。
可选地，参照图4E，该装置还包括：
解码模块407，用于当显示界面未移动时，对第二设定时间间隔后的GOP 进行解码。
本发明实施例包括以下优点：首先通过第一划分模块将原始视频从空间上划分为多个画面区域的子视频，再通过第二划分模块将每个子视频从时间上划分为多个播放时间的编码图像组GOP，并通过第一合成模块和第二合成模块，按照设定空间顺序和时间顺序对划分得到的多个GOP进行合成，得到VR视频，从而可以将画面范围较大的原始视频通过划分和合成的步骤转化为画面范围较小的VR视频，进而可以在播放前只对当前所显示的画面区域中的GOP进行处理，而无需对当前播放时间对应的整个视频画面进行处理，因此在只使用一个解码器进行视频处理的情况下，能够大大降低解码的复杂度，提高解码效率，同时减轻了处理过程中解码器的负荷。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
在一个典型的配置中，所述计算机设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非持续性的电脑可读媒体(transitory media)，如调制的数据信号和载波。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种视频处理方法和一种视频处理装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种视频处理方法，其特征在于，所述方法包括：
将原始视频划分为多个画面区域的子视频；
对于所述多个子视频中的每个子视频，将所述子视频划分为多个播放时间的编码图像组GOP；
将针对所述多个子视频得到的多个GOP中对应同一播放时间的GOP按照设定空间顺序进行合成，得到多个空间GOP组；
将所述多个空间GOP组按照时间顺序进行合成，得到虚拟现实VR视频；
确定当前显示界面所关联的画面区域；
从所述VR视频中，解码处于所述当前显示界面所关联的画面区域中且与当前播放时间对应的GOP，并进行播放；
所述解码处于所述当前显示界面所关联的画面区域中且与当前播放时间对应的GOP，并进行播放，包括：
将处于所述当前显示界面所关联的画面区域中且与当前播放时间对应的GOP，按照所述当前显示界面所关联的画面区域在所述原始视频中的位置进行合成；
解码合成后的GOP，并进行播放。
2.根据权利要求1所述的方法，其特征在于，所述将原始视频划分为多个画面区域的子视频，包括：
按照设定长度和设定宽度，将原始视频划分为长度相同且宽度相同的多个子视频。
3.根据权利要求1所述的方法，其特征在于，所述将所述子视频划分为多个播放时间的GOP，包括：
将所述子视频划分为时间间隔相同的多个GOP；其中，各个GOP之间的时间间隔为第一设定时间间隔；或者，
将所述子视频划分为帧数相等的多个GOP；其中，各个GOP所包括的图像帧的个数为设定个数。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述显示界面未移动时，对第二设定时间间隔后的GOP进行解码。
5.一种视频处理装置，其特征在于，所述装置包括：
第一划分模块，用于将原始视频划分为多个画面区域的子视频；
第二划分模块，用于对于所述多个子视频中的每个子视频，将所述子视频划分为多个播放时间的编码图像组GOP；
第一合成模块，用于将针对所述多个子视频得到的多个GOP中对应同一播放时间的GOP按照设定空间顺序进行合成，得到多个空间GOP组；
第二合成模块，用于将所述多个空间GOP组按照时间顺序进行合成，得到虚拟现实VR视频；
确定模块，用于确定当前显示界面所关联的画面区域；
播放模块，用于从所述VR视频中，解码处于所述当前显示界面所关联的画面区域中且与当前播放时间对应的GOP，并进行播放；
所述播放模块包括：
合成子模块，将处于所述当前显示界面所关联的画面区域中且与当前播放时间对应的GOP，按照所述当前显示界面所关联的画面区域在所述原始视频中的位置进行合成；
播放子模块，解码合成后的GOP，并进行播放。
6.根据权利要求5所述的装置，其特征在于，所述第一划分模块包括：
第一划分子模块，用于按照设定长度和设定宽度，将原始视频划分为长度相同且宽度相同的多个子视频。
7.根据权利要求5所述的装置，其特征在于，所述第二划分模块包括：
第二划分子模块，用于将所述子视频划分为时间间隔相同的多个GOP；其中，各个GOP之间的时间间隔为第一设定时间间隔；或者，
第三划分子模块，用于将所述子视频划分为帧数相等的多个GOP；其中，各个GOP所包括的图像帧的个数为设定个数。
8.根据权利要求5所述的装置，其特征在于，所述装置还包括：
解码模块，用于当所述显示界面未移动时，对第二设定时间间隔后的GOP进行解码。
CN201710610590.3A 2017-07-24 2017-07-24 一种视频处理方法及装置 Active CN107484004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710610590.3A CN107484004B (zh) 2017-07-24 2017-07-24 一种视频处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710610590.3A CN107484004B (zh) 2017-07-24 2017-07-24 一种视频处理方法及装置

Publications (2)

Publication Number Publication Date
CN107484004A CN107484004A (zh) 2017-12-15
CN107484004B true CN107484004B (zh) 2020-01-03

Family

ID=60596641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710610590.3A Active CN107484004B (zh) 2017-07-24 2017-07-24 一种视频处理方法及装置

Country Status (1)

Country Link
CN (1) CN107484004B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112218158B (zh) * 2019-07-12 2021-12-28 华为技术有限公司 一种视频处理的方法及设备
CN111711859A (zh) * 2020-06-28 2020-09-25 北京奇艺世纪科技有限公司 一种视频图像处理方法、***及终端设备
CN113079406A (zh) * 2021-03-19 2021-07-06 上海哔哩哔哩科技有限公司 视频处理方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012222399A (ja) * 2011-04-04 2012-11-12 Nippon Telegr & Teleph Corp <Ntt> 映像再生システム、映像再生方法、映像再生装置及びプログラム
CN105791882A (zh) * 2016-03-22 2016-07-20 腾讯科技（深圳）有限公司 视频编码方法及装置
CN106060570A (zh) * 2016-06-30 2016-10-26 北京奇艺世纪科技有限公司 一种全景视频图像播放、编码方法及装置
CN106127680A (zh) * 2016-06-29 2016-11-16 深圳市优象计算技术有限公司 一种720度全景视频快速浏览方法
CN106162207A (zh) * 2016-08-25 2016-11-23 北京字节跳动科技有限公司 一种全景视频并行编码方法和装置
CN106454314A (zh) * 2016-10-24 2017-02-22 传线网络科技（上海）有限公司 全景视频解码方法及装置
CN106534892A (zh) * 2016-11-23 2017-03-22 上海沙塔信息科技有限公司 基于可视角度再编码的虚拟现实直播***和方法
CN106537894A (zh) * 2014-07-14 2017-03-22 索尼互动娱乐股份有限公司 用于回放全景视频内容的***和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012222399A (ja) * 2011-04-04 2012-11-12 Nippon Telegr & Teleph Corp <Ntt> 映像再生システム、映像再生方法、映像再生装置及びプログラム
CN106537894A (zh) * 2014-07-14 2017-03-22 索尼互动娱乐股份有限公司 用于回放全景视频内容的***和方法
CN105791882A (zh) * 2016-03-22 2016-07-20 腾讯科技（深圳）有限公司 视频编码方法及装置
CN106127680A (zh) * 2016-06-29 2016-11-16 深圳市优象计算技术有限公司 一种720度全景视频快速浏览方法
CN106060570A (zh) * 2016-06-30 2016-10-26 北京奇艺世纪科技有限公司 一种全景视频图像播放、编码方法及装置
CN106162207A (zh) * 2016-08-25 2016-11-23 北京字节跳动科技有限公司 一种全景视频并行编码方法和装置
CN106454314A (zh) * 2016-10-24 2017-02-22 传线网络科技（上海）有限公司 全景视频解码方法及装置
CN106534892A (zh) * 2016-11-23 2017-03-22 上海沙塔信息科技有限公司 基于可视角度再编码的虚拟现实直播***和方法

Also Published As

Publication number Publication date
CN107484004A (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
CN108063976B (zh) 一种视频处理方法及装置
JP6501904B2 (ja) 球面ビデオのストリーミング
JP6410918B2 (ja) パノラマ映像コンテンツの再生に使用するシステム及び方法
CN112585978B (zh) 生成用于在vr中显示的复合视频流
US20180192063A1 (en) Method and System for Virtual Reality (VR) Video Transcode By Extracting Residual From Different Resolutions
TW201840178A (zh) 適應性擾動立方體之地圖投影
BR112019019191A2 (pt) projeções de esfera polar para compactação eficiente de vídeo de 360 graus
CN107484004B (zh) 一种视频处理方法及装置
CN107683607A (zh) 信息处理设备和信息处理方法
RU2733218C2 (ru) Способ, аппарат и поток для форматирования иммерсивного видеоизображения для традиционных и иммерсивных устройств воспроизведения
JP7035401B2 (ja) 画像処理装置およびファイル生成装置
CN110933461B (zh) 图像处理方法、装置、***、网络设备、终端及存储介质
CN109788212A (zh) 一种分段视频的处理方法、装置、终端和存储介质
TW201921918A (zh) 影像處理裝置及檔案生成裝置
CN109587478A (zh) 一种媒体信息的处理方法及装置
CN113497963B (zh) 视频处理方法、装置及设备
CA3056739A1 (en) Information processing apparatus and information processing method, and program
KR102413098B1 (ko) 영상 처리 방법 및 이를 이용한 영상 재생 장치
KR20200143287A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102499900B1 (ko) 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법
CN114339265A (zh) 视频处理、控制、播放方法及设备、介质
JP7239029B2 (ja) 画像処理装置およびファイル生成装置
KR102658474B1 (ko) 가상 시점 합성을 위한 영상 부호화/복호화 방법 및 장치
KR101630720B1 (ko) 3d 비디오 소스 저장 방법 및 장치와 3d 비디오 재생 방법 및 장치
Alvarez-Mesa et al. Advanced Video Compression and Rendering for Highly Immersive 8K+ Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant