CN115134574B - 动态元数据生成方法、装置、设备及存储介质 - Google Patents

动态元数据生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115134574B
CN115134574B CN202210733621.5A CN202210733621A CN115134574B CN 115134574 B CN115134574 B CN 115134574B CN 202210733621 A CN202210733621 A CN 202210733621A CN 115134574 B CN115134574 B CN 115134574B
Authority
CN
China
Prior art keywords
view
metadata
video
angle
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210733621.5A
Other languages
English (en)
Other versions
CN115134574A (zh
Inventor
马晓
潘兴浩
谢于贵
李康敬
许海滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
Original Assignee
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Migu Cultural Technology Co Ltd, China Mobile Communications Group Co Ltd, MIGU Video Technology Co Ltd filed Critical Migu Cultural Technology Co Ltd
Priority to CN202210733621.5A priority Critical patent/CN115134574B/zh
Publication of CN115134574A publication Critical patent/CN115134574A/zh
Application granted granted Critical
Publication of CN115134574B publication Critical patent/CN115134574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明属于数据处理技术领域，公开了一种动态元数据生成方法、装置、设备及存储介质。本发明通过从拍摄多视角视频的多个视角中选取一视角作为主视角，并获取主视角对应的主视角视频数据；对主视角视频数据进行色域转换，并对转换后获得的色域通道图进行数据统计，获得主视角元数据；获取与主视角相邻的邻域视角；根据主视角元数据确定邻域视角对应的视角元数据；若多视角视频对应的各个视角均计算过视角元数据，则将各视角对应的视角元数据封装至多视角视频中。由于会预先选定主视角计算主视角元数据，此后会利用视间参考关系依据主视角元数据计算邻域视角的视角元数据，不必对每个视角均进行一次完整计算，大幅提高了元数据的获取速率。

Description

动态元数据生成方法、装置、设备及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种动态元数据生成方法、装置、设备及存储介质。
背景技术
高动态范围(High Dynamic Range Imaging，HDR)技术主要应用于超高清视频领域，和标准动态范围(Standard Dynamic Range，SDR)视频相比，HDR视频有更高的动态范围和色域空间更加接近真实世界的亮度和色彩。
而多视角视频已经广泛应用在体育赛事和综艺场景中，通过环绕多视角的拍摄方式，记录场景中每个时刻的多个视角内容，在用户观看时，可以自由选择关注的视角进行观看，在丰富视频内容的同时，优化了用户的沉浸式体验。但是，目前HDR视频技术都是应用于单视角视频中，在多视角视频中的应用及元数据的定义方案尚不成熟。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种动态元数据生成方法、装置、设备及存储介质，旨在解决现有技术无法快速生成多视角视频对应的各个拍摄视角的动态元数据的技术问题。
为实现上述目的，本发明提供了一种动态元数据生成方法，所述方法包括以下步骤:
从拍摄多视角视频的多个视角中选取一视角作为主视角，并获取所述主视角对应的主视角视频数据；
对所述主视角视频数据进行色域转换，并对转换后获得的色域通道图进行数据统计，获得主视角元数据；
获取与所述主视角相邻的邻域视角；
根据所述主视角元数据确定所述邻域视角对应的视角元数据；
若所述多视角视频对应的各个视角均计算过视角元数据，则将各视角对应的视角元数据封装至所述多视角视频中。
可选的，所述获取所述主视角对应的邻域视角，并根据所述主视角元数据确定所述邻域视角对应的视角元数据的步骤之后，还包括：
若所述多视角视频对应的各个视角中存在未计算过视角元数据的视角，则将所述邻域视角作为新的主视角，并返回所述获取所述主视角对应的邻域视角，并根据所述主视角元数据确定所述邻域视角对应的视角元数据的步骤。
可选的，所述根据所述主视角元数据确定所述邻域视角对应的视角元数据的步骤，包括：
将所述主视角及所述邻域视角对应的视频画面分别进行宏块划分，获得主视角宏块及邻域视角宏块；
根据所述主视角宏块及所述邻域视角宏块确定所述主视角与所述邻域视角的视频画面之间的画面相似度；
计算所述主视角对应的视频画面的画面差异度；
根据所述画面相似度及所述画面差异度确定相似复杂比；
若所述相似复杂比大于预设比值阈值时，将所述主视角元数据作为所述邻域视角对应的视角元数据。
可选的，所述根据所述画面相似度及所述画面差异度确定相似复杂比的步骤之后，还包括：
若所述相似复杂比小于或等于预设阈值，则获取所述主视角及所述邻域视角对应的视频画面之间的亮度偏移比例；
根据所述亮度偏移比例对所述主视角元数据进行调整，获得所述邻域视角对应的视角元数据。
可选的，所述若多视角视频对应的各个视角均计算过视角元数据，则将各视角对应的视角元数据封装至所述多视角视频中的步骤，包括：
若所述多视角视频对应的各个视角均计算过视角元数据，则获取各视角对应的视角元数据；
通过预设线性滤波器对各视角对应的视角元数据进行滤波，获得滤波元数据，所述预设线性滤波器为6抽头的线性滤波器；
将所述滤波元数据封装至所述多视角视频中。
可选的，所述若多视角视频对应的各个视角均计算过视角元数据，则将各视角对应的视角元数据封装至所述多视角视频中的步骤，包括：
若多视角视频对应的各个视角均计算过视角元数据，则对所述各视角对应的视频图片帧进行遍历，并将遍历到的视频图片帧作为当前图片帧；
将所述当前图片帧添加至预设缓存队列中；
检测所述当前图片帧是否为场景切换帧；
若所述当前图片帧不为场景切换帧，且所述预设缓存队列中的图片帧数量小于预设帧数阈值，则继续对所述对所述各视角对应的视频图片帧进行遍历；
在遍历结束时，将各视角对应的视角元数据封装至所述多视角视频中。
可选的，所述检测所述当前图片帧是否为场景切换帧的步骤之后，还包括：
若所述当前图片帧为场景切换帧，或所述预设缓存队列中的图片帧数量大于或等于预设帧数阈值，则对所述预设缓存队列中各视频图片帧对应的视角元数据进行时域滤波；
在滤波结束时，将所述预设缓存队列清空，并返回对所述各视角对应的视频图片帧进行遍历，并将遍历到的视频图片帧作为当前图片帧的步骤。
此外，为实现上述目的，本发明还提出一种动态元数据生成装置，所述动态元数据生成装置包括以下模块：
参考选取模块，用于从拍摄多视角视频的多个视角中选取一视角作为主视角，并获取所述主视角对应的主视角视频数据；
数据统计模块，用于对所述主视角视频数据进行色域转换，并对转换后获得的色域通道图进行数据统计，获得主视角元数据；
次级选择模块，用于获取与所述主视角相邻的邻域视角；
数据确定模块，用于根据所述主视角元数据确定所述邻域视角对应的视角元数据；
数据封装模块，用于若所述多视角视频对应的各个视角均计算过视角元数据，则将各视角对应的视角元数据封装至所述多视角视频中。
此外，为实现上述目的，本发明还提出一种动态元数据生成设备，所述动态元数据生成设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的动态元数据生成程序，所述动态元数据生成程序被执行时实现如上所述的动态元数据生成方法的步骤。
此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有动态元数据生成程序，所述动态元数据生成程序执行时实现如上所述的动态元数据生成方法的步骤。
本发明通过从拍摄多视角视频的多个视角中选取一视角作为主视角，并获取主视角对应的主视角视频数据；对主视角视频数据进行色域转换，并对转换后获得的色域通道图进行数据统计，获得主视角元数据；获取与主视角相邻的邻域视角；根据主视角元数据确定邻域视角对应的视角元数据；若多视角视频对应的各个视角均计算过视角元数据，则将各视角对应的视角元数据封装至多视角视频中。由于会预先选定主视角计算主视角元数据，此后会利用视间参考关系依据主视角元数据计算邻域视角的视角元数据，不必对每个视角均进行一次完整计算，大幅提高了元数据的获取速率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的电子设备的结构示意图；
图2为本发明动态元数据生成方法第一实施例的流程示意图；
图3为本发明动态元数据生成方法一实施例的多视角拍摄示意图；
图4为本发明动态元数据生成方法一实施例的邻域视角获取示意图；
图5为本发明动态元数据生成方法第二实施例的流程示意图；
图6为本发明动态元数据生成装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的动态元数据生成设备结构示意图。
如图1所示，该电子设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及动态元数据生成程序。
在图1所示的电子设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明电子设备中的处理器1001、存储器1005可以设置在动态元数据生成设备中，所述电子设备通过处理器1001调用存储器1005中存储的动态元数据生成程序，并执行本发明实施例提供的动态元数据生成方法。
本发明实施例提供了一种动态元数据生成方法，参照图2，图2为本发明一种动态元数据生成方法第一实施例的流程示意图。
本实施例中，所述动态元数据生成方法包括以下步骤：
步骤S10：从拍摄多视角视频的多个视角中选取一视角作为主视角，并获取所述主视角对应的主视角视频数据。
需要说明的是，本实施例的执行主体可以是所述动态元数据生成设备，所述动态元数据生成设备可以是个人电脑、服务器等电子设备，还可以是其他可实现相同或相似功能的设备，本实施例对此不加以限制，在本实施例及下述各实施例中，以动态元数据生成设备为例对本发明动态元数据生成方法进行说明。
需要说明的是，多视角视频是通过将摄像设备放置于同一平面的不同角度位置，记录场景中的不同视角的信息，每一个摄像设备的拍摄角度，就是多视角视频中的一个视角。从拍摄多视角视频的多个视角中选取一视角作为主视角可以是从拍摄多视角视频的多个视角中随机选取一个视角作为主视角，当然，也可以采取其他方式选取主视角，本实施例对此不加以限制。主视角对应的主视角视频数据可以是多视角视频中与主视角相对应的部分视频数据。
步骤S20：对所述主视角视频数据进行色域转换，并对转换后获得的色域通道图进行数据统计，获得主视角元数据。
需要说明的是，一般情况下，视频数据均是通过编码的，并不可直接进行色域转换，而目前大多数情况下，视频数据进行解码后获得的数据，均是YUV格式的数据，因此，对主视角视频数据进行色域转换可以是先对主视角视频数据进行解码，然后将解码后获得的YUV数据进行色域转换，将其转换为对应的RGB数据，并根据转换后的RGB数据构建色域通道图。其中，色域通道图可以是RGB三通道图。其中，在将YUV数据转换为RGB数据时，为了可以仅在YUV数据的Y通道中进行计算，可以节省YUV和RGB互相转换所需的性能，从而提升计算速度。
在实际使用中，可以是在色域通道图中计算亮通道图，亮通道图可以记为F，其具体计算公式可以为：
Fi,j＝max(Ri,j,Gi,j,Bi,j)
式中，Ri,j为色域通道图中R通道的色彩数据，Gi,j为色域通道图中G通道的色彩数据，Bi,j为色域通道图中B通道的色彩数据。
其中，和普通2D视频的统计信息元数据计算方式一样，F对应位置的R，G，B通道对应位置的最大值为统计信息的最大值，其他元数据如均值、最小值、变化范围计算方式也和2D视频计算方法相同，最终计算得到主视角对应的主视角元数据。
步骤S30：获取与所述主视角相邻的邻域视角。
需要说明的是，邻域视角可以是拍摄角度与主视角对应的拍摄角度相邻的视角。
为了便于理解，现结合图3及图4进行说明，其中，图3为多视角拍摄示意图，图4为邻域视角获取示意图。
如图3所示，拍摄多视角视频时共从61个角度进行拍摄，按照相邻顺序将各个角度进行编号，分别为0-60，假设此时以编号为0摄像机的拍摄角度为主视角，则选取邻域视角可以如图4中所示，若遍历顺序使用向右箭头方向进行遍历，则此时编号为1的摄像机的拍摄角度为邻域视角，而若是遍历顺序使用向左箭头方向进行遍历，则此时编号为60的摄像机的拍摄角度为邻域视角，当然，若此时选择同时向两端进行遍历，则此时可以将编号为1和60的摄像机的拍摄角度均作为邻域视角。
步骤S40：根据所述主视角元数据确定所述邻域视角对应的视角元数据。
需要说明的是，视角元数据可以是视角对应的动态元数据。由于相邻视角的视频存在结构、内容和亮度的相似性，因此，根据相邻视角视频的相似性对主视角元数据进行适当调整，即可快速获得邻域视角对应的视角元数据。
步骤S50：若所述多视角视频对应的各个视角均计算过视角元数据，则将各视角对应的视角元数据封装至所述多视角视频中。
可以理解的是，若多视角视频对应的各个视角均计算过视角元数据，则表示对多视角视频的动态元数据生成已经完成，因此，可以将各视角对应的视角元数据封装至多视角视频中，以便于多视角视频播放时进行使用。
在实际使用中，将各视角对应的视角元数据封装至多视角视频中可以是通过增强数据的形式将各视角对应的视角元数据编码到多视角视频对应的视频文件或视频流中。
进一步的，由于相邻的视角之间的参考及多视角之间内容亮度变化会导致画面闪烁，为了消除画面闪烁，需要对元数据进行视间滤波，则此时，本实施例所述步骤S50，可以包括：
若所述多视角视频对应的各个视角均计算过视角元数据，则获取各视角对应的视角元数据；
通过预设线性滤波器对各视角对应的视角元数据进行滤波，获得滤波元数据，所述预设线性滤波器为6抽头的线性滤波器；
将所述滤波元数据封装至所述多视角视频中。
需要说明的是，预设线性滤波器可以是6抽头的线性滤波器，其滤波器系数可以以下述公式表示：
式中，K'N可以是视间处理后的元数据，KN为进行滤波时的当前视角对应的视角元数据，KN-1为视角编号比当前视角编号小1的视角对应的视角元数据，KN-2为视角编号比当前视角编号小2的视角对应的视角元数据，KN+1为视角编号比当前视角编号大1的视角对应的视角元数据，KN+2为视角编号比当前视角编号大2的视角对应的视角元数据。
进一步的，由于时域的单帧处理也可能会引入闪烁问题，为了消除此类闪烁问题，需要对视角元数据进行时域滤波，则此时本实施例所述步骤S50，可以包括：
若多视角视频对应的各个视角均计算过视角元数据，则对所述各视角对应的视频图片帧进行遍历，并将遍历到的视频图片帧作为当前图片帧；
将所述当前图片帧添加至预设缓存队列中；
检测所述当前图片帧是否为场景切换帧；
若所述当前图片帧不为场景切换帧，且所述预设缓存队列中的图片帧数量小于预设帧数阈值，则继续对所述对所述各视角对应的视频图片帧进行遍历；
在遍历结束时，将各视角对应的视角元数据封装至所述多视角视频中。
需要说明的是，预设帧数阈值可以由动态元数据生成设备的管理人员根据实际需要进行设置，例如：管理人员设置2秒进行一次时域滤波，而每秒帧率为30帧，则此时预设帧数阈值可以为60。检测当前图片帧是否为场景切换帧可以是从预设缓存队列中获取当前图片帧对应的前一图片帧，然后将当前图片帧与前一图片帧按预设规格的宏块大小划分，计算当前图片帧和前一图片帧对应的宏块之间的标准差，当标准差大于预设差值阈值，则可以判定当前图片帧发生了场景切换，此时可以判定当前图片帧为场景切换帧。
可以理解的是，若是当前图片帧并非场景切换帧，且预设缓存队列中的图片帧小于预设帧数阈值，则可以继续对各视角对应的视频图片帧进行遍历，将遍历到的视频图片帧添加至预设缓存队列中。
在实际使用中，若对各视角对应的视频图片帧遍历结束，则表示时域滤波已经结束，因此，可以将各视角对应的视角元数据封装至多视角视频中。
在具体实现中，若当前图片帧为场景切换帧，或预设缓存队列中的图片帧数量大于或等于预设帧数阈值，则表示满足了时域滤波的触发条件，此时需要进行时域滤波，则此时本实施例所述检测所述当前图片帧是否为场景切换帧的步骤之后，还可以包括：
若所述当前图片帧为场景切换帧，或所述预设缓存队列中的图片帧数量大于或等于预设帧数阈值，则对所述预设缓存队列中各视频图片帧对应的视角元数据进行时域滤波；
在滤波结束时，将所述预设缓存队列清空，并返回对所述各视角对应的视频图片帧进行遍历，并将遍历到的视频图片帧作为当前图片帧的步骤。
需要说明的是，若当前图片帧为场景切换帧，或预设缓存队列中的图片帧数量大于或等于预设帧数阈值，则表示满足了时域滤波的触发条件，此时可以对预设缓存队列中的所有图片帧进行元数据时域滤波，元数据时域滤波的公式如下：
其中，
式中，Kt'为最终处理后输出的元数据，Kt可以是处理之前的元数据，可以为预设缓存队列中图片帧对应的元数据的均值，T为预设缓存队列中图片帧的数量。
需要说明的是，滤波结束后，则表示此时预设缓存队列中的所有图片真的对应的元数据已经进行过处理，为了避免后续重复处理，此时可以将预设缓存队列清空，然后继续对各视角对应的视频图片帧进行遍历，以对剩余的视频图片帧进行后续处理。
需要说明的是，时域滤波及视间滤波可配合进行使用，例如：先进行视间滤波再进行时域滤波，或先进行时域滤波再进行视间滤波，本实施例对此不加以限制。
进一步的，为了保证可以快速获得所有多视角视频对应的所有视角的动态元数据，本实施例所述步骤S40之后，还可以包括：
若所述多视角视频对应的各个视角中存在未计算过视角元数据的视角，则将所述邻域视角作为新的主视角，并返回所述获取所述主视角对应的邻域视角，并根据所述主视角元数据确定所述邻域视角对应的视角元数据的步骤。
可以理解的是，在确定邻域视角对应的视角元数据时，可以依据其相邻的视角的视角元数据进行快速计算，因此，在还存在未计算过视角元数据的视角，则此时可以将此时的邻域视角作为新的主视角，然后利用新的主视角对应的视角元数据对后续再次选择的邻域视角的视角元数据进行计算，可以大幅提高获取视角元数据的速度。
本实施例通过从拍摄多视角视频的多个视角中选取一视角作为主视角，并获取主视角对应的主视角视频数据；对主视角视频数据进行色域转换，并对转换后获得的色域通道图进行数据统计，获得主视角元数据；获取与主视角相邻的邻域视角；根据主视角元数据确定邻域视角对应的视角元数据；若多视角视频对应的各个视角均计算过视角元数据，则将各视角对应的视角元数据封装至多视角视频中。由于会预先选定主视角计算主视角元数据，此后会利用视间参考关系依据主视角元数据计算邻域视角的视角元数据，不必对每个视角均进行一次完整计算，大幅提高了元数据的获取速率。
参考图5，图5为本发明一种动态元数据生成方法第二实施例的流程示意图。
基于上述第一实施例，本实施例动态元数据生成方法的所述步骤S40，包括：
步骤S401：将所述主视角及所述邻域视角对应的视频画面分别进行宏块划分，获得主视角宏块及邻域视角宏块。
需要说明的是，将主视角及邻域视角对应的视频画面分别进行宏块划分，获得主视角宏块及邻域视角宏块可以是按预设规格将主视角对应的视频画面进行对应位置的划分，获得多个主视角宏块，以及按照预设规则将邻域视角对应的视频画面进行对应位置的划分，获得多个邻域视角宏块。其中，预设规格可以根据多视角视频的清晰程度进行确定，例如：一般采用16X16的规格进行宏块划分，但是如果多视角视频是超高清4K或8K视频，则可以将宏块大小扩展到32X32。
步骤S402：根据所述主视角宏块及所述邻域视角宏块确定所述主视角与所述邻域视角的视频画面之间的画面相似度。
需要说明的是，可以根据对应的位置将主视角宏块及邻域视角宏块一一对应，然后在对应的主视角宏块及邻域视角宏块内抽取接近中心点的像素值进行相似度的统计，最终获取主视角与邻域视角的视频画面之间的画面相似度，其具体的计算公式可以为：
式中，FN(i,j)可以是邻域视角的视频画面，FN-1(i,j)可以是主视角的视频画面，ρ为计算的画面相似度，ρ越大则表示内容差异越大，画面相似度越低；m的大小为视频画面的宽度除以宏块的宽度，n的大小为视频画面的高度除以宏块的高度，如：假设视频画面的高度为h，宽度为w，宏块的规格为16X16，则m＝w/16，n＝h/16。
步骤S403：计算所述主视角对应的视频画面的画面差异度。
需要说明的是，计算主视角对应的视频画面的画面差异度可以是将主视角对应的视频画面延画面中线划分为左半图和右半图，然后计算左半图和右版图的画面差异度，画面差异度用于表示主视角图像的场景变化系数。
其中，画面差异度计算公式如下：
式中，ρ'为画面差异度，FN-L(i,j)可以是主视角视频画面的左半图，FN-R(i,j)可以是主视角视频画面的右半图，m的大小为视频画面的宽度除以宏块的宽度，n的大小为视频画面的高度除以宏块的高度。
步骤S404：根据所述画面相似度及所述画面差异度确定相似复杂比。
需要说明的是，根据画面相似度及画面差异度确定相似复杂比可以是将画面相似度与画面差异度的比值作为相似复杂比，即相似复杂比ζ＝ρ/ρ'。
步骤S405：若所述相似复杂比大于预设比值阈值时，将所述主视角元数据作为所述邻域视角对应的视角元数据。
需要说明的是，预设比值阈值可以由动态元数据生成设备的管理人员根据实际需要进行设置，例如：将预设比值阈值设置为1。
在实际使用中，若相似复杂比大于预设比值阈值，则表示相邻视角之间的视频画面的内容差异小于主视角视频画面中左右画面的内容差异，可以判断主视角和邻域视角的视频画面的内容差异不大，因此，可以直接将主视角元数据作为邻域视角对应的视角元数据。
在具体实现中，若相似复杂比小于或等于预设比值阈值，则表示主视角和邻域视角的视频画面的内容差异较大，此时需要进行额外处理，因此，本实施例所述步骤S404之后，还可以包括：
若所述相似复杂比小于或等于预设阈值，则获取所述主视角及所述邻域视角对应的视频画面之间的亮度偏移比例；
根据所述亮度偏移比例对所述主视角元数据进行调整，获得所述邻域视角对应的视角元数据。
需要说明的是，亮度偏移比例可以通过主视角对应的视频数据及邻域视角对应的视频数据来确定。
例如：以元数据中的最大值信息为例，此时可以计算主视角视频数据的Y通道的最大值(以表示)和邻域视角视频数据的Y通道的最大值(以/>表示)，则此时亮度偏移比例为/>此时邻域视角的元数据中的最大值信息/>Kn为邻域视角的元数据中的最大值信息，Kn-1为主视角的元数据中的最大值信息。其中，其他元数据包括平均值、最小值等元数据的计算类似于最大值的计算过程。
本实施例通过将所述主视角及所述邻域视角对应的视频画面分别进行宏块划分，获得主视角宏块及邻域视角宏块；根据所述主视角宏块及所述邻域视角宏块确定所述主视角与所述邻域视角的视频画面之间的画面相似度；计算所述主视角对应的视频画面的画面差异度；根据所述画面相似度及所述画面差异度确定相似复杂比；若所述相似复杂比大于预设比值阈值时，将所述主视角元数据作为所述邻域视角对应的视角元数据。由于会计算画面相似度及画面差异度，然后通过画面相似度及画面差异度得到的相似复杂比判断主视角视频画面与邻域视角的视频画面的内容差异，由此确定如何根据主视角元数据生成邻域视角的视角元数据，在保证可快速获取视角元数据的同时，也保证了生成的视角元数据的可靠性。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有动态元数据生成程序，所述动态元数据生成程序被处理器执行时实现如上文所述的动态元数据生成方法的步骤。
参照图6，图6为本发明动态元数据生成装置第一实施例的结构框图。
如图6所示，本发明实施例提出的动态元数据生成装置包括：
参考选取模块10，用于从拍摄多视角视频的多个视角中选取一视角作为主视角，并获取所述主视角对应的主视角视频数据；
数据统计模块20，用于对所述主视角视频数据进行色域转换，并对转换后获得的色域通道图进行数据统计，获得主视角元数据；
次级选择模块30，用于获取与所述主视角相邻的邻域视角；
数据确定模块40，用于根据所述主视角元数据确定所述邻域视角对应的视角元数据；
数据封装模块50，用于若所述多视角视频对应的各个视角均计算过视角元数据，则将各视角对应的视角元数据封装至所述多视角视频中。
本实施例通过从拍摄多视角视频的多个视角中选取一视角作为主视角，并获取主视角对应的主视角视频数据；对主视角视频数据进行色域转换，并对转换后获得的色域通道图进行数据统计，获得主视角元数据；获取与主视角相邻的邻域视角；根据主视角元数据确定邻域视角对应的视角元数据；若多视角视频对应的各个视角均计算过视角元数据，则将各视角对应的视角元数据封装至多视角视频中。由于会预先选定主视角计算主视角元数据，此后会利用视间参考关系依据主视角元数据计算邻域视角的视角元数据，不必对每个视角均进行一次完整计算，大幅提高了元数据的获取速率。
进一步地，所述数据封装模块50，还用于若所述多视角视频对应的各个视角中存在未计算过视角元数据的视角，则将所述邻域视角作为新的主视角，并返回所述获取所述主视角对应的邻域视角，并根据所述主视角元数据确定所述邻域视角对应的视角元数据的步骤。
进一步地，所述数据确定模块40，还用于将所述主视角及所述邻域视角对应的视频画面分别进行宏块划分，获得主视角宏块及邻域视角宏块；根据所述主视角宏块及所述邻域视角宏块确定所述主视角与所述邻域视角的视频画面之间的画面相似度；计算所述主视角对应的视频画面的画面差异度；根据所述画面相似度及所述画面差异度确定相似复杂比；若所述相似复杂比大于预设比值阈值时，将所述主视角元数据作为所述邻域视角对应的视角元数据。
进一步地，所述数据确定模块40，还用于若所述相似复杂比小于或等于预设阈值，则获取所述主视角及所述邻域视角对应的视频画面之间的亮度偏移比例；根据所述亮度偏移比例对所述主视角元数据进行调整，获得所述邻域视角对应的视角元数据。
进一步的，所述数据封装模块50，还用于若所述多视角视频对应的各个视角均计算过视角元数据，则获取各视角对应的视角元数据；通过预设线性滤波器对各视角对应的视角元数据进行滤波，获得滤波元数据，所述预设线性滤波器为6抽头的线性滤波器；将所述滤波元数据封装至所述多视角视频中。
进一步的，所述数据封装模块50，还用于若多视角视频对应的各个视角均计算过视角元数据，则对所述各视角对应的视频图片帧进行遍历，并将遍历到的视频图片帧作为当前图片帧；将所述当前图片帧添加至预设缓存队列中；检测所述当前图片帧是否为场景切换帧；若所述当前图片帧不为场景切换帧，且所述预设缓存队列中的图片帧数量小于预设帧数阈值，则继续对所述对所述各视角对应的视频图片帧进行遍历；在遍历结束时，将各视角对应的视角元数据封装至所述多视角视频中。
进一步的，所述数据封装模块50，还用于若所述当前图片帧为场景切换帧，或所述预设缓存队列中的图片帧数量大于或等于预设帧数阈值，则对所述预设缓存队列中各视频图片帧对应的视角元数据进行时域滤波；在滤波结束时，将所述预设缓存队列清空，并返回对所述各视角对应的视频图片帧进行遍历，并将遍历到的视频图片帧作为当前图片帧的步骤。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的动态元数据生成方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种动态元数据生成方法，其特征在于，所述动态元数据生成方法包括以下步骤：
从拍摄多视角视频的多个视角中选取一视角作为主视角，并获取所述主视角对应的主视角视频数据；
对所述主视角视频数据进行色域转换，并对转换后获得的色域通道图进行数据统计，获得主视角元数据；
获取与所述主视角相邻的邻域视角；
根据所述主视角元数据确定所述邻域视角对应的视角元数据；
若所述多视角视频对应的各个视角均计算过视角元数据，则将各视角对应的视角元数据封装至所述多视角视频中；
其中，所述获取所述主视角对应的邻域视角，并根据所述主视角元数据确定所述邻域视角对应的视角元数据的步骤之后，还包括：
若所述多视角视频对应的各个视角中存在未计算过视角元数据的视角，则将所述邻域视角作为新的主视角，并返回所述获取所述主视角对应的邻域视角，并根据所述主视角元数据确定所述邻域视角对应的视角元数据的步骤。
2.如权利要求1所述的动态元数据生成方法，其特征在于，所述根据所述主视角元数据确定所述邻域视角对应的视角元数据的步骤，包括：
将所述主视角及所述邻域视角对应的视频画面分别进行宏块划分，获得主视角宏块及邻域视角宏块；
根据所述主视角宏块及所述邻域视角宏块确定所述主视角与所述邻域视角的视频画面之间的画面相似度；
计算所述主视角对应的视频画面的画面差异度；
根据所述画面相似度及所述画面差异度确定相似复杂比；
若所述相似复杂比大于预设比值阈值时，将所述主视角元数据作为所述邻域视角对应的视角元数据。
3.如权利要求2所述的动态元数据生成方法，其特征在于，所述根据所述画面相似度及所述画面差异度确定相似复杂比的步骤之后，还包括：
若所述相似复杂比小于或等于预设阈值，则获取所述主视角及所述邻域视角对应的视频画面之间的亮度偏移比例；
根据所述亮度偏移比例对所述主视角元数据进行调整，获得所述邻域视角对应的视角元数据。
4.如权利要求1所述的动态元数据生成方法，其特征在于，所述若多视角视频对应的各个视角均计算过视角元数据，则将各视角对应的视角元数据封装至所述多视角视频中的步骤，包括：
若所述多视角视频对应的各个视角均计算过视角元数据，则获取各视角对应的视角元数据；
通过预设线性滤波器对各视角对应的视角元数据进行滤波，获得滤波元数据，所述预设线性滤波器为6抽头的线性滤波器；
将所述滤波元数据封装至所述多视角视频中。
5.如权利要求1所述的动态元数据生成方法，其特征在于，所述若多视角视频对应的各个视角均计算过视角元数据，则将各视角对应的视角元数据封装至所述多视角视频中的步骤，包括：
若多视角视频对应的各个视角均计算过视角元数据，则对所述各视角对应的视频图片帧进行遍历，并将遍历到的视频图片帧作为当前图片帧；
将所述当前图片帧添加至预设缓存队列中；
检测所述当前图片帧是否为场景切换帧；
若所述当前图片帧不为场景切换帧，且所述预设缓存队列中的图片帧数量小于预设帧数阈值，则继续对所述对所述各视角对应的视频图片帧进行遍历；
在遍历结束时，将各视角对应的视角元数据封装至所述多视角视频中。
6.如权利要求5所述的动态元数据生成方法，其特征在于，所述检测所述当前图片帧是否为场景切换帧的步骤之后，还包括：
若所述当前图片帧为场景切换帧，或所述预设缓存队列中的图片帧数量大于或等于预设帧数阈值，则对所述预设缓存队列中各视频图片帧对应的视角元数据进行时域滤波；
在滤波结束时，将所述预设缓存队列清空，并返回对所述各视角对应的视频图片帧进行遍历，并将遍历到的视频图片帧作为当前图片帧的步骤。
7.一种动态元数据生成装置，其特征在于，所述动态元数据生成装置包括以下模块：
参考选取模块，用于从拍摄多视角视频的多个视角中选取一视角作为主视角，并获取所述主视角对应的主视角视频数据；
数据统计模块，用于对所述主视角视频数据进行色域转换，并对转换后获得的色域通道图进行数据统计，获得主视角元数据；
次级选择模块，用于获取与所述主视角相邻的邻域视角；
数据确定模块，用于根据所述主视角元数据确定所述邻域视角对应的视角元数据；
数据封装模块，用于若所述多视角视频对应的各个视角均计算过视角元数据，则将各视角对应的视角元数据封装至所述多视角视频中；
所述数据封装模块，还用于若所述多视角视频对应的各个视角中存在未计算过视角元数据的视角，则将所述邻域视角作为新的主视角，并返回所述获取所述主视角对应的邻域视角，并根据所述主视角元数据确定所述邻域视角对应的视角元数据的步骤。
8.一种动态元数据生成设备，其特征在于，所述动态元数据生成设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的动态元数据生成程序，所述动态元数据生成程序被执行时实现如权利要求1-6中任一项所述的动态元数据生成方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有动态元数据生成程序，所述动态元数据生成程序执行时实现如权利要求1-6中任一项所述的动态元数据生成方法的步骤。
CN202210733621.5A 2022-06-24 2022-06-24 动态元数据生成方法、装置、设备及存储介质 Active CN115134574B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210733621.5A CN115134574B (zh) 2022-06-24 2022-06-24 动态元数据生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210733621.5A CN115134574B (zh) 2022-06-24 2022-06-24 动态元数据生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115134574A CN115134574A (zh) 2022-09-30
CN115134574B true CN115134574B (zh) 2023-08-01

Family

ID=83380291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210733621.5A Active CN115134574B (zh) 2022-06-24 2022-06-24 动态元数据生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115134574B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917619A (zh) * 2010-08-20 2010-12-15 浙江大学 一种多视点视频编码快速运动估计方法
CN103098478A (zh) * 2010-08-16 2013-05-08 富士胶片株式会社 图像处理设备、图像处理方法、图像处理程序、以及记录介质
CN105791882A (zh) * 2016-03-22 2016-07-20 腾讯科技（深圳）有限公司 视频编码方法及装置
CN109564705A (zh) * 2016-07-29 2019-04-02 索尼公司 图像处理装置及图像处理方法
CN110392258A (zh) * 2019-07-09 2019-10-29 武汉大学 一种联合时空边信息的分布式多视点视频压缩采样重建方法
CN112075081A (zh) * 2018-05-03 2020-12-11 奥兰治 多视图视频解码方法和设备以及图像处理方法和设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018156243A1 (en) * 2017-02-22 2018-08-30 Twitter, Inc. Transcoding video
KR102389157B1 (ko) * 2017-09-19 2022-04-21 한국전자통신연구원 계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치
US20190130526A1 (en) * 2017-10-27 2019-05-02 Avago Technologies General Ip (Singapore) Pte. Ltd. Metadata based quality enhancement post-video warping

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103098478A (zh) * 2010-08-16 2013-05-08 富士胶片株式会社 图像处理设备、图像处理方法、图像处理程序、以及记录介质
CN101917619A (zh) * 2010-08-20 2010-12-15 浙江大学 一种多视点视频编码快速运动估计方法
CN105791882A (zh) * 2016-03-22 2016-07-20 腾讯科技（深圳）有限公司 视频编码方法及装置
CN109564705A (zh) * 2016-07-29 2019-04-02 索尼公司 图像处理装置及图像处理方法
CN112075081A (zh) * 2018-05-03 2020-12-11 奥兰治 多视图视频解码方法和设备以及图像处理方法和设备
CN110392258A (zh) * 2019-07-09 2019-10-29 武汉大学 一种联合时空边信息的分布式多视点视频压缩采样重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于多参考块的多视点视频编码方案;潘峰;马力妮;杜小钰;;北京机械工业学院学报(第03期);全文 *
一种基于统计分析的多视点视频编码中Direct模式提前终止算法;王萍;刘琪;张磊;;微电子学与计算机(第01期);全文 *

Also Published As

Publication number Publication date
CN115134574A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
US11202005B2 (en) Image data encoding/decoding method and apparatus
US11778158B2 (en) Image data encoding/decoding method and apparatus
US20220058775A1 (en) Video denoising method and apparatus, and storage medium
US20230379497A1 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
JP7492051B2 (ja) クロマブロック予測方法及び装置
US11902578B2 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
CN110881126B (zh) 色度块预测方法以及设备
WO2020119449A1 (zh) 色度块的预测方法和装置
US20190158825A1 (en) Encoding Method and Device and Decoding Method and Device
US12028512B2 (en) Systems and methods for inter-frame prediction
WO2020103800A1 (zh) 视频解码方法和视频解码器
US9118917B2 (en) Image coding method, image coding apparatus, and imaging system
DE102019218316A1 (de) 3d-renderer-zu-videocodierer-pipeline für verbesserte visuelle qualität und geringe latenz
CN115134574B (zh) 动态元数据生成方法、装置、设备及存储介质
WO2023051156A1 (zh) 视频图像的处理方法及装置
WO2022268181A1 (zh) 视频增强处理方法、装置、电子设备和存储介质
WO2020182194A1 (zh) 帧间预测的方法及相关装置
Yang et al. Fast depth map coding based on virtual view quality
AU2020395346B2 (en) Rank information in immersive media processing
US12035049B2 (en) Image data encoding/decoding method and apparatus
WO2024077616A1 (zh) 编解码方法、装置、设备、及存储介质
WO2020181540A1 (zh) 一种视频处理方法、装置、编码设备及解码设备
CN117979031A (zh) 图像滤波方法、存储介质、电子设备及产品
TW201907723A (zh) 影像壓縮之畫面內預測方法與系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant