CN109309839B - 数据处理方法及装置、电子设备及存储介质 - Google Patents

数据处理方法及装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109309839B
CN109309839B CN201811161404.3A CN201811161404A CN109309839B CN 109309839 B CN109309839 B CN 109309839B CN 201811161404 A CN201811161404 A CN 201811161404A CN 109309839 B CN109309839 B CN 109309839B
Authority
CN
China
Prior art keywords
area
indication information
region
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811161404.3A
Other languages
English (en)
Other versions
CN109309839A (zh
Inventor
夏炀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201811161404.3A priority Critical patent/CN109309839B/zh
Publication of CN109309839A publication Critical patent/CN109309839A/zh
Application granted granted Critical
Publication of CN109309839B publication Critical patent/CN109309839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种数据处理方法及装置、电子设备及存储介质。所述方法包括:将三维视频数据的图像分为第一区域和第二区域;确定第一区域的指示信息,其中,所述指示信息的数据量小于所述第一区域所包含像素的数据量;向移动边缘计算MEC服务器发送所述指示信息及所述第二区域的像素值;其中,所述指示信息,用于在所述MEC服务器进行三维视频建模时使用预定数据填充所述第一区域。

Description

数据处理方法及装置、电子设备及存储介质
技术领域
本发明涉及信息技术领域但不限于技术信息技术领域,尤其涉及一种数据处理方法及装置、电子设备及存储介质。
背景技术
一幅图像一般需要用像素值来逐一表示某一个像素的颜色、灰度、亮度等各种信息。通常情况下,传输同样的信息量,图像和/或视频所消耗的带宽是比较大的。如此,在一些图像传输场景下,若连续传输图像,则可能会消耗大量的带宽和/或,传输时延大的问题。
发明内容
本发明实施例提供了一种数据处理方法及装置、电子设备及存储介质。
一种数据处理方法,应用于终端中,包括:
将三维视频数据的图像分为第一区域和第二区域;
确定第一区域的指示信息,其中,所述指示信息的数据量小于所述第一区域所包含像素的数据量;
向移动边缘计算MEC服务器发送所述指示信息及所述第二区域的像素值;其中,所述指示信息,用于在所述MEC服务器进行三维视频建模时使用预定数据填充所述第一区域。
基于上述方案,所述确定第一区域的指示信息,包括:
根据所述第一区域在所述图像中的位置,生成区域标识信息;
根据替代需求信息,生成替代指示信息,其中,所述替代指示信息,用于所述MEC服务器填充所述第一区域使用的所述预定数据。
基于上述方案,所述根据替代需求信息,生成替代指示信息,包括以下至少之一:
根据替代需求信息,生成指示所述第一区域填充为预定颜色区域的第一替代指示信息;
根据替代需求信息,生成指示所述第一区域填充为透明区域的第二替代指示信息;
根据替代需求信息,生成指示所述第一区域填充为背景区域的第三替代指示信息;
根据替代需求信息,生成指示所述第一区域填充为前景区域替代区域的第四替代指示信息。
基于上述方案,所述方法还包括:
根据检测第一用户指示,确定所述替代需求信息。
基于上述方案,
所述将三维视频数据的图像分为第一区域和第二区域,包括:
根据所述图像中采集对象所在的位置,划分出包含所述采集目标的成像的第二区域及所述第二区域以外的第一区域。
基于上述方案,所述将三维视频数据的图像分为第一区域和第二区域,还包括:
根据检测的第二用户指示,从所述图像中确定出所述第一区域和所述第二区域。
一种数据处理方法,应用于移动边缘计算MEC服务器中,包括:
从终端接收第一区域的指示信息及第二区域的像素值,其中,所述指示信息的数据量小于所述第一区域所包含像素的数据量;
根据所述指示信息,利用预定数据填充第一区域;
组合所述第一区域和所述第二区域,获得三维视频数据的图像。
基于上述方案,所述根据所述指示信息,利用预定数据填充第一区域,包括:
根据所述指示信息中的区域标识信息,确定所述第一区域的位置;
根据所述指示信息中的替代指示信息,确定所述预定数据;
将所述预定数据填充到所确定的位置上。
基于上述方案,所述根据所述指示信息中的替代指示信息,确定所述预定数据,包括以下至少之一:
根据第一替代指示信息,利用预定颜色数据将所述第一区域填充为预定颜色区域;
根据第二替代指示信息,利用透明度数据将所述第一区域填充为透明区域;
根据第三替代指示信息,利用背景图像将所述第一区域填充为背景区域;
根据第四替代指示信息,利用前景图像将所述第一区域填充为前景区域。
一种数据处理装置,应用于终端中,包括:
第一确定模块,用于将三维视频数据的图像分为第一区域和第二区域;
第二确定模块,用于确定第一区域的指示信息,其中,所述指示信息的数据量小于所述第一区域所包含像素的数据量;
发送模块,用于向移动边缘计算MEC服务器发送所述指示信息及所述第二区域的像素值;其中,所述指示信息,用于在所述MEC服务器进行三维视频建模时使用预定数据填充所述第一区域。
基于上述方案,所述第二确定模块,包括:
第一生成子模块,用于根据所述第一区域在所述图像中的位置,生成区域标识信息;
第二生成子模块,用于根据替代需求信息,生成替代指示信息,其中,所述替代指示信息,用于所述MEC服务器填充所述第一区域使用的所述预定数据。
基于上述方案,所述第二生成子模块,具体用于执行以下至少之一:
根据替代需求信息,生成指示所述第一区域填充为预定颜色区域的第一替代指示信息;
根据替代需求信息,生成指示所述第一区域填充为透明区域的第二替代指示信息;
根据替代需求信息,生成指示所述第一区域填充为背景区域的第三替代指示信息;
根据替代需求信息,生成指示所述第一区域填充为前景区域替代区域的第四替代指示信息。
基于上述方案,所述装置还包括:
第三确定模块,用于根据检测第一用户指示,确定所述替代需求信息。
基于上述方案,所述第一确定模块,具体用于根据所述图像中采集对象所在的位置,划分出包含所述采集目标的成像的第二区域及所述第二区域以外的第一区域。
基于上述方案,所述第一确定模块,具体用于根据检测的第二用户指示,从所述图像中确定出所述第一区域和所述第二区域。
一种数据处理装置,应用于移动边缘计算MEC服务器中,包括:
接收模块,用于从终端接收第一区域的指示信息及第二区域的像素值;
填充模块,用于根据所述指示信息,利用预定数据填充第一区域;
组合模块,用于组合所述第一区域和所述第二区域,获得三维视频数据的图像。
基于上述方案,所述填充模块,包括:
第一确定子模块,用于根据所述指示信息中的区域标识信息,确定所述第一区域的位置;
第二确定子模块,用于根据所述指示信息中的替代指示信息,确定所述预定数据;
填充子模块,用于将所述预定数据填充到所确定的位置上。
基于上述方案,所述第二确定子模块,具体用于执行以下至少之一:
根据第一替代指示信息,利用预定颜色像素值将所述第一区域填充预定颜色区域;
根据第二替代指示信息,利用透明度值将所述第一区域填充为透明区域;
根据第三替代指示信息,利用背景图像将所述第一区域填充为背景区域;
根据第四替代指示信息,利用前景区域将所述第一区域填充为预设前景区域。
一种计算机存储介质,所述计算机存储介质上存储有计算机指令,其特征在于,该指令被处理器执行时实现前述任意一项应用于终端中的所述数据处理方法的步骤;或者,该指令被处理器执行时实现前述任意一项应用于MEC服务器中所述数据处理方法的步骤。
一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,其特征在于,所述处理器执行所述指令时实现前述任意一项应用于终端中的所述数据处理方法的步骤;或者,该指令被处理器执行时实现前述任意一项应用于MEC服务器中所述数据处理方法的步骤。
本发明实施例提供的技术方案,在传输三维视频数据时,会将三维视频数据的图像划分为第一区域和第二区域;而第一区域为不必要传输或者不愿意传输的三维视频数据,取而代之传输第一区域的指示信息。而指示信息的数据量是远远小于第一区域的像素值的数据量的。如此,一方面减少了终端与MEC服务器之间数据交互所产生的数据量,减少了所需贷款及传输延时。另一方面,采用这种方式可以减少不必要或不愿意传输的数据的传输,如此,可以确保用户的隐私,满足用户不想要传输数据的不传输需求,从而再次提升了用户体验。而MEC接收到第一区域的指示信息和第二区域的像素值之后,会利用预定数据填充到第一区域,组合第一区域和第二区域之后可会形成完整的可构建三维视频的图像;同时也实现了三维视频建模。
附图说明
图1为本发明实施例提供的一种数据传输方法应用的***架构示意图;
图2为本发明实施例提供的一种数据处理方法的流程示意图;
图3为本发明实施例提供的另一种数据处理方法的流程示意图;
图4为本发明实施例提供的再一种数据处理方法的流程示意图;
图5为本发明实施例提供的又一种数据处理方法的流程示意图
图6为本发明实施例提供的一种数据处理装置的结构示意图;
图7为本发明实施例提供的另一种数据处理装置的结构示意图;
图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
在对本发明实施例的技术方案进行详细说明之前,首先对本发明实施例的数据处理方法应用的***架构进行简单说明。本发明实施例的数据处理方法应用于三维视频数据的相关业务,该业务例如是三维视频数据分享的业务,或者基于三维视频数据的直播业务等等。在这种情况下,由于三维视频数据的数据量较大,分别传输的深度数据和二维视频数据在数据传输过程中需要较高的技术支持,因此需要移动通信网络具有较快的数据传输速率,以及较稳定的数据传输环境。
图1为本发明实施例的数据传输方法应用的***架构示意图;如图1所示,***可包括终端、基站、MEC服务器、业务处理服务器、核心网和互联网(Internet)等;MEC服务器与业务处理服务器之间通过核心网建立高速通道以实现数据同步。
以图1所示的两个终端交互的应用场景为例,MEC服务器A为部署于靠近终端A(发送端)的MEC服务器,核心网A为终端A所在区域的核心网;相应的,MEC服务器B为部署于靠近终端B(接收端)的MEC服务器,核心网B为终端B所在区域的核心网;MEC服务器A和MEC服务器B可与业务处理服务器之间分别通过核心网A和核心网B建立高速通道以实现数据同步。
其中,终端A发送的三维视频数据传输到MEC服务器A后,由MEC服务器A通过核心网A将数据同步至业务处理服务器;再由MEC服务器B从业务处理服务器获取终端A发送的三维视频数据,并发送至终端B进行呈现。
这里,如果终端B与终端A通过同一个MEC服务器来实现传输,此时终端B和终端A直接通过一个MEC服务器实现三维视频数据的传输,不需要业务处理服务器的参与,这种方式称为本地回传方式。具体地,假设终端B与终端A通过MEC服务器A实现三维视频数据的传输,终端A发送的三维视频数据传输到MEC服务器A后,由MEC服务器A发送三维视频数据至终端B进行呈现。
这里,终端可基于网络情况、或者终端自身的配置情况、或者自身配置的算法选择接入4G网络的演进型基站(eNB),或者接入5G网络的下一代演进型基站(gNB),从而使得eNB通过长期演进(Long Term Evolution,LTE)接入网与MEC服务器连接,使得gNB通过下一代接入网(NG-RAN)与MEC服务器连接。
这里,MEC服务器部署于靠近终端或数据源头的网络边缘侧,所谓靠近终端或者靠近数据源头,不仅是逻辑位置上,还在地理位置上靠近终端或者靠近数据源头。区别于现有的移动通信网络中主要的业务处理服务器部署于几个大城市中,MEC服务器可在一个城市中部署多个。例如在某写字楼中,用户较多,则可在该写字楼附近部署一个MEC服务器。
其中,MEC服务器作为具有融合网络、计算、存储、应用核心能力的边缘计算网关,为边缘计算提供包括设备域、网络域、数据域和应用域的平台支撑。其联接各类智能设备和传感器,就近提供智能联接和数据处理业务,让不同类型的应用和数据在MEC服务器中进行处理,实现业务实时、业务智能、数据聚合与互操作、安全与隐私保护等关键智能服务,有效提升业务的智能决策效率。
如图2所示,本实施例提供一种数据处理方法,应用于终端中,包括:
步骤201:将三维视频数据的图像分为第一区域和第二区域;
步骤202:确定第一区域的指示信息,其中,所述指示信息的数据量小于所述第一区域所包含像素的数据量;
步骤203:向移动边缘计算MEC服务器发送所述指示信息及所述第二区域的像素值;其中,所述指示信息,用于在所述MEC服务器进行三维视频建模时使用预定数据填充所述第一区域。
本实施例提供的数据处理方法应用于终端中,该终端可为各种类型的终端,例如,手机、平布电脑或可穿戴式设备、或者固定的图像监控等。所述终端可为固定终端和/或移动终端。
在一些实施例中,所述三维视频数据包括:二维图像及深度图像。其中,所述二维图像中包含颜色像素。所述颜色像素的像素值为颜色值。例如,所述颜色值是红/绿/蓝(RGB)值或者是明亮度/色度/浓度(YUV)值。
所述深度图像包含深度像素,所述深度像素的像素值为深度值。所述三维视频数据及深度图像可以在三维图像空间内搭建出三维图像。
在一些实施例中,所述二维图像和深度图像的图像尺寸是一致,例如,所述二维图像和深度图像所包含的像素均为W*H个;W表示第一方向上包括的像素个数,H表示第二方向上包括的像素个数。W和H均为正整数。
在一些实施例中,所述二维图像和所述深度图像,可为同一个时刻采集的两个图像;为了减少数据量,所述二维图像和所述深度图像的图像尺寸,满足预设关系。例如,深度图像所包含的像素为W*H个,深度图像包含的像素为(W/a)*(H/b)。如此,一个深度像素对应了a*b个颜色像素。在进行三维视频搭建时,可以根据一个深度像素的像素值应用于a*b个相邻颜色像素的像素值。譬如,(W/a)*(H/b)等于(W/2)*(H/2)。如此,一个深度像素对应了4个颜色像素。在进行三维视频搭建时,可以根据一个深度像素的像素值应用于4个相邻颜色像素的像素值;如此,就减少了深度图像的图像数据量。由于通常一个物体相邻的很小区域内的凹凸感是基本上一致的,故若深度图像的图像尺寸小于所述二维图像的图像尺寸,也可以维持较高精度的三维视频的还原和搭建;同时减少的终端和MEC服务器需要交互的数据量和/或MEC服务器需要处理的数据量。在一些实施例中,在生成图像尺寸小于所述二维图像时,可具有以下方式中的至少一种:
直接利用所述深度图像的图像尺寸采集所述深度图像;
利用所述二维图像的图像尺寸采集原始深度图像;再根据深度图像的图像尺寸,根据相邻的a*b个像素的像素值生成所述深度图像。例如,根据相邻的a*b个像素值的均值或中值生成所述深度图像。
在本实施例中所述步骤201可包括以下至少之一:
将所述三维视频数据的二维图像划分为第一区域和第二区域;
将所述三维视频数据的深度图像划分为第一区域和第二区域。
若二维图像和深度图像为同尺寸的图像,则二维图像和深度图像的第一区域和第二区域是相同的。若二维图像和深度图像是不同尺寸的图像。深度图像的第一区域与颜色图的第一区域具有对应关系;二维图像的第二区域与深度图像的第二区域具有对应关系;如此,深度图像的第二区域可为二维图像的第二区域提供深度值。
所述第一区域可为所述第二区域以外的任意区域。所述第一区域和所述第二区域均可为规则区域,也可以是非规则区域;典型的规则区块可包括:矩形区域或规则多边形区域、圆形区域、半圆区域等可以用于规则图像表征的区域。所述非规则区域的边缘可能是弯弯曲曲的,无法用规则图像表征的区域。
在本实施例中,所述第一区域可能是无需传输和/或用户不想要传输的区域,一方面为了保护用户的隐私或满足用户的愿望,另一方面减少需要传输的数据量。在确定出所述第一区域之后,确定出第一区域的指示信息。该第一区域的指示信息的数据量是远小于第一区域所包含像素所产生的数据量的。
例如,三维视频数据的二维图像的图像尺寸为:1024*768个像素;若第一区域包含的像素为:512*100个;若一个像素的像素值占用8个比特,则第一区域所包含像素的数据量为:512*100*8个比特。而第一区域的指示信息可能就包括8个比特组成几个字段或字节,显然数据量远远小于第一区域所包含像素的数据量;如此,大大的减少了传输数据量,减少了所需占用的带宽;并减少了因为传输数据量大所产生的传输延时大的问题。
在本实施例中所述第一区域的指示信息可至少包括:
所述第一区域的区域标识信息;所述区域标识信息可用于定位出第一区域在所述三维视频数据的图像中的位置,或,与所述第二区域区分。
例如,所述区域标识信息可包括:第一区域的位置信息、所述位置信息可为图像坐标系内的图像坐标。所述区域标识信息还可为:第一区域的区域编号等标识信息。
在步骤203仅向MEC服务器发送所述指示信息及第二区域的像素值,而非发送所有的三维视频数据;从而大大的降低了所需传输的数据量。而MEC服务器接收到所述指示信息及所述第二区域的像素值以后,会利用第二区域的像素值构建三维视频,并在图像的第一区域内填充预定数据。填充的预定数据可为:三维图像数据和/或二维图像数据。在一些实施例中,MEC服务器根据填充模板向所述第一区域内调整预定数据。利用填充预定数据的第一区域和第二区域拼接成构建三维视频的完整图像。
在一些实施例中,如图3所示,所述步骤202可包括:
步骤2021:根据所述第一区域在所述图像中的位置,生成区域标识信息;
步骤2022:根据替代需求信息,生成替代指示信息,其中,所述替代指示信息,用于所述MEC服务器填充所述第一区域使用的所述预定数据。
在一些实施例中,所述指示信息除了所述区别标识信息以外,还会引入替代指示信息。该替代指示信息,用于告知MEC服务器选择填充所述第一区域使用的预定数据。
所述替代指示信息不同,则MEC服务器填充到所述第一区域的预定数据不同。
如此,可以根据用户需求,不仅隐藏部分其不想要传输的区域,而且还可以填充其想要填充的数据;再次提升了用户满意度。
在一些实施例中,所述步骤2022可包括以下至少之一:
根据替代需求信息,生成指示所述第一区域填充为预定颜色区域的第一替代指示信息;
根据替代需求信息,生成指示所述第一区域填充为透明区域的第二替代指示信息;
根据替代需求信息,生成指示所述第一区域填充为背景区域的第三替代指示信息;
根据替代需求信息,生成指示所述第一区域填充为前景区域替代区域的第四替代指示信息。
所述预定颜色区域为填充指定的颜色的区域。
所述预定颜色区域可以为单一颜色区域或者多颜色区域。
所述单一颜色区域可为利用单一颜色填充的区域;例如,单一白色填充的白色区域、单一红色填充的红色区域、或单一黑色填充的黑色区域等。在一些实施例中,所述白色区块又可以称之为空白区域。
所述多颜色区域可为利用多种颜色填充的区域。例如,利用黑白双色间隔填充的黑白条纹间隔区域。
在本实施例中所述透明区域呈现一定透明度的区域;通过透明度的引入,可以使得呈现第一区域成像模糊的状况。透明区域可包括:全透明区域、半透明区域。
在本实施例中所述透明区域可为半透明的区域,例如,使用填充模板中的特定半透明图案进行填充。例如,在人脸成像周围使用半透明的***的兔子耳朵形成的半透明图像进行第一区域填充。
在进行第一区域的填充时至少有以下两种填充方式:
第一种:仅在第一区域进行填充;如此,预定数据完全不会覆盖到第二区域;
第二种:预定数据大部分填充在第一区域,但是利用填充模板中的一些填充图案,为了确保填充效果,可能有部分会延伸到第二区域;例如,延伸到第二区域的填充图像可能会覆盖在第二区域上或者被第二区域覆盖。例如,在进行第一区域填充时,从填充模板中选择了一个帽子图案,而帽子图案可大部分位于第一区域,少量叠加在第二区域的头部成像上。
若一个图像分为前景和背景,则背景所在的区域即为所述背景区域。例如,一个人在一个房子面前拍照,则人的成像即为所述前景;房子的成像即为所述背景。人的成像所在区域即为所述前景区域;房子的成像所在区域即为所述背景区域。所述前景区域和所述背景区域还可以通过图像的聚焦位置来确定。若聚焦位置所在的区域即为所述前景区域,其他区域即为所述背景区域。
例如,一个主播在进行直播时,当前方将可能有一些凌乱,若以凌乱的房间的成像作为背景,会导致三维视频所呈现的效果并非主播想要的。此时,作为主播的用户可以指定除自己人像所在区域为第二区域,其他区域均为第一区域;并通过第三替代指示信息,将第一区域填充为背景区域。
此时,若在图像的图层处理过程中,若第一区域填充为背景区域,则第二区域所在图层是叠加在所述第一区域所在图层之上的,如此,第一区域不会对第二区域造成遮挡。
在还有一些实施例中,被图像采集的用户可能不想对方看到自己的穿着,除了人脸所在区域为第二区域,穿着所在区域被指定为第一区域。并通过第四指代信息,指示第一区域填充为前景区域。此时第一区域所在的图层是覆盖在第二区域所在的图层上的。如此,在填充时可能对第二区域有些微的覆盖。
前景区域或背景区域的填充图案可均为预先设置在MEC服务器中,或者,终端传输给MEC服务器的。
在一些实施例中,所述方法还包括:
根据检测第一用户指示,确定所述替代需求信息。
在所述三维视频数据的采集开始之前或者采集过程中,若终端检测到第一用户指示,可以根据第一用户指示确定替代需求信息。例如,在传输设置页面显示第一区域填充为不同区域的填充选项;则可以根据检测到作用于填充选项的用户输入,确定出替代需求信息。所述替代需求信息可为:第一区域所替代成的区域,例如,所述预定颜色区域、透明区域、前景区域或背景区域。
在另一些实施例,所述步骤201可包括:
根据所述图像中采集对象所在的位置,划分出包含所述采集目标的成像的第二区域及所述第二区域以外的第一区域。
例如,若采集目标为人:终端可以通过人脸识别方式,自动划分出包含人脸的第二区域和不包含人脸的第一区域。故在一些实施例中,可以通过采集目标识别,自动划分出包含采集目标的第二区域和不包含采集目标的第一区域。
再例如,通过图像中的成像所对应的采集对象的分类,将图像自动划分为第一区域和第二区域。例如,将图像中人的成像和物的成像区分开来,如此,人的成像的区域即为所述第二区域,物的成像即为所述第一区域。
在一些实施例中,所述步骤201还包括:
根据检测的第二用户指示,从所述图像中确定出所述第一区域和所述第二区域。
例如,终端可以预先采集样本三维视频图像,在终端上显示样本三维视频图像的至少二维图像;用户可以通过触摸、鼠标控制等各种控制方式,在图像中划分第一区域和第二区域。后续,终端可以基于样本三维视频数据对第一区域和第二区域的划分,执行所述步骤202至步骤203。如此,终端可以根据用户的需求确定出所述第一区域和第二区域。
在一些实施例中,根据作用于样本三维视频数据的第二用户指示,确定出第一区域和/或第二区域的区分信息,例如,该区分信息可包括:第一区域和第二区域所包含图形的属性;从而即便采集目标与图像采集设备之间的有移动,终端还是可以根据第一区域和第二区域的区分信息,精确的确定出三维视频数据中每一个图像帧的第一区域和第二区域。如此,用户仅需输入一次第二用户指示,就可以完成多帧三维视频数据的图像第一区域和第二区域的划分。
如图4所示,本实施例提供一种数据处理方法,应用于移动边缘计算MEC服务器中,包括:
步骤301:从终端接收第一区域的指示信息及第二区域的像素值;其中,所述指示信息的数据量小于所述第一区域的像素值的数据量;
步骤302:根据所述指示信息,利用预定数据填充第一区域;
步骤303:组合所述第一区域和所述第二区域,获得三维视频数据的图像。
本实施例中MEC服务器接收到不再是图像中所有区域的三维视频数据,而是包括第一区域的指示信息及第二区域的像素值的。
故在本实施例中,若MEC服务器需要根据第一区域的指示信息,利用预定数据填充所述第一区域。组合所述第一区域和所述第二区域,从而获得三维视频数据的图像。
由于第一区域的指示信息的数据量是小于第一区域所包含像素的像素值的,故减少了终端和MEC服务器之间交互的数据量,减少了数据传输所需的带宽及传输时延。
在另一些实施例中,如图5所示,所述步骤302可包括:
步骤3021:根据所述指示信息中的区域标识信息,确定所述第一区域的位置;
步骤3032:根据所述指示信息中的替代指示信息,确定所述预定数据;
步骤3023:将所述预定数据填充到所确定的位置上。
在本实施例中所述指示信息可包括第一区域的区域标识信息,该区域标识信息用于指示第一区域的位置。如此,MEC服务器接收到指示信息之后,可以根据区域标识信息确定出第一区域的位置。
在一些实施例中,MEC服务器在根据区域标识信息确定出第一区域之后,可以直接利用填充模板中任意预定数据填充第一区域即可。例如,利用填充模板中的空白区域对应的白色像素值填充所述第一区域即可。
但是在本实施例中,所述指示信息中还包括:替代指示信息。该替代指示信息可用于MEC服务器确定预定数据。例如,在填充模板中设置有多种备选数据,可以从备选数据随机选择一种,或者选择默认的一种,或者,按照选择策略选择一种数据来填充所述第一区域。
在一些实施例中,所述步骤3023,包括以下至少之一:
根据第一替代指示信息,利用预定颜色数据将所述第一区域填充为预定颜色区域;
根据第二替代指示信息,利用透明度数据将所述第一区域填充为透明区域;
根据第三替代指示信息,利用背景图像将所述第一区域填充为背景区域;
根据第四替代指示信息,利用前景图像将所述第一区域填充为预设前景区域。
具体例如,根据第一替代指示信息,从填充模板中选择单一颜色数据将第一区域填充为单一颜色区域;或者,根据第一替代指示信息,从填充模板中选择多颜色填充数据,将第一区域填充为多颜色区域。
例如,根据第二替代指示信息,将透明度数据将所述第一区域填充为透明区域,例如,全透明区域或半透明区域等。
例如,MEC服务器从背景图像库中,选择出一个或多个背景图像将第一区域填充为第二区域的背景区域。或者,MEC服务器利用从终端预先接收的背景图像,填充到第一区域,将第一区域填充为第二区域的背景区域。
再例如,MEC服务器从前景图像库中选择一个或多个前景图像将第一区域填充为第二区域的前景区域。再例如,MEC服务器也可以将终端预先提供的前景图像填充到第一区域,形成所述前景区域。
若第一区域为背景区域、预定颜色区域或透明区域,则第一区域所在图层均可为第二区域所在图层的背景图层。若第一区域为前景区域,则第一区域所在图层可为第二区域所在图层的前景图层。
如此,一方面减少了不必要传输或不愿意传输的数据传输,另一方面第一区域预定数据的填充从而拼接成了可以构建三维视频的图像,以实现三维视频的建模。
如图6所示,本实施例提供一种数据处理装置,应用于终端中,包括:
第一确定模块501,用于将三维视频数据的图像分为第一区域和第二区域;
第二确定模块502,用于确定第一区域的指示信息,其中,所述指示信息的数据量小于所述第一区域所包含像素的数据量;
发送模块503,用于向移动边缘计算MEC服务器发送所述指示信息及所述第二区域的像素值;其中,所述指示信息,用于在所述MEC服务器进行三维视频建模时使用预定数据填充所述第一区域。
在一些实施例中,所述第一确定模块501、第二确定模块502及发送模块503可为程序模块,对应于计算机可执行代码,该计算机可执行代码被执行后,能够实现前述像素编码数据及第二类型的三维视频数据的发送。
在另一些实施例中,所述第一确定模块501、第二确定模块502及发送模块503可为程序模块还可为硬件模块及程序模块的组合,例如,复杂可编程阵列或者现场可编程阵列。
在还有一些实施例中,所述第一确定模块501、第二确定模块502及发送模块503可为程序模块可对应于硬件模块,例如,所述第一确定模块501、第二确定模块502及发送模块503可为专用集成电路。
在一些实施例中,所述第二确定模块502,包括:
第一生成子模块,用于根据所述第一区域在所述图像中的位置,生成区域标识信息;
第二生成子模块,用于根据替代需求信息,生成替代指示信息,其中,所述替代指示信息,用于所述MEC服务器填充所述第一区域使用的所述预定数据。
在还有一些实施例中,所述第二生成子模块,具体用于执行以下至少之一:
根据替代需求信息,生成指示所述第一区域填充为预定颜色区域的第一替代指示信息;
根据替代需求信息,生成指示所述第一区域填充为透明区域的第二替代指示信息;
根据替代需求信息,生成指示所述第一区域填充为背景区域的第三替代指示信息;
根据替代需求信息,生成指示所述第一区域填充为前景区域替代区域的第四替代指示信息。
在还有一些实施例中,所述装置还包括:
第三确定模块,用于根据检测第一用户指示,确定所述替代需求信息。
在还有一些实施例中,所述第一确定模块501,具体用于根据所述图像中采集对象所在的位置,划分出包含所述采集目标的成像的第二区域及所述第二区域以外的第一区域。
在还有一些实施例中,所述第一确定模块501,具体用于根据检测的第二用户指示,从所述图像中确定出所述第一区域和所述第二区域。
如图7所示,本实施例提供一种数据处理装置,应用于移动边缘计算MEC服务器中,包括:
接收模块601,用于从终端接收第一区域的指示信息及第二区域的像素值;
填充模块602,用于根据所述指示信息,利用预定数据填充第一区域;
组合模块603,用于组合所述第一区域和所述第二区域,获得三维视频数据的图像。
在一些实施例中,所述接收模块601、填充模块602及组合模块603可为程序模块,对应于计算机可执行代码,该计算机可执行代码被执行后,能够实现前述像素编码数据及第二类型的三维视频数据的发送。
在另一些实施例中,所述接收模块601、填充模块602及组合模块603可为程序模块还可为硬件模块及程序模块的组合,例如,复杂可编程阵列或者现场可编程阵列。
在还有一些实施例中,所述接收模块601、填充模块602及组合模块603可为程序模块可对应于硬件模块,例如,所述接收模块601、填充模块602及组合模块603可为专用集成电路。
在一些实施例中,所述填充模块602,包括:
第一确定子模块,用于根据所述指示信息中的区域标识信息,确定所述第一区域的位置;
第二确定子模块,用于根据所述指示信息中的替代指示信息,确定所述预定数据;
填充子模块,用于将所述预定数据填充到所确定的位置上。
在一些实施例中,所述第二确定子模块,具体用于执行以下至少之一:
根据第一替代指示信息,利用预定颜色像素值将所述第一区域填充预定颜色区域;
根据第二替代指示信息,利用透明度值将所述第一区域填充为透明区域;
根据第三替代指示信息,利用背景图像将所述第一区域填充为背景区域;
根据第四替代指示信息,利用前景区域将所述第一区域填充为预设前景区域。
本实施例提供一种计算机存储介质,所述计算机存储介质上存储有计算机指令,该指令被处理器执行时实现应用于终端或者MEC服务器中的数据处理方法的步骤,例如,如图2至图5所示的方法中的一个或多个。
如图8所示,本实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,其特征在于,所述处理器执行所述指令时实现应用于终端或者MEC服务器或终端中的数据处理方法的步骤,例如,可执行如图2至图5所示的方法中的一个或多个。
在一些实施例中,所述电子设备还包括:通信接口,该通信接口可用于与其他设备信息交互。例如,若所述电子设备为终端,该通信接口至少可与MEC服务器进行信息交互。若所述电子设备为MEC服务器,则该通信接口至少可与终端进行信息交互。
在本发明所提供的几个实施例中,应该理解到,所揭露的方法和智能设备,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是:本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。

Claims (16)

1.一种数据处理方法,其特征在于,应用于终端中,包括:
将三维视频数据的图像分为第一区域和第二区域;
根据所述第一区域在所述图像中的位置,生成区域标识信息;
根据替代需求信息,生成替代指示信息,其中,所述替代指示信息的数据量小于所述第一区域所包含像素的数据量;
向移动边缘计算MEC服务器发送所述区域标识信息、所述替代指示信息及所述第二区域的像素值;其中,所述替代指示信息,用于在所述MEC服务器进行三维视频建模时使用预定数据填充所述第一区域。
2.根据权利要求1所述的方法,其特征在于,
所述根据替代需求信息,生成替代指示信息,包括以下至少之一:
根据替代需求信息,生成指示所述第一区域填充为预定颜色区域的第一替代指示信息;
根据替代需求信息,生成指示所述第一区域填充为透明区域的第二替代指示信息;
根据替代需求信息,生成指示所述第一区域填充为背景区域的第三替代指示信息;
根据替代需求信息,生成指示所述第一区域填充为前景区域替代区域的第四替代指示信息。
3.根据权利要求1所述的方法,其特征在于,
所述方法还包括:
根据检测第一用户指示,确定所述替代需求信息。
4.根据权利要求1至3任一项所述的方法,其特征在于,
所述将三维视频数据的图像分为第一区域和第二区域,包括:
根据所述图像中采集对象所在的位置,划分出包含采集目标的成像的第二区域及所述第二区域以外的第一区域。
5.根据权利要求1至3任一项所述的方法,其特征在于,
所述将三维视频数据的图像分为第一区域和第二区域,还包括:
根据检测的第二用户指示,从所述图像中确定出所述第一区域和所述第二区域。
6.一种数据处理方法,其特征在于,应用于移动边缘计算MEC服务器中,包括:
从终端接收第一区域的区域标识信息、替代指示信息及第二区域的像素值,其中,所述替代指示信息的数据量小于所述第一区域所包含像素的数据量;
根据所述区域标识信息,确定所述第一区域的位置;根据所述替代指示信息,确定预定数据;将所述预定数据填充到所确定的位置上;
组合所述第一区域和所述第二区域,获得三维视频数据的图像。
7.根据权利要求6所述的方法,其特征在于,
所述根据所述替代指示信息,确定预定数据,包括以下至少之一:
根据第一替代指示信息,利用预定颜色数据将所述第一区域填充为预定颜色区域;
根据第二替代指示信息,利用透明度数据将所述第一区域填充为透明区域;
根据第三替代指示信息,利用背景图像将所述第一区域填充为背景区域;
根据第四替代指示信息,利用前景图像将所述第一区域填充为前景区域。
8.一种数据处理装置,其特征在于,应用于终端中,包括:
第一确定模块,用于将三维视频数据的图像分为第一区域和第二区域;
第二确定模块,用于根据所述第一区域在所述图像中的位置,生成区域标识信息;根据替代需求信息,生成替代指示信息,其中,所述替代指示信息的数据量小于所述第一区域所包含像素的数据量;
发送模块,用于向移动边缘计算MEC服务器发送所述区域标识信息、所述替代指示信息及所述第二区域的像素值;其中,所述替代指示信息,用于在所述MEC服务器进行三维视频建模时使用预定数据填充所述第一区域。
9.根据权利要求8所述的装置,其特征在于,
所述第二确定模块,具体用于执行以下至少之一:
根据替代需求信息,生成指示所述第一区域填充为预定颜色区域的第一替代指示信息;
根据替代需求信息,生成指示所述第一区域填充为透明区域的第二替代指示信息;
根据替代需求信息,生成指示所述第一区域填充为背景区域的第三替代指示信息;
根据替代需求信息,生成指示所述第一区域填充为前景区域替代区域的第四替代指示信息。
10.根据权利要求8所述的装置,其特征在于,
所述装置还包括:
第三确定模块,用于根据检测第一用户指示,确定所述替代需求信息。
11.根据权利要求8至10任一项所述的装置,其特征在于,
所述第一确定模块,具体用于根据所述图像中采集对象所在的位置,划分出包含采集目标的成像的第二区域及所述第二区域以外的第一区域。
12.根据权利要求8至10任一项所述的装置,其特征在于,
所述第一确定模块,具体用于根据检测的第二用户指示,从所述图像中确定出所述第一区域和所述第二区域。
13.一种数据处理装置,其特征在于,应用于移动边缘计算MEC服务器中,包括:
接收模块,用于从终端接收第一区域的区域标识信息、替代指示信息及第二区域的像素值;
填充模块,用于根据所述区域标识信息,确定所述第一区域的位置;根据所述替代指示信息,确定预定数据;将所述预定数据填充到所确定的位置上;
组合模块,用于组合所述第一区域和所述第二区域,获得三维视频数据的图像。
14.根据权利要求13所述的装置,其特征在于,
所述填充模块,具体用于执行以下至少之一:
根据第一替代指示信息,利用预定颜色像素值将所述第一区域填充预定颜色区域;
根据第二替代指示信息,利用透明度值将所述第一区域填充为透明区域;
根据第三替代指示信息,利用背景图像将所述第一区域填充为背景区域;
根据第四替代指示信息,利用前景区域将所述第一区域填充为预设前景区域。
15.一种计算机存储介质,所述计算机存储介质上存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1至5任一项所述数据处理方法的步骤;或者,该指令被处理器执行时实现权利要求6至7任一项所述数据处理方法的步骤。
16.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,其特征在于,所述处理器执行所述指令时实现权利要求1至5任一项所述数据处理方法的步骤,或实现权利要求6至7任一项所述数据处理方法的步骤。
CN201811161404.3A 2018-09-30 2018-09-30 数据处理方法及装置、电子设备及存储介质 Active CN109309839B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811161404.3A CN109309839B (zh) 2018-09-30 2018-09-30 数据处理方法及装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811161404.3A CN109309839B (zh) 2018-09-30 2018-09-30 数据处理方法及装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN109309839A CN109309839A (zh) 2019-02-05
CN109309839B true CN109309839B (zh) 2021-11-16

Family

ID=65225303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811161404.3A Active CN109309839B (zh) 2018-09-30 2018-09-30 数据处理方法及装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN109309839B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092709B (zh) * 2021-11-23 2023-10-31 北京百度网讯科技有限公司 一种识别图像中目标轮廓的方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873723B1 (en) * 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
CN101222639A (zh) * 2007-01-09 2008-07-16 华为技术有限公司 多视点视频技术中的视间预测方法、编码器和解码器
CN106464854A (zh) * 2014-02-26 2017-02-22 索尼电脑娱乐欧洲有限公司 图像编码和显示
US9583147B2 (en) * 2012-03-26 2017-02-28 Max Abecassis Second screen shopping function
CN107529096A (zh) * 2017-09-11 2017-12-29 广东欧珀移动通信有限公司 图像处理方法及装置
CN107704077A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法和装置、电子装置和计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050169537A1 (en) * 2004-02-03 2005-08-04 Sony Ericsson Mobile Communications Ab System and method for image background removal in mobile multi-media communications
US8050454B2 (en) * 2006-12-29 2011-11-01 Intel Corporation Processing digital video using trajectory extraction and spatiotemporal decomposition
JP5132530B2 (ja) * 2008-02-19 2013-01-30 キヤノン株式会社 画像符号化装置及び画像処理装置及びそれらの制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873723B1 (en) * 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
CN101222639A (zh) * 2007-01-09 2008-07-16 华为技术有限公司 多视点视频技术中的视间预测方法、编码器和解码器
US9583147B2 (en) * 2012-03-26 2017-02-28 Max Abecassis Second screen shopping function
CN106464854A (zh) * 2014-02-26 2017-02-22 索尼电脑娱乐欧洲有限公司 图像编码和显示
CN107529096A (zh) * 2017-09-11 2017-12-29 广东欧珀移动通信有限公司 图像处理方法及装置
CN107704077A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法和装置、电子装置和计算机可读存储介质

Also Published As

Publication number Publication date
CN109309839A (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
US10930252B2 (en) Dividing image data into regional images of different resolutions based on a gaze point and transmitting the divided image data
US20220014819A1 (en) Video image processing
CN108600781B (zh) 一种视频封面生成的方法以及服务器
US11368718B2 (en) Data processing method and non-transitory computer storage medium
CN109194946B (zh) 数据处理方法及装置、电子设备及存储介质
CN103281539A (zh) 一种图像编、解码处理的方法、装置及终端
US10922042B2 (en) System for sharing virtual content and method for displaying virtual content
CN109257609B (zh) 数据处理方法及装置、电子设备及存储介质
CN109274976B (zh) 数据处理方法及装置、电子设备及存储介质
CN114816308B (zh) 信息分区显示方法及相关设备
CN113206993A (zh) 一种调整显示屏幕的方法及显示设备
CN109309839B (zh) 数据处理方法及装置、电子设备及存储介质
CN114782659A (zh) 图像处理方法、装置、设备及存储介质
CN110858388B (zh) 一种增强视频画质的方法和装置
WO2021063319A1 (zh) 实现3d显示的方法及装置、3d显示终端
CN112348841B (zh) 虚拟对象的处理方法、装置、电子设备及存储介质
CN112999654A (zh) 图像处理方法、装置、计算机设备及存储介质
WO2020063171A1 (zh) 数据传输方法、终端、服务器和存储介质
CN110941413B (zh) 显示画面的生成方法及相关装置
CN110365962B (zh) 色域转换处理方法、装置以及电子设备
CN109389674B (zh) 数据处理方法及装置、mec服务器及存储介质
WO2021147749A1 (zh) 实现3d显示的方法、装置及3d显示***
CN110378973B (zh) 图像信息处理方法、装置以及电子设备
CN113487497A (zh) 图像处理方法、装置和电子设备
CN112541858A (zh) 视频图像的增强方法、装置、设备、芯片及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant