CN104427291B - 一种图像处理方法及设备 - Google Patents

一种图像处理方法及设备 Download PDF

Info

Publication number
CN104427291B
CN104427291B CN201310362321.1A CN201310362321A CN104427291B CN 104427291 B CN104427291 B CN 104427291B CN 201310362321 A CN201310362321 A CN 201310362321A CN 104427291 B CN104427291 B CN 104427291B
Authority
CN
China
Prior art keywords
image
profile
video image
depth
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310362321.1A
Other languages
English (en)
Other versions
CN104427291A (zh
Inventor
郭岩岭
王田
张德军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310362321.1A priority Critical patent/CN104427291B/zh
Priority to PCT/CN2014/070138 priority patent/WO2015024362A1/zh
Priority to EP14838494.4A priority patent/EP2999221A4/en
Priority to JP2016526410A priority patent/JP6283108B2/ja
Publication of CN104427291A publication Critical patent/CN104427291A/zh
Priority to US14/972,222 priority patent/US9392218B2/en
Application granted granted Critical
Publication of CN104427291B publication Critical patent/CN104427291B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例公开了一种图像处理方法和设备。其中，所述方法包括：采集物体的视频图像和深度图像；利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓；根据所述前景图像的轮廓，对所述视频图像帧中所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述视频图像帧中所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率；输出所述视频图像帧对应的编码数据以及所述前景图像的轮廓对应的深度数据。通过本发明实施例，使得可以降低视频图像传输过程中的网络带宽占用率。

Description

一种图像处理方法及设备
技术领域
本发明涉及图像数据处理技术领域，特别是涉及一种图像处理方法及设备。
背景技术
浸入式会议***是下一代多媒体会议***的典型，它能够提供更加逼真，身临其境的用户体验。其通常会应用诸如：高清音/视频、立体声、3D视频、增强现实等新技术来让用户在参加会议时能够有一种浸入式的体验。
通常，浸入式会议***中包含两种摄像头，一种是传统的彩色摄像头，可以捕获用户的彩色图像；还有一种是深度摄像头，可以捕获用户与摄像头的距离的深度图像。深度信息摄像头捕获的深度信息为后续3D图像的合成、骨骼识别和追踪等技术都有很大的帮助。
现有的浸入式会议***中，进行会议***的视频图像合成时，网络带宽的占用率较高。
发明内容
本发明实施例中提供了一种图像处理方法及设备，实现视频图像中不同用户关注度的图像的分割，并对分割图像采用不同的编码方式，使得可以降低视频图像传输过程中的网络带宽占用率。
为了解决上述技术问题，本发明实施例公开了如下技术方案：
第一方面，提供一种图像处理方法，包括：
采集物体的视频图像和深度图像；
利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓；
根据所述前景图像的轮廓，对所述视频图像帧中所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述视频图像帧中所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率；
输出所述视频图像帧对应的编码数据以及所述前景图像的轮廓对应的深度数据。
结合上述第一方面，在第一种可能的实现方式中，所述利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓，包括：
将所述视频图像帧的深度图像与视频图像进行像素对齐；
计算所述深度图像上每个像素点与各个相邻像素点的深度差值，确定像素点中与所有所述相邻像素点的深度差值的方差大于预设阈值的像素点为分割点；
遍历所述深度图像上全部像素点，确定出所有分割点；
根据所述所有分割点，得出所述视频图像中前景图像的轮廓。
结合上述第一方面，在第二种可能的实现方式中，所述输出所述轮廓对应的深度数据，包括：
根据所述轮廓，将所述深度图像简化为二值图像；
将所述二值图像进行编码处理，输出所述二值图像对应的编码数据。
结合上述第一方面，和第一种可能的实现方式，在第三种可能的实现方式中，所述输出所述前景图像的轮廓对应的深度数据，包括：
获取所述所有分割点中每一个分割点的坐标信息；
将全部所述坐标信息进行压缩处理，输出所述压缩处理得到的全部所述坐标信息对应的压缩数据。
第二方面，提供一种图像处理方法，包括：
接收视频图像帧的编码数据以及所述视频图像帧中前景图像的轮廓对应的深度数据，所述视频图像帧中，根据所述前景图像的轮廓，对所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率；
根据所述深度数据，对所述视频图像帧进行分割，得到所述视频图像帧中的前景图像；
播放所述前景图像。
结合上述第二方面，在第一种可能的实现方式中，还包括：
在播放所述前景图像的同时，播放预置的背景图像或图片，将所述背景图像或图片作为作数前景图像的背景。
第三方面，提供一种图像处理设备，包括：
采集模块，用于采集物体的视频图像和深度图像；
轮廓分割模块，用于利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓；
视频编码模块，用于根据所述前景图像的轮廓，对所述视频图像帧中所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述视频图像帧中所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率；
第一输出模块，用于输出所述视频图像帧对应的编码数据；
第二输出模块，用于所述前景图像的轮廓对应的深度数据。
结合上述第三方面，在第一种可能的实现方式中，所述轮廓分割模块，包括：
像素对齐单元，用于将所述视频图像帧的深度图像与视频图像进行像素对齐；
深度差值计算单元，用于计算所述深度图像上每个像素点与各个相邻像素点的深度差值，确定像素点中与所有所述相邻像素点的深度差值的方差大于预设阈值的像素点为分割点；
分割点确定单元，用于遍历所述深度图像上全部像素点，确定出所有分割点；
轮廓获取单元，用于根据所述所有分割点，得出所述视频图像中前景图像的轮廓。
结合上述第三方面，在第二种可能的实现方式中，所述第二输出模块，包括：
二值图像简化单元，用于根据所述轮廓，将所述深度图像简化为二值图像；
二值图像编码单元，用于将所述二值图像进行编码处理；
二值图像输出单元，用于输出所述二值图像对应的编码数据。
结合上述第三方面，和第一种可能的实现方式，在第三种可能的实现方式中，所述第二输出模块，包括：
坐标获取单元，用于获取所述所有分割点中每一个分割点的坐标信息；
压缩单元，用于将全部所述坐标信息进行压缩处理；
坐标输出单元，用于输出所述压缩处理得到的全部所述坐标信息对应的压缩数据。
第四方面，提供一种图像处理设备，包括：
接收模块，用于接收视频图像帧的编码数据以及所述视频图像帧中前景图像的轮廓对应的深度数据，所述视频图像帧中，根据所述前景图像的轮廓，对所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率；
前景图像分割模块，用于根据所述深度数据，对所述视频图像帧进行分割，得到所述视频图像帧中的前景图像；
前景播放模块，用于播放所述前景图像。
结合上述第四方面，在第一种可能的实现方式中，还包括：
背景播放模块，用于在播放所述前景图像的同时，播放预置的背景图像或图片，将所述背景图像或图片作为作数前景图像的背景。
第五方面，提供一种图像处理***，包括上述任一项两种所述的图像处理设备。
本发明实施例中，通过分割视频图像帧得到所述视频图像帧中前景图像的轮廓，根据所述前景图像的轮廓，可以区分出所述视频图像帧中的“前景”图像和“背景”图像，进而，对“前景”图像和“背景”图像分别包括的视频图像像素点进行不同方式的编码处理，即：对所述轮廓以内的“前景”图像采用较高编码速率的编码方式，对所述轮廓以外的“背景”图像采用较低编码速率的编码方式。通过该编码方式，能够减少编码过程中比特数的利用率，降低视频图像帧传输过程中对网络带宽的占用率，并增强“前景”图像的图像质量。此外，由于只传输所述轮廓对应的像素点的深度数据，并非传输深度图像中所有像素点对应的深度数据，可以进一步降低视频图像传输过程中对网络带宽的占用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一个图像处理方法实施例的流程图；
图2为图1中步骤101的实现流程图；
图3为本发明提供的又一个图像处理方法实施例的流程图；
图4为本发明提供的一种图像处理设备实施例的结构框图；
图5为图4中轮廓分割模块的结构框图；
图6为图4中第二输出模块405的一种结构框图；
图7为图4中第二输出模块405的另一种结构框图；
图8为本发明提供的又一个图像处理设备实施例的结构框图；
图9为本发明提供的再一个图像处理设备实施例的结构框图；
图10为本发明提供的一个具体应用场景。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
首先，介绍本发明提供的一种图像处理方法。本发明提供的图像处理方法、设备及***可以应用于应浸入式会议***。
参见图1，为本发明提供的一个图像处理方法实施例的流程，具体可以包括：
步骤101、采集物体的视频图像和深度图像；
该实施例描述的是视频图像发送侧的图像处理方法。该步骤中，通过彩色摄像头，可以捕获用户的彩***图像，同时，通过深度摄像头，可以捕获用户与摄像头的距离的深度图像。
步骤102、利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓。
本发明提供的图像处理方法、设备及***可以应用于应浸入式会议***。对于浸入式会议***，实际上用户关注度较高的视频图像只是实际接收到的视频图像中的一部分，这部分用户关注这部分的视频图像被称之为“前景”，而视频图像中其他用户较为不关注的视频图像部分被称之为“背景”。例如：一般视频会议中，与当前***用户一起交谈的其他人都是该用户所关心的，因此，这些人的图像即为“前景”；除去这些人之外的该用户并不关注的图像即为“背景”。
上述步骤中，利用深度图像对同一时刻的视频图像对应的视频图像帧进行分割，通过图像分割，得到该视频图像帧中前景图像的轮廓。通过该分割方式，可以得到每个视频图像帧中前景图像的轮廓。
通过前景图像的该轮廓，即可分离出视频图像帧中的“前景”和“背景”，在视频图像帧的像素点范围之内，所述轮廓以内的所有像素点构成“前景”图像，而所述轮廓以外的所有像素点构成“背景”图像。
步骤103、根据所述前景图像的轮廓，对所述视频图像帧中所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述视频图像帧中所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率。
该步骤中，利用所述前景图像的轮廓对所述视频图像帧进行ROI（Region ofInterest，感兴趣区）编码，对所述视频图像帧中前景图像的轮廓以内以及轮廓以外的视频图像像素点采用不同的编码方式进行编码，包括：对所述视频图像中前景图像的轮廓以内的“前景”图像采用较高编码速率的编码方式，对所述视频图像中前景图像的轮廓以外的“背景”图像采用较低编码速率的编码方式。通过该编码方式，能够减少编码过程中比特数的利用率，降低视频图像传输过程中对网络带宽的占用率，并增强“前景”图像的图像质量。
步骤104、输出所述视频图像帧对应的编码数据以及所述前景图像的轮廓对应的深度数据。
该步骤中，将所述视频图像帧对应的编码数据以及所述轮廓对应的深度数据一并输出，从而，接收端可以根据所述前景图像的轮廓对应的深度数据，获得分割所述视频图像帧中“前景”图像和“背景”图像的轮廓，进而根据该前景图像的轮廓，从解码之后的视频图像帧中获得该视频图像帧中的“前景”图像。
由于只传输所述前景图像的轮廓对应的像素点的深度数据，并非传输深度图像中所有像素点对应的深度数据，可以进一步降低视频图像传输过程中对网络带宽的占用率。
本发明实施例中，通过分割视频图像帧得到所述视频图像帧中前景图像的轮廓，根据所述前景图像的轮廓，可以区分出所述视频图像帧中的“前景”图像和“背景”图像，进而，对“前景”图像和“背景”图像分别包括的视频图像像素点进行不同方式的编码处理，即：对所述轮廓以内的“前景”图像采用较高编码速率的编码方式，对所述轮廓以外的“背景”图像采用较低编码速率的编码方式。通过该编码方式，能够减少编码过程中比特数的利用率，降低视频图像帧传输过程中对网络带宽的占用率，并增强“前景”图像的图像质量。此外，由于只传输所述轮廓对应的像素点的深度数据，并非传输深度图像中所有像素点对应的深度数据，可以进一步降低视频图像传输过程中对网络带宽的占用率。
为了便于对本发明技术方案的理解，下面通过具体实施方式，对本发明技术方案进行详细说明。
具体实施时，上述步骤101中利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓，该步骤的具体实现方式如图2所示，具体可以包括以下执行步骤：
步骤201、将所述视频图像帧的深度图像与视频图像进行像素对齐；
该步骤中，将同一时刻深度摄像头采集到的深度图像和彩色摄像头采集到的彩色图像进行像素对齐。
具体地，当彩色图像的分辨率高于深度信息图像的分辨率时，则将彩色图像的分辨率下采样到深度信息图像的分辨率；当彩色图像的分辨率低于深度信息图像的分辨率时，则将彩色图像的分辨率上采样到深度信息图像的分辨率；当彩色图像的分辨率等于深度信息图像的分辨率时，则不用进行处理。
步骤202、计算所述深度图像上每个像素点与各个相邻像素点的深度差值，确定像素点中与所有所述相邻像素点的深度差值的方差大于预设阈值的像素点为分割点；
该步骤中，计算所述深度图像上每个像素点与各个相邻像素点的深度差值，通常为计算深度图像上每个像素点与邻近8个像素点深度值之差。深度图像上的每一个像素的值实际上就是该空间点的投影坐标，即表示该空间点到深度传感器所在的平面的距离Z，单位是mm。通过计算这种深度差值，可以提取出深度图像上的不连续点，即分割点。
对应某一个像素点，在计算出的八个深度差值中，当其中的一个或多个深度差值与其它剩余的深度差值有明显的差异时，即该八个深度差值的方差大于一定的预设阈值时，即可以确定该像素点为分割点。
步骤203、遍历所述深度图像上全部像素点，确定出所有分割点；
该步骤中，依次对所述深度图像上的每个像素点进行上述与相邻像素点的深度差值计算，从而确定出所有的分割点。
步骤204、根据所述所有分割点，得出所述视频图像中前景图像的轮廓。
该步骤中，当确定出所有分割点，所有分割点连接起来之后，即可构成区分所述视频图像中“前景”图像和“背景”图像的轮廓。
本发明实施例中，在向接收端传输视频图像帧的过程中，还需要传输所述轮廓对应的深度数据。对于输出所述轮廓对应的深度数据，本发明实施例提供了如下两种处理方法：
（1）根据所述轮廓，将所述深度图像简化为二值图像；将所述二值图像进行编码处理，输出所述二值图像对应的编码数据。
该方式下，将所述轮廓以内的所有像素点的值设置为0，将所述轮廓以外的所有像素点的值都设置为1。
输出时，对简化为二值图像的深度图像进行编码处理，进而，将该二值图像和彩色图像分别经编码处理后的码流输出，通过传输网络传输至观看该视频图像的接收端。
此外，对二值图像进行编码时可以应用JBIG2编码器。
（2）获取所述所有分割点中每一个分割点的坐标信息；将全部所述坐标信息进行压缩处理，输出所述压缩处理得到的全部所述坐标信息对应的压缩数据。
该方式下，获取所有分割点的坐标信息，包括分割点对应像素点的空间坐标或者矢量坐标，空间坐标例如：（x，y）坐标。然后，将所有分割点的坐标信息集中在一起，例如：表示为一个数据集。将该包含所有分割点坐标信息的数据集进行压缩，通过传输网络传输至观看该视频图像的接收端。
上述实施例主要描述了图像处理过程中图像发送侧的图像处理方法。相应地，本发明还提供了一种图像处理方法，主要针对图像处理过程中图像接收侧的图像处理方法。
参见图3，为本发明提供的一个图像处理方法实施例的流程，具体可以包括：
步骤301、接收视频图像帧的编码数据以及所述视频图像帧中前景图像的轮廓对应的深度数据，所述视频图像帧中，根据所述前景图像的轮廓，对所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率。
该步骤中，接收侧接收到图像发送侧发送的视频图像帧对应的编码数据以及所述视频图像帧中前景图像的轮廓对应的深度数据。视频图像发送侧已经通过图像分割，得到所述视频图像帧中前景图像的轮廓，并通过该轮廓，分离出视频图像帧中的“前景”和“背景”，所述视频图像帧中，所述轮廓以内的所有像素点构成“前景”图像，而所述轮廓以外的所有像素点构成“背景”图像。
此外，接收侧接收到视频图像帧对应的编码数据中，已由视频图像发送侧对所述视频图像帧中前景图像的轮廓以内的“前景”图像采用较高编码速率的编码方式，对所述视频图像帧中前景图像的轮廓以外的“背景”图像采用较低编码速率的编码方式。通过该编码方式，能够减少编码过程中比特数的利用率，降低视频图像传输过程中对网络带宽的占用率，并增强“前景”图像的图像质量。
步骤302、根据所述深度数据，对所述视频图像帧进行分割，得到所述视频图像帧中的前景图像。
该步骤中，接收侧可以对接收到的编码数据进行解码，获得发送侧采集到的视频图像，根据接收到的深度数据，可以对接收到的视频图像进行分割，进而获得接收到的视频图像中的前景图像。这部分前景图像通常是视频用户较为关注的图像部分。
步骤303、播放所述前景图像。
该步骤中，当分割出视频图像中的前景图像之后，即可以进行所述前景图像的播放。由于接收到的视频图像中除所述前景图像之外的背景图像往往不被用户关注，可以不进行这部分背景图像的播放。
例如：一般视频会议中，与当前***用户一起交谈的其他人都是该用户所关心的，因此，这些人的图像即为“前景”；除去这些人之外的该用户并不关注的图像即为“背景”。通过本发明实施例，在视频接收侧，可以只播放用户较为关注的与当前***用户一起交谈的人的图像，而不播放除去这些人之外的该用户并不关注的“背景”图像。
对于浸入式会议***，在进行所述前景图像播放时，可以将所述前景图像设置于视频会议***中会议界面的回放窗口上进行播放。
本发明实施例中，由于视频图像发送侧通过分割视频图像帧得到所述视频图像帧中前景图像的轮廓，根据所述前景图像的轮廓，可以区分出所述视频图像帧中的“前景”图像和“背景”图像，进而，对“前景”图像和“背景”图像分别包括的视频图像像素点进行不同方式的编码处理，即：对所述轮廓以内的“前景”图像采用较高编码速率的编码方式，对所述轮廓以外的“背景”图像采用较低编码速率的编码方式。通过该编码方式，能够减少编码过程中比特数的利用率，降低视频图像帧传输过程中对网络带宽的占用率，并增强“前景”图像的图像质量。此外，由于只传输所述轮廓对应的像素点的深度数据，并非传输深度图像中所有像素点对应的深度数据，可以进一步降低视频图像传输过程中对网络带宽的占用率。
由于接收到的视频图像中除所述前景图像之外的背景图像往往不被用户关注，为了提升用户参加视频会议时浸入式的体验，可以不进行这部分背景图像的播放，而是在播放所述前景图像的同时，播放预置的背景图像或图片，将所述背景图像或图片作为作数前景图像的背景。例如：在浸入式会议***的会议界面上，与当前***用户一起交谈的对方用户的人像通常为“前景”图像，在播放这部分“前景”图像时，可以播放预置的背景图像或图片，将该预置的背景图像或图片作为会议界面的“背景”图像，与会议界面上显示的对方用户的人像共同进行播放。
与本发明提供的图像处理方法实施例相对应，本发明还提供了一种图像处理设备。
如图4所示，为本发明提供的一种图像处理设备的实施例，该设备具体可以包括：
采集模块401，用于采集物体的视频图像和深度图像；
轮廓分割模块402，用于利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓；
视频编码模块403，用于根据所述前景图像的轮廓，对所述视频图像帧中所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述视频图像帧中所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率；
第一输出模块404，用于输出所述视频图像帧对应的编码数据；
第二输出模块405，用于所述前景图像的轮廓对应的深度数据
本发明实施例中，通过采集模块，采集物体的视频图像和深度图像，通过图像处理设备中的轮廓分割模块，分割视频图像帧得到所述视频图像帧中前景图像的轮廓，根据所述轮廓，可以区分出所述视频图像帧中的“前景”图像和“背景”图像，进而，通过视频编码模块，对“前景”图像和“背景”图像分别包括的视频图像像素点进行不同方式的编码处理，即：对所述轮廓以内的“前景”图像采用较高编码速率的编码方式，对所述轮廓以外的“背景”图像采用较低编码速率的编码方式。通过该编码方式，能够减少编码过程中比特数的利用率，降低视频图像传输过程中对网络带宽的占用率，并增强“前景”图像的图像质量。此外，由于只传输所述轮廓对应的像素点的深度数据，并非传输深度图像中所有像素点对应的深度数据，可以进一步降低视频图像传输过程中对网络带宽的占用率。
在本发明提供的一个可行的实施例中，如图5所示，所述轮廓分割模块402，具体可以包括：
像素对齐单元501，用于将所述视频图像帧的深度图像与视频图像进行像素对齐；
深度差值计算单元502，计算所述深度图像上每个像素点与各个相邻像素点的深度差值，确定像素点中与所有所述相邻像素点的深度差值的方差大于预设阈值的像素点为分割点；
分割点确定单元503，用于遍历所述深度图像上全部像素点，确定出所有分割点；
轮廓获取单元504，用于根据所述所有分割点，得出所述视频图像中前景图像的轮廓。
在本发明提供的一个可行的实施例中，如图6所示，所述第二输出模块405，具体可以包括：
二值图像简化单元601，用于根据所述轮廓，将所述深度图像简化为二值图像；
二值图像编码单元602，用于将所述二值图像进行编码处理；
二值图像输出单元603，用于输出所述二值图像对应的编码数据。
该实现方式下，将所述轮廓以内的所有像素点的值设置为0，将所述轮廓以外的所有像素点的值都设置为1。输出时，对简化为二值图像的深度图像进行编码处理，进而，将该二值图像和彩色图像分别经编码处理后的码流输出，通过传输网络传输至观看该视频图像的接收端。
在本发明提供的另一个可行的实施例中，如图7所示，所述第二输出模块405，具体可以包括：
坐标获取单元701，用于获取所述所有分割点中每一个分割点的坐标信息；
压缩单元702，用于将全部所述坐标信息进行压缩处理；
坐标输出单元703，用于输出所述压缩处理得到的全部所述坐标信息对应的压缩数据。
该实现方式下，获取所有分割点的坐标信息，包括分割点对应像素点的空间坐标或者矢量坐标，空间例如：（x，y）坐标。然后，将所有分割点的坐标信息集中在一起，例如：表示为一个数据集。将该包含所有分割点坐标信息的数据集进行压缩，通过传输网络传输至观看该视频图像的接收端。
上述图像处理设备为图像处理过程中图像发送侧的相应设备，本发明实施例中，提供了一种图像处理设备，为图像处理过程中图像接收侧的相应设备。
如图8所示，为本发明提供的一种图像处理设备的实施例，该设备具体可以包括：
接收模块801，用于接收视频图像帧的编码数据以及所述视频图像帧中前景图像的轮廓对应的深度数据，所述视频图像帧中，根据所述前景图像的轮廓，对所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率；
前景图像分割模块802，用于对所述视频图像帧进行分割，得到所述视频图像帧中的前景图像；
前景播放模块803，用于播放所述前景图像。
本发明实施例中，由于视频图像发送侧通过分割视频图像帧得到所述视频图像帧中前景图像的轮廓，根据所述前景图像的轮廓，可以区分出所述视频图像帧中的“前景”图像和“背景”图像，进而，对“前景”图像和“背景”图像分别包括的视频图像像素点进行不同方式的编码处理，即：对所述轮廓以内的“前景”图像采用较高编码速率的编码方式，对所述轮廓以外的“背景”图像采用较低编码速率的编码方式。通过该编码方式，能够减少编码过程中比特数的利用率，降低视频图像帧传输过程中对网络带宽的占用率，并增强“前景”图像的图像质量。此外，由于只传输所述轮廓对应的像素点的深度数据，并非传输深度图像中所有像素点对应的深度数据，可以进一步降低视频图像传输过程中对网络带宽的占用率。
在本发明提供的另一个实施例中，如图9所示，所述图像处理设备还可以包括：
背景播放模块804，用于在播放所述前景图像的同时，播放预置的背景图像或图片，将所述背景图像或图片作为作数前景图像的背景。
由于接收到的视频图像中除所述前景图像之外的背景图像往往不被用户关注，为了提升用户参加视频会议时浸入式的体验，本发明实施例中，可以不进行这部分背景图像的播放，而是在播放所述前景图像的同时，播放预置的背景图像或图片，将所述背景图像或图片作为作数前景图像的背景。
相应地，本发明还提供了一种图像处理***。该***具体可以包括：图像发送设备和图像接收设备，其中，
所述图像发送设备，用于采集物体的视频图像和深度图像；利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓；根据所述前景图像的轮廓，对所述视频图像帧中所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述视频图像帧中所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率；输出所述视频图像帧对应的编码数据以及所述前景图像的轮廓对应的深度数据；
所述图像接收设备，用于接收视频图像帧的编码数据以及所述视频图像帧中前景图像的轮廓对应的深度数据，根据所述深度数据，对所述视频图像帧进行分割，得到所述视频图像帧中的前景图像；播放所述前景图像。
上述***实施例中，在图像发送设备一侧，通过分割视频图像帧得到所述视频图像帧中前景图像的轮廓，根据所述前景图像的轮廓，可以区分出所述视频图像帧中的“前景”图像和“背景”图像，进而，对“前景”图像和“背景”图像分别包括的视频图像像素点进行不同方式的编码处理，即：对所述轮廓以内的“前景”图像采用较高编码速率的编码方式，对所述轮廓以外的“背景”图像采用较低编码速率的编码方式。通过该编码方式，能够减少编码过程中比特数的利用率，降低视频图像帧传输过程中对网络带宽的占用率，并增强“前景”图像的图像质量。此外，由于只传输所述轮廓对应的像素点的深度数据，并非传输深度图像中所有像素点对应的深度数据，可以进一步降低视频图像传输过程中对网络带宽的占用率。
此外，上述***中，图像发送设备还可以执行图2所示的执行流程以及前述两种输出所述轮廓对应的深度数据的处理方法；图像接收设备还可以执行图3所示的执行流程，并能够在播放所述前景图像的同时，播放预置的背景图像或图片，将所述背景图像或图片作为作数前景图像的背景。
下面通过一个具体应用场景，对上述技术方案进行解释说明。
如图10所述的应用场景中，图像发送设备a侧的深度摄像头1001用于捕获用户与摄像头的距离的深度图像，彩色摄像头1002用于捕获用户的彩***图像，获得当前视频图像的视频图像帧；通过轮廓分割模块1003，利用所述深度图像对该视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓；根据所述轮廓，将所述深度图像简化为二值图像，将所述二值图像利用JBIG2编码器1004进行编码处理，同时，通过基于ROI编码的视频编码器1005实现利用所述前景图像的轮廓对所述视频图像帧进行ROI编码；两种编码数据通过网络1006传输至图像接收设备b侧的JBIG2解码器1007和ROI解码器1008；通过JBIG2解码器获得所述视频图像帧中前景图像的轮廓，进而，通过前景图像分割模块1009，将视频图像帧中的前景图像单独分割出来；进一步，可以通过背景播放模块1010，实现在播放所述前景图像的同时，播放预置的背景图像或图片，将预置的背景图像或图片作为作数前景图像的背景。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (5)

1.一种图像处理方法，其特征在于，包括：
采集物体的视频图像和深度图像；
利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓；所述利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓，包括：
将所述视频图像帧的深度图像与视频图像进行像素对齐；
计算所述深度图像上每个像素点与各个相邻像素点的深度差值，确定像素点中与所有所述相邻像素点的深度差值的方差大于预设阈值的像素点为分割点；
遍历所述深度图像上全部像素点，确定出所有分割点；
根据所述所有分割点，得出所述视频图像中前景图像的轮廓；
根据所述前景图像的轮廓，对所述视频图像帧中所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述视频图像帧中所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率；
输出所述视频图像帧对应的编码数据以及所述前景图像的轮廓对应的深度数据。
2.根据权利要求1所述的方法，其特征在于，所述输出所述轮廓对应的深度数据，包括：
根据所述轮廓，将所述深度图像简化为二值图像；
将所述二值图像进行编码处理，输出所述二值图像对应的编码数据。
3.根据权利要求1所述的方法，其特征在于，所述输出所述前景图像的轮廓对应的深度数据，包括：
获取所述所有分割点中每一个分割点的坐标信息；
将全部所述坐标信息进行压缩处理，输出所述压缩处理得到的全部所述坐标信息对应的压缩数据。
4.一种图像处理设备，其特征在于，包括：
采集模块，用于采集物体的视频图像和深度图像；
轮廓分割模块，用于利用所述深度图像对同一时刻的所述视频图像对应的视频图像帧进行分割，得到所述视频图像帧中前景图像的轮廓；所述轮廓分割模块，包括：
像素对齐单元，用于将所述视频图像帧的深度图像与视频图像进行像素对齐；
深度差值计算单元，用于计算所述深度图像上每个像素点与各个相邻像素点的深度差值，确定像素点中与所有所述相邻像素点的深度差值的方差大于预设阈值的像素点为分割点；
分割点确定单元，用于遍历所述深度图像上全部像素点，确定出所有分割点；
轮廓获取单元，用于根据所述所有分割点，得出所述视频图像中前景图像的轮廓；
视频编码模块，用于根据所述前景图像的轮廓，对所述视频图像帧中所述前景图像的轮廓以内的视频图像像素点进行第一编码，对所述视频图像帧中所述轮廓以外的视频图像像素点进行第二编码，获得所述视频图像帧对应的编码数据，其中，所述第一编码的编码速率高于所述第二编码的编码速率；
第一输出模块，用于输出所述视频图像帧对应的编码数据；
第二输出模块，用于所述前景图像的轮廓对应的深度数据。
5.根据权利要求4所述的设备，其特征在于，所述第二输出模块，包括：
二值图像简化单元，用于根据所述轮廓，将所述深度图像简化为二值图像；
二值图像编码单元，用于将所述二值图像进行编码处理；
二值图像输出单元，用于输出所述二值图像对应的编码数据。
CN201310362321.1A 2013-08-19 2013-08-19 一种图像处理方法及设备 Expired - Fee Related CN104427291B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201310362321.1A CN104427291B (zh) 2013-08-19 2013-08-19 一种图像处理方法及设备
PCT/CN2014/070138 WO2015024362A1 (zh) 2013-08-19 2014-01-06 一种图像处理方法及设备
EP14838494.4A EP2999221A4 (en) 2013-08-19 2014-01-06 IMAGE PROCESSING AND DEVICE
JP2016526410A JP6283108B2 (ja) 2013-08-19 2014-01-06 画像処理方法及び装置
US14/972,222 US9392218B2 (en) 2013-08-19 2015-12-17 Image processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310362321.1A CN104427291B (zh) 2013-08-19 2013-08-19 一种图像处理方法及设备

Publications (2)

Publication Number Publication Date
CN104427291A CN104427291A (zh) 2015-03-18
CN104427291B true CN104427291B (zh) 2018-09-28

Family

ID=52483014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310362321.1A Expired - Fee Related CN104427291B (zh) 2013-08-19 2013-08-19 一种图像处理方法及设备

Country Status (5)

Country Link
US (1) US9392218B2 (zh)
EP (1) EP2999221A4 (zh)
JP (1) JP6283108B2 (zh)
CN (1) CN104427291B (zh)
WO (1) WO2015024362A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9560103B2 (en) * 2013-06-26 2017-01-31 Echostar Technologies L.L.C. Custom video content
US9847082B2 (en) * 2013-08-23 2017-12-19 Honeywell International Inc. System for modifying speech recognition and beamforming using a depth image
JP6529360B2 (ja) * 2015-06-26 2019-06-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
WO2017098709A1 (ja) * 2015-12-08 2017-06-15 パナソニックＩｐマネジメント株式会社 画像認識装置および画像認識方法
CN107180407A (zh) * 2016-03-09 2017-09-19 杭州海康威视数字技术股份有限公司 一种图片处理方法及装置
CN107295360B (zh) * 2016-04-13 2020-08-18 成都鼎桥通信技术有限公司 视频传输方法及装置
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
EP3550844A1 (en) * 2016-11-30 2019-10-09 Panasonic Intellectual Property Corporation of America Three-dimensional model distribution method and three-dimensional model distribution device
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
JP2018136896A (ja) * 2017-02-24 2018-08-30 キヤノン株式会社 情報処理装置、システム、情報処理方法、および物品の製造方法
CN106911902B (zh) * 2017-03-15 2020-01-07 微鲸科技有限公司 视频图像传输方法、接收方法及装置
CN107945192B (zh) * 2017-12-14 2021-10-22 北京信息科技大学 一种托盘纸箱垛型实时检测方法
CN107948650A (zh) * 2017-12-25 2018-04-20 横琴国际知识产权交易中心有限公司 一种视频编码方法及装置
KR102664392B1 (ko) 2018-06-28 2024-05-08 삼성전자주식회사 디스플레이 장치
KR102546321B1 (ko) 2018-07-30 2023-06-21 삼성전자주식회사 3차원 영상 표시 장치 및 방법
KR102673817B1 (ko) 2018-07-30 2024-06-10 삼성전자주식회사 3차원 영상 표시 장치 및 영상 처리 방법
CN109089097A (zh) * 2018-08-28 2018-12-25 恒信东方文化股份有限公司 一种基于vr图像处理的焦点对象选取方法
US11089279B2 (en) * 2018-12-06 2021-08-10 Htc Corporation 3D image processing method, camera device, and non-transitory computer readable storage medium
CN111435551B (zh) * 2019-01-15 2023-01-13 华为技术有限公司 点云滤波方法、装置及存储介质
US11303877B2 (en) * 2019-08-13 2022-04-12 Avigilon Corporation Method and system for enhancing use of two-dimensional video analytics by using depth data
CN112395912B (zh) * 2019-08-14 2022-12-13 中移(苏州)软件技术有限公司 一种人脸分割方法、电子设备及计算机可读存储介质
CN113191210B (zh) * 2021-04-09 2023-08-29 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN113613039B (zh) * 2021-08-09 2023-06-30 咪咕文化科技有限公司 视频传输方法、***、计算设备及计算机存储介质
CN116193153B (zh) * 2023-04-19 2023-06-30 世优（北京）科技有限公司 直播数据的发送方法、装置及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158712A (zh) * 2011-03-22 2011-08-17 宁波大学 一种基于视觉的多视点视频信号编码方法
WO2012153771A1 (ja) * 2011-05-10 2012-11-15 シャープ株式会社 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
CN102999901A (zh) * 2012-10-17 2013-03-27 中国科学院计算技术研究所 基于深度传感器的在线视频分割后的处理方法及***
CN103108197A (zh) * 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和***
CN103155558A (zh) * 2010-08-11 2013-06-12 弗兰霍菲尔运输应用研究公司 多视点信号编解码器
CN103152569A (zh) * 2013-02-28 2013-06-12 哈尔滨工业大学 一种基于深度信息的视频感兴趣区域压缩方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1013799A (ja) * 1996-06-19 1998-01-16 Mega Chips:Kk テレビ電話装置
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
JPH11339007A (ja) * 1998-05-26 1999-12-10 Matsushita Electric Ind Co Ltd 画像処理装置
US20020051491A1 (en) * 1998-11-20 2002-05-02 Kiran Challapali Extraction of foreground information for video conference
FR2806570B1 (fr) * 2000-03-15 2002-05-17 Thomson Multimedia Sa Procede et dispositif de codage d'images video
JP2002016911A (ja) * 2000-06-29 2002-01-18 Toshiba Corp オブジェクト映像符号化装置
US7426304B2 (en) * 2004-09-15 2008-09-16 Hewlett-Packard Development Company, L.P. Method and device for three-dimensional graphics to two-dimensional video encoding
JP4670303B2 (ja) * 2004-10-06 2011-04-13 ソニー株式会社 画像処理方法及び画像処理装置
KR100708180B1 (ko) * 2005-09-22 2007-04-17 삼성전자주식회사 화상 압축 장치 및 방법
EP1806697B1 (en) * 2006-01-10 2016-08-10 Microsoft Technology Licensing, LLC Segmenting image elements
EP1830573A1 (en) * 2006-03-02 2007-09-05 Thomson Licensing Method and apparatus for determining in picture signal encoding the bit allocation for groups of pixel blocks in a picture
JP4679425B2 (ja) * 2006-04-20 2011-04-27 株式会社東芝 画像処理装置、画像処理方法およびプログラム
TWI381717B (zh) * 2008-03-31 2013-01-01 Univ Nat Taiwan 數位視訊動態目標物體分割處理方法及系統
EP2425624A2 (en) * 2009-05-01 2012-03-07 Thomson Licensing 3d video coding formats
GB2473247B (en) * 2009-09-04 2015-02-11 Sony Corp A method and apparatus for image alignment
US9117310B2 (en) * 2010-04-02 2015-08-25 Imec Virtual camera system
US8300938B2 (en) * 2010-04-09 2012-10-30 General Electric Company Methods for segmenting objects in images
US8818028B2 (en) * 2010-04-09 2014-08-26 Personify, Inc. Systems and methods for accurate user foreground video extraction
US8649592B2 (en) * 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
ES2395102B1 (es) * 2010-10-01 2013-10-18 Telefónica, S.A. Metodo y sistema para segmentacion de primer plano de imagenes en tiempo real
CN102156995A (zh) * 2011-04-21 2011-08-17 北京理工大学 一种运动相机下的视频运动前景分割方法
CN102972038B (zh) * 2011-07-01 2016-02-10 松下电器产业株式会社 图像处理装置、图像处理方法、程序、集成电路
IN2014KN01047A (zh) * 2011-11-11 2015-10-09 Fraunhofer Ges Forschung
JP2013118468A (ja) * 2011-12-02 2013-06-13 Sony Corp 画像処理装置および画像処理方法
EP2706503A3 (en) * 2012-09-11 2017-08-30 Thomson Licensing Method and apparatus for bilayer image segmentation
US9191643B2 (en) * 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
US9414016B2 (en) * 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103155558A (zh) * 2010-08-11 2013-06-12 弗兰霍菲尔运输应用研究公司 多视点信号编解码器
CN102158712A (zh) * 2011-03-22 2011-08-17 宁波大学 一种基于视觉的多视点视频信号编码方法
WO2012153771A1 (ja) * 2011-05-10 2012-11-15 シャープ株式会社 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
CN103108197A (zh) * 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和***
CN102999901A (zh) * 2012-10-17 2013-03-27 中国科学院计算技术研究所 基于深度传感器的在线视频分割后的处理方法及***
CN103152569A (zh) * 2013-02-28 2013-06-12 哈尔滨工业大学 一种基于深度信息的视频感兴趣区域压缩方法

Also Published As

Publication number Publication date
JP2016527791A (ja) 2016-09-08
US9392218B2 (en) 2016-07-12
EP2999221A4 (en) 2016-06-22
EP2999221A1 (en) 2016-03-23
US20160105636A1 (en) 2016-04-14
JP6283108B2 (ja) 2018-02-21
CN104427291A (zh) 2015-03-18
WO2015024362A1 (zh) 2015-02-26

Similar Documents

Publication Publication Date Title
CN104427291B (zh) 一种图像处理方法及设备
EP3751857A1 (en) A method, an apparatus and a computer program product for volumetric video encoding and decoding
JP7277372B2 (ja) 三次元モデル符号化装置、三次元モデル復号装置、三次元モデル符号化方法、および、三次元モデル復号方法
JP7320352B2 (ja) 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
US10389994B2 (en) Decoder-centric UV codec for free-viewpoint video streaming
Isgro et al. Three-dimensional image processing in the future of immersive media
Solh et al. Hierarchical hole-filling for depth-based view synthesis in FTV and 3D video
WO2009091563A1 (en) Depth-image-based rendering
KR20130129471A (ko) 관심 객체 기반 이미지 처리
US5696551A (en) Three-dimension picture coding system
CN110944200A (zh) 一种评估沉浸式视频转码方案的方法
Schreer et al. Lessons learned during one year of commercial volumetric video production
US20220217400A1 (en) Method, an apparatus and a computer program product for volumetric video encoding and decoding
EP2826250A1 (en) Using depth information to assist motion compensation-based video coding
Meuel et al. Mesh-based piecewise planar motion compensation and optical flow clustering for ROI coding
Muller et al. Compressing time-varying visual content
Ali et al. Depth image-based spatial error concealment for 3-D video transmission
CN113542864A (zh) 视频的花屏区域检测方法、装置、设备及可读存储介质
US20230306687A1 (en) Mesh zippering
EP4369716A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN107147889A (zh) Vr视频的编码方法和装置
CN118283275A (zh) 编解码方法及电子设备
Maceira et al. Region-based depth map coding using a 3D scene representation
Kum et al. Reference stream selection for multiple depth stream encoding
CN117157709A (zh) 用于编辑多个视频镜头的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180928