CN110858896B - 一种vr图像处理方法 - Google Patents

一种vr图像处理方法 Download PDF

Info

Publication number
CN110858896B
CN110858896B CN201810975482.0A CN201810975482A CN110858896B CN 110858896 B CN110858896 B CN 110858896B CN 201810975482 A CN201810975482 A CN 201810975482A CN 110858896 B CN110858896 B CN 110858896B
Authority
CN
China
Prior art keywords
image
focus area
determining
contour
edge profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810975482.0A
Other languages
English (en)
Other versions
CN110858896A (zh
Inventor
孟宪民
李小波
赵德贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oriental Dream Virtual Reality Technology Co Ltd
Original Assignee
Oriental Dream Virtual Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oriental Dream Virtual Reality Technology Co Ltd filed Critical Oriental Dream Virtual Reality Technology Co Ltd
Priority to CN201810975482.0A priority Critical patent/CN110858896B/zh
Publication of CN110858896A publication Critical patent/CN110858896A/zh
Application granted granted Critical
Publication of CN110858896B publication Critical patent/CN110858896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种VR图像处理方法，包括如下步骤：确定需要处理的图像；选取至少一个焦点区域；确定焦点区域的焦点区域轮廓；依据焦点区域轮廓对焦点区域与背景图像进行融合处理；将融合处理后的图像传输给VR头显。本申请达到了保证传输图像的高清部分与非高清部分衔接自然，有效的提升用户体验的舒适度的技术效果。

Description

一种VR图像处理方法
技术领域
本申请涉及VR图像传输技术领域，尤其涉及一种VR图像处理方法。
背景技术
当今对图像传输过程中对分辨率的要求越来越高，尤其是在VR图像传输领域，因为VR需要双目输出，所以在传输上就有双倍大小图像输出的需求。根据目前的可行性方案，如果发送端使用X264编码压缩然后在接收端使用h264解码可以实时传输压缩后的视频流数据，并能有效降低网络传输数据量。但是网路传输领域还是存在传输高清、特高清视频会导致延迟加重的情况和无法即时性观察的可能性，特别是这种4K或者8K的视频传输压力则更大，相对应的视频编码领域压缩率越高则清晰度就越低，无法满足又能即时传输又能让客户观看高清视频的可能性，也无法满足VR的双目输出全景高清图的需求，若将一帧图像部分高清传输，部分非高清传输，则高清部分与非高清部分又容易出现断层现象，从而影响用户体验的舒适度。
发明内容
本申请的目的在于提供一种VR图像处理方法，保证了传输图像的高清部分与非高清部分衔接自然，有效的提升了用户体验的舒适度。
为达到上述目的，本申请提供一种VR图像处理方法，包括如下步骤：确定需要处理的图像；选取至少一个焦点区域；确定焦点区域的焦点区域轮廓；依据焦点区域轮廓对焦点区域与背景图像进行融合处理；将融合处理后的图像传输给VR头显。
优选的，利用CamShift算法确定焦点区域轮廓。
优选的，确定焦点区域轮廓方法具体为：确定第一边缘轮廓；确定第二边缘轮廓；将第一边缘轮廓和第二边缘轮廓存入焦点对象文件库。
优选的，根据第一边缘轮廓向内收缩计算确定第二边缘轮廓。
优选的，第一边缘轮廓上的每个像素的向内收缩计算公式为：收缩后像素值＝(第一轮廓像素值-中心点)×收缩系数。
优选的，收缩系数为0.6～0.9。
优选的，收缩系数为0.8。
优选的，对融合后的图像的传输方法为：高清传输焦点区域并同步非高清传输背景图像。
本申请实现的有益效果如下：
(1)保证了传输图像的高清部分与非高清部分衔接自然，有效的提升了用户体验的舒适度。
(2)能够达到降低网络传输数据量，避免传输延迟并且满足客户观看视频为高清视频的技术效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为VR图像处理方法一种实施例的流程图；
图2为确定焦点区域轮廓方法一种实施例的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供一种VR图像处理方法，包括如下步骤：
S110：播放视频，确定视频中需要进行处理的图像。
具体的，工作人员通过视频播放工具播放视频，在播放过程中，工作人员在需要设置焦点的地方暂停视频，暂停后显示在视频播放工具上的那帧图像为需要进行处理的图像。
S120：从需要处理的图像中选取至少一个焦点区域。
具体的，工作人员利用鼠标对图像中的至少一个区域进行框选，被框选的区域即为焦点区域，确定焦点区域后，执行S130。
S130：确定焦点区域的焦点区域轮廓。
进一步的：作为一种实施例，利用CamShift算法(Continuously AdaptiveMean-Shift，连续的自适应MeanShift算法)确定焦点区域轮廓。
具体的，CamShift算法(Continuously Adaptive Mean-Shift，连续的自适应MeanShift算法)是对MeanShift算法的改进算法，能够在跟踪的过程中随着跟踪目标大小的变化实时调整搜索窗口大小，将视频图像的所有帧作MeanShift算法，并将上一帧的结果(即Search Window的质心和大小)作为下一帧MeanShift算法的Search Window(搜索窗口)的初始值，来寻找最优迭代结果，将最优迭代结果中的质心用到窗口的零阶矩M00和一阶矩M10，M01中计算零阶矩大小，零阶矩是Search Window(搜索窗口)内所有像素的积分，搜索窗口内所有像素的积分等于Search Window(搜索窗口)的尺寸，Search Window(搜索窗口)的大小为焦点区域轮廓。
进一步的，CamShift和MeanShift的运算均在反向投影图像上进行的，通过反向投影计算并生成目标区域(即焦点区域)的H分量的直方图，并将目标区域上每一个像素点的像素值替换为当前像素值所在bin对应的直方图bin的数值。经过反向投影后，目标区域的搜索窗口大部分像素值归一化为最大值255，根据使用时的测试结果确定一个阀值，如果计算出来零阶矩大于该阈值，则目标铺满了整个搜索窗口，需要判断搜索窗口之外的区域是否还存在目标区域，若存在，需要增大搜索窗口的尺寸；如果零阶矩小于该阈值，则需要缩小搜索窗口的尺寸。故当目标的大小发生变化的时候，通过CamShift算法能够自适应的调整搜索窗口大小，对目标区域进行跟踪，得出焦点区域轮廓。
进一步的，如图2所示，作为另一个实施例，确定焦点区域轮廓方法步骤如下：
S210：确定第一边缘轮廓。
具体的，工作人员用鼠标在需要处理的图像上画出第一边缘轮廓，第一边缘轮廓围成的区域大于需要框选的焦点区域。
S220：确定第二边缘轮廓。
具体的，根据第一边缘轮廓向内收缩计算第二边缘轮廓。
具体的，根据工作人员画出第一边缘轮廓时鼠标的移动轨迹计算轨迹上所有的像素点的所有路径。计算所有路径的平均值得出中心点。所有像素点向内收缩计算得出第二边缘轮廓，计算公式如下：
收缩后像素值＝(第一轮廓像素值-中心点)×收缩系数
其中，收缩系数取值范围为0.6～0.9，该收缩系数的值为用户根据实时测试取值，优选的，系数取值为0.8。需要处理的图像上所有像素的收缩后像素值的连线即为第二边缘轮廓。
S230:将第一边缘轮廓和第二边缘轮廓存入焦点对象文件库。
具体的，将每一帧图像的图像大小、焦点区域、第一边缘轮廓、第二边缘轮廓等数据传入焦点对象文件库存储。
S140：依据焦点区域轮廓对焦点区域与背景图像进行融合处理。
播放视频时，计算机从焦点对象文件库中读取该播放视频中每一帧图像对应的焦点对象、第一边缘轮廓、第二边缘轮廓和图像大小等数据。并将清晰度数据、第一边缘轮廓、第二边缘轮廓与视频数据同步传输给VR客户端。VR客户端接收数据后，先利用原图渲染一张非高清图作为背景图像，然后在背景图像上对应的焦点区域渲染一层焦点区域的高清图，根据第一边缘轮廓逐渐向第二边缘轮廓进行融合，形成融合区域，保证处理后图像显示时具有舒服的视觉感。完成焦点区域与背景图像的融合处理后，执行S150。
S150：将融合处理后的图像传输给VR头显。
进一步的，对融合后的图像的传输方法为：高清传输焦点区域并同步非高清传输背景图像。
本申请实现的有益效果如下：
(1)保证了传输图像的高清部分与非高清部分衔接自然，有效的提升了用户体验的舒适度。
(2)能够达到降低网络传输数据量，避免传输延迟并且满足客户观看视频为高清视频的技术效果。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (5)

1.一种VR图像处理方法，其特征在于，包括如下步骤：
确定需要处理的图像；
选取至少一个焦点区域；
确定焦点区域的焦点区域轮廓；
依据焦点区域轮廓对焦点区域与背景图像进行融合处理；
将融合处理后的图像传输给VR头显；
其中，确定焦点区域轮廓方法具体为：
确定第一边缘轮廓；
确定第二边缘轮廓；
将第一边缘轮廓和第二边缘轮廓存入焦点对象文件库；
其中，根据第一边缘轮廓向内收缩计算确定第二边缘轮廓；
其中，根据第一边缘轮廓向内收缩计算确定第二边缘轮廓的子步骤如下：
通过绘制第一边缘轮廓时鼠标的移动轨迹计算轨迹上所有像素点的所有路径，并计算所有路径的平均值得出中心点，
计算第一边缘轮廓上的每个像素的收缩后像素值，计算公式为：收缩后像素值＝(第一轮廓像素值-中心点)×收缩系数；
获得所有的收缩后像素值后，所有的收缩后像素值的连线即为第二边缘轮廓。
2.根据权利要求1所述的VR图像处理方法，其特征在于，利用CamShift算法确定焦点区域轮廓。
3.根据权利要求1所述的VR图像处理方法，其特征在于，收缩系数为0.6～0.9。
4.根据权利要求3所述的VR图像处理方法，其特征在于，收缩系数为0.8。
5.根据权利要求1所述的VR图像处理方法，其特征在于，对融合后的图像的传输方法为：高清传输焦点区域并同步非高清传输背景图像。
CN201810975482.0A 2018-08-24 2018-08-24 一种vr图像处理方法 Active CN110858896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810975482.0A CN110858896B (zh) 2018-08-24 2018-08-24 一种vr图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810975482.0A CN110858896B (zh) 2018-08-24 2018-08-24 一种vr图像处理方法

Publications (2)

Publication Number Publication Date
CN110858896A CN110858896A (zh) 2020-03-03
CN110858896B true CN110858896B (zh) 2021-06-08

Family

ID=69636438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810975482.0A Active CN110858896B (zh) 2018-08-24 2018-08-24 一种vr图像处理方法

Country Status (1)

Country Link
CN (1) CN110858896B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103249349A (zh) * 2010-12-02 2013-08-14 奥林巴斯株式会社 内窥镜图像处理装置以及程序
CN106446894A (zh) * 2016-09-27 2017-02-22 广东技术师范学院 一种基于轮廓识别球型目标物位置的方法
CN106959964A (zh) * 2016-01-12 2017-07-18 阿里巴巴集团控股有限公司 界面背景显示方法
WO2017168229A1 (en) * 2016-04-01 2017-10-05 Linear Albra Technologies Limited Systems and methods for head-mounted display adapted to human visual mechanism
CN108848389A (zh) * 2018-07-27 2018-11-20 恒信东方文化股份有限公司 一种全景视频处理方法、装置及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103249349A (zh) * 2010-12-02 2013-08-14 奥林巴斯株式会社 内窥镜图像处理装置以及程序
CN106959964A (zh) * 2016-01-12 2017-07-18 阿里巴巴集团控股有限公司 界面背景显示方法
WO2017168229A1 (en) * 2016-04-01 2017-10-05 Linear Albra Technologies Limited Systems and methods for head-mounted display adapted to human visual mechanism
CN106446894A (zh) * 2016-09-27 2017-02-22 广东技术师范学院 一种基于轮廓识别球型目标物位置的方法
CN108848389A (zh) * 2018-07-27 2018-11-20 恒信东方文化股份有限公司 一种全景视频处理方法、装置及***

Also Published As

Publication number Publication date
CN110858896A (zh) 2020-03-03

Similar Documents

Publication Publication Date Title
US10462446B2 (en) Processing a depth map for an image
Javaheri et al. Subjective and objective quality evaluation of 3D point cloud denoising algorithms
US8983175B2 (en) Video processing method and device for depth extraction
US10977809B2 (en) Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings
CN107211193B (zh) 感知体验质量估计驱动的智能适应视频流传输方法和***
CN101682794B (zh) 用于处理深度相关信息的方法、装置和***
CN103402098B (zh) 一种基于图像插值的视频插帧方法
EP1274043A2 (en) Image signal coding method and apparatus
US20110080464A1 (en) Method and a device for filling occluded areas of a depth or disparity map estimated from at least two images
KR100524077B1 (ko) 중간 영상 합성을 위한 시간적 평활화 장치 및 방법
CN105611116B (zh) 一种全局运动矢量估计方法及监控视频稳像方法及装置
KR102182697B1 (ko) 영상 처리 장치 및 방법
CN105721767B (zh) 处理视频流的方法
JP2011142663A (ja) 効率的な映像処理のための方法および装置
CN110620924A (zh) 编码数据的处理方法、装置、计算机设备及存储介质
JP2004023288A (ja) 動画像符号化のための前処理方式
CN110858896B (zh) 一种vr图像处理方法
CN108924629B (zh) 一种vr图像处理方法
KR20120019662A (ko) 전송될 동영상의 전처리 방법 및 이를 이용한 동영상 전송시스템.
Zafarifar et al. Blue sky detection for picture quality enhancement
JP2006279413A (ja) 動きベクトル検出装置、画像表示装置、画像撮像装置、動きベクトル検出方法、プログラムおよび記録媒体
JP2015504272A (ja) 歪み／品質測定
US20160314569A1 (en) Method to select best keyframes in online and offline mode
CN114827684B (zh) 一种基于5g的交互式视频服务方法及***
CN109168007B (zh) 一种标定焦点及其图像传输的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100007 204, 2nd floor, building 3, No.2, zanjingguan Hutong, Dongcheng District, Beijing

Applicant after: Oriental Dream Virtual Reality Technology Co., Ltd

Address before: 100097 Beijing city Haidian District landianchang Road No. 25 11-20

Applicant before: BEIJING HENGXIN RAINBOW INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant