CN103595990B - 运动感知的双目立体视频舒适度获取方法 - Google Patents

运动感知的双目立体视频舒适度获取方法 Download PDF

Info

Publication number
CN103595990B
CN103595990B CN201310528899.XA CN201310528899A CN103595990B CN 103595990 B CN103595990 B CN 103595990B CN 201310528899 A CN201310528899 A CN 201310528899A CN 103595990 B CN103595990 B CN 103595990B
Authority
CN
China
Prior art keywords
vxy
angle value
binocular
comfort level
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310528899.XA
Other languages
English (en)
Other versions
CN103595990A (zh
Inventor
胡事民
杜松沛
贝伦·马萨
迭戈·古铁雷斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201310528899.XA priority Critical patent/CN103595990B/zh
Priority to US15/026,576 priority patent/US10091484B2/en
Priority to EP13896633.8A priority patent/EP3065401B1/en
Priority to PCT/CN2013/090462 priority patent/WO2015062149A1/zh
Publication of CN103595990A publication Critical patent/CN103595990A/zh
Application granted granted Critical
Publication of CN103595990B publication Critical patent/CN103595990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/339—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种运动感知的双目立体视频舒适度获取方法，S1.输入的双目视频进行双目视差和运动速度分析，计算视频中每个像素点的双目视差d，视平面方向的运动速度vxy和深度方向的运动速度vz；S2.根据所述像素点的参数(d,vxy,vz)，计算相应的舒适度值c；S3.根据每个像素点计算出的舒适度值，计算整帧舒适度值；S4.根据每帧的舒适度值，计算整个视频的舒适度值。按照本发明的步骤来计算双目立体视频的舒适度，能够很好的考虑正负深度范围和物体运动对舒适度造成的影响，获得更准确的舒适度估计。

Description

运动感知的双目立体视频舒适度获取方法
技术领域
本发明涉及数字图像处理技术领域，特别涉及一种运动感知的双目立体视频舒适度获取方法。
背景技术
在计算机图形学领域中，双目立体图像和视频是被广泛研究和使用的立体媒体格式。双目立体技术通过在屏幕上向左右眼展示不同的图像来实现立体成像。由于成像技术中视角-聚焦的不匹配，导致人们在观看双目立体视频时，会产生不同程度的不舒适感。这种不舒适感是当前双目立体技术中存在的一个重要问题，因此，为了避免人们在观看双目立体视频时产生严重的不舒适感，甚至无法进行双目立体融合，如何能够对双目立体视频进行舒适度衡量具有重要的研究和实际意义。
传统的双目立体成像原理研究通过实验方式揭示了导致人眼产生不舒适感和影响双目立体成像的一些因素。相关研究表明，双目立体视差、物体运动速度对不舒适程度有较大影响，而且双目立体视差越大，物体运动速度越大，不舒适程度越大，但现有双目视觉领域相关工作主要关注在这些因素的定性关系描述，缺乏定量关系分析，因此无法在实际工程中直接应用。2012年Jung等人通过实验提出了一种根据基于双目视差和运动速度计算不舒适度的方法，但该方法在实验时对双目视差和不同方向的运动速度进行独立的实验分析，没有考虑这些因素之间的相互关系，而且该计算方法没有对正负双目视差进行区分。我们通过对双目视差和物体三维运动速度整体参数空间建模，获得更为准确和普适的计算方法。
发明内容
(一)要解决的技术问题
本发明所要解决的技术问题是：如何提供一种能够根据双目立体视频中物体的运动的速度和视差的变化，计算观测该双目立体视频时不舒适程度的方法。
(二)技术方案
为解决上述问题，本发明提供一种运动感知的双目立体视频舒适度获取方法，包括以下步骤：S1、对输入的双目视频进行双目视差和运动速度分析，计算视频中每个像素点的双目视差d，视平面方向的运动速度vxy和深度方向的运动速度vz；S2、根据所述像素点的参数(d,vxy,vz)，计算相应的舒适度值c；S3、根据每个像素点计算出的舒适度值，计算整帧舒适度值；S4、根据每帧的舒适度值，计算整个视频的舒适度值。
优选地，所述步骤S1包括：首先根据双目视频通过双目匹配来计算每个像素点处的双目视差值，然后使用光流计算每个像素点出视平面方向的运动速度vxy和深度方向的运动速度vz。
优选地，所述步骤S2包括：根据步骤S1中计算得到的参数(d,vxy,vz)，根据通过实验拟合的舒适度计算公式，计算该像素点处的舒适度值c：
c＝-0.0556*vxy-0.6042*vz+0.0191*vxy*vz+0.0022*d*vxy+0.1833*d*vz-0.6932*d+4.6567(d>＝0)，
c＝-0.0556*vxy-0.6042*vz+0.0191*vxy*vz-0.0043*d*vxy-0.1001*d*vz+0.2303*d+4.6567(d<0)。
优选地，所述步骤S3中，使用保守的估计策略，用每一帧中舒适度值最低的像素对应的舒适度值，作为该帧的舒适度值。
优选地，所述步骤S4中，对于视频中的一个序列帧，使用所有帧舒适度值的中位数作为整个视频的舒适度值。
(三)有益效果
按照本发明的步骤来计算双目立体视频的舒适度，能够很好的考虑正负深度范围和物体运动对舒适度造成的影响，获得更准确的舒适度估计。
附图说明
图1为依照本发明实施例的运动感知的双目立体视频舒适度获取方法的流程示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
参照附图1，为本发明的方法流程图。输入数据为双目立体视频，输出为该双目立体视频的舒适度估计值。图中所表示的步骤为：
S1.计算视频中像素点的参数：通过分析输入的左、右双目视频，首先通过双目匹配算法计算每个像素点处的双目视差d，然后对连续帧使用光流算法，计算该像素点处的视平面方向的运动速度vxy和深度方向的运动速度vz；
S2.使用公式计算该像素点处的舒适度值：将上述计算参数带入如下公式计算该像素点处的舒适度值c：
c＝-0.0556*vxy-0.6042*vz+0.0191*vxy*vz+0.0022*d*vxy+0.1833*d*vz-0.6932*d+4.6567(d>＝0)
c＝-0.0556*vxy-0.6042*vz+0.0191*vxy*vz-0.0043*d*vxy-0.1001*d*vz+0.2303*d+4.6567(d<0)；
S3.图像帧的舒适度计算：本步骤根据上步骤中计算出来的每像素点处的舒适度值，使用保守策略，采用该帧里面舒适度值最低的像素点的舒适度值，作为该图像帧的舒适度值；
S4.整段视频的舒适度计算：本步骤根据上步骤中计算出来的每个图像帧的舒适度值，使用所有数值中的中位数，作为整段视频的舒适度值。
通过结合附图对本发明具体实施例的描述，本发明的其它方面及特征对本领域的技术人员而言是显而易见的。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims (1)

1.一种运动感知的双目立体视频舒适度获取方法，其特征在于，包括以下步骤：
S1、对输入的双目视频进行双目视差和运动速度分析，计算视频中每个像素点的双目视差d，视平面方向的运动速度vxy和深度方向的运动速度vz；
S2、根据所述像素点的参数(d,vxy,vz)，计算相应的舒适度值c；
S3、根据每个像素点计算出的舒适度值，计算整帧舒适度值；
S4、根据每帧的舒适度值，计算整个视频的舒适度值；
其中，所述步骤S1包括：首先根据双目视频通过双目匹配来计算每个像素点处的双目视差值，然后使用光流计算每个像素点处视平面方向的运动速度vxy和深度方向的运动速度vz；
其中，所述步骤S2包括：根据步骤S1中计算得到的参数(d,vxy,vz)，根据通过实验拟合的舒适度计算公式，计算该像素点处的舒适度值c：
c＝-0.0556*vxy-0.6042*vz+0.0191*vxy*vz+0.0022*d*vxy+0.1833*d*vz-0.6932*d+4.6567(d>＝0)，
c＝-0.0556*vxy-0.6042*vz+0.0191*vxy*vz-0.0043*d*vxy-0.1001*d*vz+0.2303*d+4.6567(d<0)；
其中，所述步骤S3中，使用保守的估计策略，用每一帧中舒适度值最低的像素对应的舒适度值，作为该帧的舒适度值；
其中，所述步骤S4中，对于视频中的一个序列帧，使用所有帧舒适度值的中位数作为整个视频的舒适度值。
CN201310528899.XA 2013-10-30 2013-10-30 运动感知的双目立体视频舒适度获取方法 Active CN103595990B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201310528899.XA CN103595990B (zh) 2013-10-30 2013-10-30 运动感知的双目立体视频舒适度获取方法
US15/026,576 US10091484B2 (en) 2013-10-30 2013-12-25 Method for acquiring comfort degree of motion-sensing binocular stereoscopic video
EP13896633.8A EP3065401B1 (en) 2013-10-30 2013-12-25 Method for acquiring degree of comfort of motion-sensing binocular stereoscopic video
PCT/CN2013/090462 WO2015062149A1 (zh) 2013-10-30 2013-12-25 运动感知的双目立体视频舒适度获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310528899.XA CN103595990B (zh) 2013-10-30 2013-10-30 运动感知的双目立体视频舒适度获取方法

Publications (2)

Publication Number Publication Date
CN103595990A CN103595990A (zh) 2014-02-19
CN103595990B true CN103595990B (zh) 2015-05-20

Family

ID=50085950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310528899.XA Active CN103595990B (zh) 2013-10-30 2013-10-30 运动感知的双目立体视频舒适度获取方法

Country Status (4)

Country Link
US (1) US10091484B2 (zh)
EP (1) EP3065401B1 (zh)
CN (1) CN103595990B (zh)
WO (1) WO2015062149A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754322B (zh) * 2013-12-27 2018-01-23 华为技术有限公司 一种立体视频舒适度评价方法及装置
CN106028025B (zh) * 2016-05-11 2017-11-21 吉林大学 一种针对辐辏与调节一致性的3d视频舒适度评价方法
CN106325521B (zh) * 2016-08-31 2018-06-29 北京小米移动软件有限公司 测试虚拟现实头显设备软件的方法及装置
US20180309971A1 (en) * 2017-04-19 2018-10-25 2Sens Ltd. System device and methods for grading discomfort effects of three dimensional (3d) content
CN110060291B (zh) * 2019-04-04 2023-01-31 长春理工大学 一种考虑人因的立体视在距离解算方法
CN111028281B (zh) * 2019-10-22 2022-10-18 清华大学 基于光场双目***的深度信息计算方法及装置
CN111652922B (zh) * 2020-06-04 2023-09-08 江苏天宏机械工业有限公司 一种基于双目视觉的单目视频深度估计方法
CN115619740B (zh) * 2022-10-19 2023-08-08 广西交科集团有限公司 一种高精度视频测速方法、***、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103096122A (zh) * 2013-01-24 2013-05-08 上海交通大学 基于感兴趣区域内运动特征的立体视觉舒适度评价方法
CN103096125A (zh) * 2013-02-22 2013-05-08 吉林大学 基于区域分割的立体视频视觉舒适度评价方法
CN103347196A (zh) * 2013-06-27 2013-10-09 宁波大学 一种基于机器学习的立体图像视觉舒适度评价方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
KR101829345B1 (ko) * 2010-06-28 2018-02-19 톰슨 라이센싱 입체 컨텐츠의 3-차원적인 효과들을 요구에 맞추기 위한 방법 및 장치
US9118911B2 (en) * 2013-02-07 2015-08-25 Delphi Technologies, Inc. Variable disparity three-dimensional (3D) display system and method of operating the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103096122A (zh) * 2013-01-24 2013-05-08 上海交通大学 基于感兴趣区域内运动特征的立体视觉舒适度评价方法
CN103096125A (zh) * 2013-02-22 2013-05-08 吉林大学 基于区域分割的立体视频视觉舒适度评价方法
CN103347196A (zh) * 2013-06-27 2013-10-09 宁波大学 一种基于机器学习的立体图像视觉舒适度评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视频立体增强现实***舒适度评价方法研究;李壮恒 等;《计算机仿真》;20130116;全文 *

Also Published As

Publication number Publication date
CN103595990A (zh) 2014-02-19
US20160249037A1 (en) 2016-08-25
US10091484B2 (en) 2018-10-02
EP3065401A4 (en) 2017-06-07
EP3065401A1 (en) 2016-09-07
EP3065401B1 (en) 2018-09-12
WO2015062149A1 (zh) 2015-05-07

Similar Documents

Publication Publication Date Title
CN103595990B (zh) 运动感知的双目立体视频舒适度获取方法
TWI520576B (zh) 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體
CN102665086B (zh) 利用基于区域的局部立体匹配获取视差的方法
CN102892021B (zh) 一种合成虚拟视点图像的新方法
CN111007939B (zh) 一种基于深度感知的虚拟现实***空间定位方法
EP2693759A3 (en) Stereoscopic image display device, image processing device, and stereoscopic image processing method
EP2693758A3 (en) Stereoscopic image display device, image processing device, and stereoscopic image processing method
WO2017156905A1 (zh) 一种将二维图像转化为多视点图像的显示方法及***
CN104077808A (zh) 一种用于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法
CN102547350B (zh) 一种基于梯度光流算法合成虚拟视点方法及立体显示装置
KR101714224B1 (ko) 센서 융합 기반 3차원 영상 복원 장치 및 방법
KR20180099703A (ko) 적응형 초점면을 갖는 가상 현실을 렌더링하기 위한 구성
CN103826032A (zh) 深度图后期处理方法
JP2012231405A (ja) 奥行調整が可能な立体映像表示装置
CN111047636B (zh) 基于主动红外双目视觉的避障***和避障方法
CN103006332B (zh) 手术刀跟踪方法与装置及数字立体显微镜***
JP2015050482A (ja) 画像処理装置、立体画像表示装置、画像処理方法およびプログラム
EP3130273B1 (en) Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
CN104887316A (zh) 基于主动立体显示技术的虚拟立体内窥镜显示方法
CN102663812A (zh) 基于变分光流的三维运动检测与稠密结构重建的直接方法
CN102567992B (zh) 遮挡区域的图像匹配方法
CN112150609A (zh) 一种基于室内实时稠密三维重建技术的vr***
JP2014016792A (ja) 画像処理装置および方法、並びにプログラム
JP2012109788A (ja) 画像処理装置および視差情報生成装置
KR20150040194A (ko) 하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant