CN108093243A - 一种立体成像处理方法、装置和立体显示设备 - Google Patents

一种立体成像处理方法、装置和立体显示设备 Download PDF

Info

Publication number
CN108093243A
CN108093243A CN201711495534.6A CN201711495534A CN108093243A CN 108093243 A CN108093243 A CN 108093243A CN 201711495534 A CN201711495534 A CN 201711495534A CN 108093243 A CN108093243 A CN 108093243A
Authority
CN
China
Prior art keywords
view
left view
right view
parallax
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711495534.6A
Other languages
English (en)
Inventor
赖敬文
席大军
宋磊
龚健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SuperD Co Ltd
Shenzhen Super Technology Co Ltd
Original Assignee
Shenzhen Super Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Super Technology Co Ltd filed Critical Shenzhen Super Technology Co Ltd
Priority to CN201711495534.6A priority Critical patent/CN108093243A/zh
Publication of CN108093243A publication Critical patent/CN108093243A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明实施例涉及立体显示技术领域,具体公开了一种立体成像处理方法,包括:获取双目摄像头拍摄的第一左视图和第一右视图;确定第一左视图和第二左视图中的目标物的空间位置信息;根据目标物的空间位置信息,和预先设置的空间位置信息与视差调整偏移量的对应关系,确定目标物的空间位置信息对应的视差调整偏移量;根据视差调整偏移量,对第一左视图和第一右视图进行错位裁切处理,获得第二左视图和第二右视图,根据第二左视图和第二右视图,进行立体成像。通过上述方式,本发明实施例能够通过错位裁切的方式对立体图像进行视差调整,从而满足用户的观感需求,提升用户观看体验。

Description

一种立体成像处理方法、装置和立体显示设备
技术领域
本发明涉及立体显示技术领域,尤其涉及一种立体成像处理方法、装置和立体显示设备。
背景技术
在日常生活中,如果人眼离观测物体非常的近,那么人眼在注视物体的时候会感觉眼压特别大,会感觉特别的不自然,所以人眼有一个较为舒适的观测距离。
而在利用立体显示设备对立体图像进行立体显现的时候,该立体图像在人眼中形成的立体效果并不一定是最佳的,例如,有可能该场景的立体凸出效果会非常突出,让人感觉距离人眼非常近,这种情况下,人眼会非常的不舒服。而且,立体显示凸出太多的图像,容易产生串扰,也会一定程度上影响立体显示的效果。
发明内容
本发明实施例提供一种立体成像处理方法、装置和立体显示设备,能够解决现有技术人眼观看立体显示图像时有可能会感到不适问题,有效保证良好的立体显示效果,满足用户的观感需求,提升用户体验。
第一方面,本发明实施例提供一种立体成像处理方法,应用于立体显示设备,所述立体显示设备上设置有双目摄像头,包括:
获取所述双目摄像头拍摄的第一左视图和第一右视图;
确定所述第一左视图和所述第一右视图中的目标物的空间位置信息;
根据所述目标物的空间位置信息,和预先设置的空间位置信息与视差调整偏移量的对应关系,确定所述目标物的空间位置信息对应的视差调整偏移量;
根据所述视差调整偏移量,对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图,以使所述第一左视图和第二右视图中相同位置的像素点在所述第二左视图和所述第二右视图中水平错位,所述水平错位的距离等于所述视差调整偏移量;
根据所述第二左视图和所述第二右视图,进行立体成像。
结合第一方面,在第一方面的第一种实施方式中,所述确定所述第一左视图和所述第一右视图中的目标物的空间位置信息包括:
获取所述第一左视图和所述第一右视图对应的深度图,根据所述深度图,确定所述第一左视图和所述第二左视图中的目标物的深度信息,根据所述目标物的深度信息,确定所述目标物的空间位置信息;
或者
确定所述第一左视图和/或所述第一右视图中所述目标物的图像位置信息,根据所述目标物的图像位置信息,确定所述目标物的空间位置信息。
结合第一方面的第一种实施方式,在第一方面的第二种实施方式中,所述获取所述第一左视图和所述第一右视图对应的深度图包括:
从测距硬件处获取所述测距硬件提供的所述第一左视图和所述第一右视图对应的深度图;
或者
利用立体匹配算法,获取所述第一左视图和所述第一右视图对应的深度图。
结合第一方面的第一种实施方式,在第一方面的第三种实施方式中,所述目标物为人眼;
所述确定所述第一左视图和/或所述第一右视图中所述目标物的图像位置信息包括:
确定所述第一左视图和/或所述第一右视图中的人脸区域;
利用人脸对齐算法,检测所述人脸区域的人脸特征点;
根据所述检测到的人脸特征点的位置,确定所述人眼在所述第一左视图和/或所述第一右视图中的位置。
结合第一方面,在第一方面的第四种实施方式中,所述根据所述目标物的空间位置信息,和预先设置的空间位置信息与视差调整偏移量的对应关系,确定所述目标物的空间位置信息对应的视差调整偏移量包括:
以所述目标物的空间位置信息为索引,查询预先设置的偏移量数据库,获取与所述空间位置信息对应的视差调整偏移量;
或者
将所述目标物的空间位置信息代入预先设置的视差偏移量与空间位置信息的函数关系,获取与所述空间位置信息对应的视差调整偏移量。
结合第一方面的第四种实施方式,在第一方面的第五种实施方式中,所述将所述目标物的空间位置信息代入预先设置的视差偏移量与空间位置信息的函数关系,获取与所述空间位置信息对应的视差调整偏移量包括:
通过以下公式,获取与所述空间位置信息对应的视差调整偏移量:
其中,newp为视差调整偏移量,d为所述目标物的空间位置信息,d1和d2为预先设置的空间位置区间,p1和p2为预先设置的与所述d1和d2对应的视差调整偏移量。
结合第一方面或第一方面的第一种至第五种实施方式中的任意一种实施方式,在第一方面的第六种实施方式中,所述根据所述视差调整偏移量,对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图包括:
获取所述第一左视图中的第三左视图区域,在所述第一左视图中将所述第三左视图区域沿第一水平方向平移第一距离,在所述第一左视图中获取所述平移后的所述第三左视图区域内的视图作为第二左视图;以及
获取所述第一右视图中的第三右视图区域,在所述第一右视图中将所述第三右视图区域沿与所述第一水平方向相反的第二水平方向平移第二距离,在所述第一右视图中获取与所述平移后的第三右视图区域内的视图作为第二右视图;
其中,所述第一距离和所述第二距离的和等于所述视差调整偏移量。
结合第一方面或第一方面的第一种至第五种实施方式中的任意一种实施方式,在第一方面的第七种实施方式中,所述根据所述视差调整偏移量,对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图包括:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,获得第二左视图;以及,
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,获得第二右视图;
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧。
结合第一方面或第一方面的第一种至第五种实施方式中的任意一种实施方式,在第一方面的第八种实施方式中,所述根据所述视差调整偏移量,对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图包括:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,获得第四左视图,在所述第四左视图的第一侧和/或第二侧水平方向上拼接纯色图片,获得所述第二左视图,以使所述第二左视图的大小与所述第一左视图保持一致;
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,获得第四右视图,在所述第四右视图的第一侧和/或第二侧水平方上拼接纯色图片,获得所述第二右视图,以使所述第二右视图的大小与所述第一右视图保持一致;
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧,所述第四左视图和所述第四右视图同侧拼接纯色图片。
结合第一方面或第一方面的第一种至第五种实施方式中的任意一种实施方式,在第一方面的第九种实施方式中,所述根据所述视差调整偏移量,对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图包括:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,并在所述第一左视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二左视图,以使所述第二左视图在水平方向上的长度与在垂直方向上的宽度的比例与所述第一左视图保持一致;
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,并在所述第一左视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二右视图,所述第二右视图在水平方向上的长度与在垂直方向上的宽度的比例与所述第一右视图保持一致;
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧,所述第三侧为上侧和下侧中的一侧,所述第二侧为上侧和下侧中的另一侧,所述第一左视图和所述第一右视图同侧切除竖直方向上的图像内容。
结合第一方面或第一方面的第一种至第五种实施方式中的任意一种实施方式,在第一方面的第十种实施方式中,所述根据所述视差调整偏移量,对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图包括:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,获得第五左视图;
在所述第五左视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二左视图,以使所述第二左视图在水平方向上的长度与在垂直方向上的宽度的比例与所述第一左视图保持一致;
以及
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,获得第六右视图;
在所述第六右视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二右视图,所述第二右视图在水平方向上的长度与在垂直方向上的宽度的比例与所述第一右视图保持一致;
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧,所述第三侧为上侧和下侧中的一侧,所述第二侧为上侧和下侧中的另一侧,所述第六左视图和所述第六右视图同侧切除竖直方向上的图像内容。
结合第一方面,在第一方面的第十一种实施方式中,所述根据所述第二左视图和所述第二右视图,进行立体成像包括:
将所述第二左视图和所述第二右视图合成为第二立体图像;
利用所述第二立体图像进行裸眼立体显示,从而实现立体成像。
第二方面,本发明实施例提供一种立体成像处理装置,所述装置包括:
第一获取单元,用于获取所述双目摄像头拍摄的第一左视图和第一右视图;
第一确定单元,用于确定所述第一左视图和所述第一右视图中的目标物的空间位置信息;
第二确定单元,用于根据所述目标物的空间位置信息,和预先设置的空间位置信息与视差调整偏移量的对应关系,确定所述目标物的空间位置信息对应的视差调整偏移量;
处理单元,用于根据所述视差调整偏移量,对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图,以使所述第一左视图和第二右视图中相同位置的像素点在所述第二左视图和所述第二右视图中水平错位,所述水平错位的距离等于所述视差调整偏移量;
显示单元,用于根据所述第二左视图和所述第二右视图,进行立体成像。
结合第二方面,在第二方面的第一种实施方式中,所述第一确定单元包括:
第一获取模块,用于获取所述第一左视图和所述第一右视图对应的深度图;
第一确定模块,用于根据所述深度图,确定所述第一左视图和所述第二左视图中的目标物的深度信息;
第二确定模块,用于根据所述目标物的深度信息,确定所述目标物的空间位置信息;
或者
第三确定模块,用于确定所述第一左视图和/或所述第一右视图中所述目标物的图像位置信息;
第四确定模块,用于根据所述目标物的图像位置信息,确定所述目标物的空间位置信息。
结合第二方面的第一种实施方式,在第二方面的第二种实施方式中,所述第一获取模块具体用于:
从测距硬件处获取所述测距硬件提供的所述第一左视图和所述第一右视图对应的深度图;
或者
利用立体匹配算法,获取所述第一左视图和所述第一右视图对应的深度图。
结合第二方面的第一种实施方式,在第二方面的第三种实施方式中,所述目标物为人眼;
所述第三确定模块具体用于:
确定所述第一左视图和/或所述第一右视图中的人脸区域;
利用人脸对齐算法,检测所述人脸区域的人脸特征点;
根据所述检测到的人脸特征点的位置,确定所述人眼在所述第一左视图和/或所述第一右视图中的位置。
结合第二方面,在第二方面的第四种实施方式中,所述第二确定单元包括:
查询模块,用于以所述目标物的空间位置信息为索引,查询预先设置的偏移量数据库,获取与所述空间位置信息对应的视差调整偏移量;
或者
计算模块,用于将所述目标物的空间位置信息代入预先设置的视差偏移量与空间位置信息的函数关系,获取与所述空间位置信息对应的视差调整偏移量。
结合第二方面的第四种实施方式,在第二方面的第五种实施方式中,所述计算模块具体用于:
通过以下公式,获取与所述空间位置信息对应的视差调整偏移量:
其中,newp为视差调整偏移量,d为所述目标物的空间位置信息,d1和d2为预先设置的空间位置区间,p1和p2为预先设置的与所述d1和d2对应的视差调整偏移量。
结合第二方面或第二方面的第一种至第五种实施方式中的任意一种实施方式,在第二方面的第六种实施方式中,所述处理单元具体用于:
获取所述第一左视图中的第三左视图区域,在所述第一左视图中将所述第三左视图区域沿第一水平方向平移第一距离,在所述第一左视图中获取所述平移后的所述第三左视图区域内的视图作为第二左视图;以及
获取所述第一右视图中的第三右视图区域,在所述第一右视图中将所述第三右视图区域沿与所述第一水平方向相反的第二水平方向平移第二距离,在所述第一右视图中获取与所述平移后的第三右视图区域内的视图作为第二右视图;
其中,所述第一距离和所述第二距离的和等于所述视差调整偏移量。
结合第二方面或第二方面的第一种至第五种实施方式中的任意一种实施方式,在第二方面的第七种实施方式中,所述处理单元具体用于:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,获得第二左视图;以及,
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,获得第二右视图;
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧。
结合第二方面或第二方面的第一种至第五种实施方式中的任意一种实施方式,在第二方面的第八种实施方式中,所述处理单元具体用于:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,获得第四左视图,在所述第四左视图的第一侧和/或第二侧水平方向上拼接纯色图片,获得所述第二左视图,以使所述第二左视图的大小与所述第一左视图保持一致;
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,获得第四右视图,在所述第四右视图的第一侧和/或第二侧水平方上拼接纯色图片,获得所述第二右视图,以使所述第二右视图的大小与所述第一右视图保持一致;
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧,所述第四左视图和所述第四右视图同侧拼接纯色图片。
结合第二方面或第二方面的第一种至第五种实施方式中的任意一种实施方式,在第二方面的第九种实施方式中,所述处理单元具体用于:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,并在所述第一左视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二左视图,以使所述第二左视图在水平方向上的长度与在垂直方向上的宽度的比例与所述第一左视图保持一致;
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,并在所述第一左视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二右视图,所述第二右视图在水平方向上的长度与在垂直方向上的宽度的比例与所述第一右视图保持一致;
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧,所述第三侧为上侧和下侧中的一侧,所述第二侧为上侧和下侧中的另一侧,所述第一左视图和所述第一右视图同侧切除竖直方向上的图像内容。
结合第二方面或第二方面的第一种至第五种实施方式中的任意一种实施方式,在第二方面的第十种实施方式中,所述处理单元具体用于:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,获得第五左视图;
在所述第五左视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二左视图,以使所述第二左视图在水平方向上的长度与在垂直方向上的宽度的比例与所述第一左视图保持一致;
以及
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,获得第六右视图;
在所述第六右视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二右视图,所述第二右视图在水平方向上的长度与在垂直方向上的宽度的比例与所述第一右视图保持一致;
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧,所述第三侧为上侧和下侧中的一侧,所述第二侧为上侧和下侧中的另一侧,所述第六左视图和所述第六右视图同侧切除竖直方向上的图像内容。
结合第二方面,在第二方面的第十一种实施方式中,所述显示单元包括:
合成模块,用于将所述第二左视图和所述第二右视图合成为第二立体图像;
成像模块,利用所述第二立体图像进行裸眼立体显示,从而实现立体成像。
第三方面,本发明实施例提供一种立体显示设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的立体成像处理方法。
第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如上所述的立体成像处理方法。
第五方面,本发明实施例还提供了一种计算机程序产品,所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行如上所述立体成像处理方法。
本发明实施例的有益效果是:区别于现有技术的情况,本发明实施例提供的立体成像处理方法、装置和立体显示设备,在获取到第一左视图和第一右视图后,首先确定第一左视图和第一右视图中的目标物的空间位置信息,即目标物相对于拍摄第一左视图和第一右视图的立体摄像机的空间位置信息,基于该空间位置信息,确定视差调整偏移量,并基于该视差调整偏移量对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图,使得第一左视图和第一右视图中相同位置的像素点在所述第二左视图和所述第二右视图中水平错位视差调整偏移量大小的距离,即使得所述第二左视图和所述第二右视图之间的视差相对于所述第一左视图和第一右视图之间的视差增大或减小视差调整偏移量大小,进一步地根据所述第二左视图和所述第二右视图进行立体成像,能够改变该立体图像所呈现出的凹凸立体显示效果,提供对于用户而言良好的立体显示效果,避免出现用户的眼睛观看立体图像时感到不适的情况,从而满足用户的观感需求,提升用户观看体验。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种立体成像处理方法的流程示意图;
图2是本发明实施例一提供的第一左视图和第一右视图的示例示意图;
图3是本发明实施例一提供的第二左视图和第二右视图的示例示意图;
图4是本发明实施例二提供的又一种立体成像处理方法的流程示意图;
图5是本发明实施例二提供的第三左视图区域和第三右视图区域的示例示意图;
图6是本发明实施例二提供的第二左视图和第二右视图的示例示意图;
图7是本发明实施例三提供的一种立体成像处理装置的结构示意图;以及,
图8是本发明实施例四提供的一种立体显示设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
需要说明的是,如果不冲突,本发明实施例中的各个特征可以相互结合,均在本发明的保护范围之内。另外,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。此外,本文所采用的“第一”“第二”“第三”“第四”等字样并不对数据和执行次序进行限定,仅是对功能和作用基本相同的相同项或相似项进行区分。
近年来,3D、VR等立体显示技术已然成为显示领域的一个研究热点,并广泛应用于广告、游戏、影视、科技等诸多领域。随着立体显示技术的发展,人们对立体内容的观看体验也提出了更高的要求。特别地,在影视、游戏等对视觉震撼效果要求高的领域中,为了追求物像或者人像凸出显示屏幕的负视差显示效果,通常在拍摄立体图像时采用较大的双目拍摄间距进行双目视图的采集,以使拍摄得到双目视图具有较大的负视差值,从而能够在呈现该双目视图时营造出拍摄对象距离用户眼睛非常近的负视差立体显示效果。
然而,在日常生活中,如果人眼离观测物体非常的近,那么人眼在注视物体的时候会感觉眼压特别大,会感觉特别的不自然,所以人眼有一个较为舒适的观测距离,但每个人的观测舒适区也会有所差异。并且,在立体显示技术中,通过立体拍摄得到的图片,包括真实场景图像和虚拟场景图像,利用立体显示设备进行立体显示的时候,实际的在人眼中形成的立体效果并不一定是最佳的。由此可见,在不同的立体显示设备上展现相同的立体图像,甚至是在相同的立体显示设备上展示相同的立体图像但由不同的用户去体验,都有可能获得不一样的观看效果。例如,有可能该场景的立体凸出效果会非常突出,让人感觉距离人眼非常近,这种情况下,人眼会非常的不舒服。而且,立体显示凸出太多的图像,容易产生串扰,也会一定程度上影响立体显示的效果。
基于此,本发明实施例提供了一种立体成像处理方法、装置和立体显示设备,针对于立体显示设备上设置的双目摄像头所拍摄的立体图像,在进行立体显示前,检测立体图像中的目标物的空间位置信息,即立体图像相对于双目摄像头的空间位置信息,由于双目摄像头的间距以及双目摄像头距离拍摄场景的距离能够影响所拍摄立体图像的视差,而该空间位置信息可以表征双目摄像头距离目标物即拍摄场景的距离,因此,可以获取相应的视差调整偏移量,进而根据该视差偏移量对待显示的立体图像进行错位裁切处理,通过错位裁切处理改变立体图像的视差,因此,可以改善该立体图像所呈现出的凹凸立体显示效果,提供对于用户而言良好的立体显示效果,避免出现用户的眼睛观看立体图像时感到不适的情况,从而满足用户的观感需求,提升用户观看体验。
其中,该立体成像处理方法可以应用于任意设置双目摄像头进行立体图像的拍摄的立体显示设备,如:3D显示设备、VR眼镜等,具体可以为手机、平板电脑、个人计算机、立体显示器等等,其通过对获取到的第一左视图(即,某一立体图像的原始左视图)和第一右视图(即,该立体图像的原始右视图)进行错位裁切处理获取到第二左视图(即,处理后的左视图)和第二右视图(即,处理后的右视图),使得第一左视图和第一右视图中相同位置的像素点在所述第二左视图和所述第二右视图中水平错位,能够使得所述第二左视图和所述第二右视图之间的视差相对于所述第一左视图和第一右视图之间的视差增大或减小,进一步地,根据所述第二左视图和所述第二右视图进行立体成像,能够改变该立体图像所呈现出的凹凸立体显示效果,从而满足用户的观感需求,提升用户观看体验。并且,也可以有效避免由于立体凹凸效果突出而带来的串扰等影响立体显示效果的问题。
本发明实施例提供的立体成像处理方法能够应用于多种呈现立体图像的场景,例如:可以在显示立体图像时,根据用户输入的立体成像处理指令对立体图像的视差进行调整,以满足用户对立体图像的凸出感或者凹进感的观看需求;或者,也可以用于根据立体显示设备的视差容忍度对立体图像或者立体视频进行视差调整,使其能够在该立体显示设备中呈现出最佳的立体显示效果。
需要说明的,本发明实施例中,所言视差为立体显示技术中的公知概念,这里不进行详细的说明,简单来说,所言视差是指,由于正常的瞳孔距离和注视角度不同,造成左右眼视网膜上的物象存在一定程度的水平差异,“视差”具体是指某一拍摄对象在左视图中的像与其在右视图中的像的水平偏移量,若该拍摄对象在左视图中的像相对其在右视图中的像向左水平偏移,则形成正视差,该正视差的绝对值(即其水平偏移量)越大,在进行立体显示时该拍摄对象的凹进感越强;若该拍摄对象在左视图中的像与其在右视图中的水平偏移量为零,则形成零视差,在进行立体显示时该拍摄对象位于显示屏幕上;若该拍摄对象在左视图中的像相对其在右视图中的像向右水平偏移,则形成负视差,该负视差的绝对值(即其水平偏移量)越大,在进行立体显示时该拍摄对象的凸出感越强。在本发明实施例中,通过调整拍摄对象在左视图中的像相对其在右视图中的像向左或向右的水平偏移量来调整该立体图像的凹凸感,从而满足用户的观看需求。
此外,还需要说明的是:在本发明实施例中,如无特殊说明,“视差”的值为实际值,包括正值、零和负值,当立体图像的视差值为正值时,呈现出正视差显示效果,其值越大,凹进感越强;当立体图像的视差值为零时,呈现出零视差显示效果;当立体图像的视差值为负值时,呈现出负视差显示效果,其值越小,凸出感越强。因此,在本发明实施例中,当需要获得更强的凹进感时,可以增大视差;当需要获得更强的凸出感时,可以减小视差。
下面结合附图,对本发明实施例作进一步阐述。
实施例一
图1是本发明实施例提供的一种立体成像处理方法的流程示意图,该立体成像处理方法应用于设置有双目摄像头,即立体摄像头的立体显示设备。
具体地,请参阅图1,该立体成像处理方法可以包括但不限于如下步骤:
110、获取双目摄像头拍摄的第一左视图和第一右视图。
在本实施例中,本步骤中分别获取双目摄像头拍摄的第一左视图和第一右视图。例如,用户使用立体显示设备拍摄其面对的某一场景,得到第一左视图和第一右视图,用户使用立体显示设备自拍,得到自己的自拍图像,包括第一左视图和第一右视图。
该第一左视图和第二右视图可以是现有的、即预先存储的,也可以是实时获取的、当前进行立体拍摄得到的。
其中,该第一左视图和第一右视图均由多个沿着水平方向和竖直方向规则排列的像素点构成,“像素点”是指图像的最小单元,因此,图像内容在第一左视图或者第一右视图中的位置可以通过与该图像内容对应的像素点的位置来表征。在本实施例中,第一左视图和第一右视图具有对应的像素点,即相同位置的像素点,亦即,“对应的像素点”是指当将第一左视图和第一右视图重叠时,位于同一位置的一对像素点,也就是说,“对应的像素点”即第一左视图和第一右视图中相同位置的像素点。通常来讲,由于是立体图像,因此,这两个像素点存在视差,其图像内容即像素值是不同。当然,这两个像素点中的图像内容可以是相同的也可以是不相同的,若这两个像素点中的图像内容相同,则说明第一左视图和第一右视图之间该点的视差可能为0,若这两个像素点中的图像内容不相同,则说明第一左视图和第一右视图之间的该点的视差可能不为0。
例如:如图2所示,图2(a)为一立体图像的第一左视图,其由规则排列的像素点区域a、b、c、d、e、f、g、h、i、j、k和m构成;为利于理解,这里以像素点区域包括一个像素点进行说明。图2(b)为该立体图像的第一右视图,其由A、B、C、D、E、F、G、H、I、J、K和M构成;当将第一左视图和第一右视图重叠时,如图2(c)所示,像素点a-A、b-B、c-C、d-D、e-E、f-F、g-G、h-H、i-I、j-J、k-K以及m-M分别位于同一位置,因此,像素点a和像素点A即“对应的像素点”(或称,第一左视图和第一右视图中相同位置的像素点),同理可知,b-B、c-C、d-D、e-E、f-F、g-G、h-H、i-I、j-J、k-K以及m-M也是“对应的像素点”。应当理解的是,在实际应用中,第一左视图和第一右视图可以由更多像素点构成,一般地,以视图中水平方向上的像素个数和竖直方向上的像素个数来表征该视图的分辨率,如:视图在水平方向上有1920个像素点,在竖直方向上有1080个像素点,则该视图的分辨率为1920*1080。
可选的,在实际应用中,立体显示设备可以在接收到关于调整某一立体图像的视差的“立体成像处理指令”时,获取该立体图像的第一左视图和第一右视图。其中,该立体图像可以是现有的,也可以当前进行立体拍摄得到的。该“立体成像处理指令”可以由立体显示设备自主发出,如:当立体显示设备判断该立体图像的最大负视差值(该立体图像的最小视差值的绝对值)或者最大正视差值超过其视差容忍度时,自动触发该“立体成像处理指令”,以增大或者减小该立体图像的视差,使该立体图像能够在该立体显示设备中呈现出最佳的显示效果。或者,该“立体成像处理指令”也可以由用户发出,比如:用户在观看某一立体图像时,需要调整该立体图像的凹凸显示效果,可以通过任意方式向立体显示设备输入“立体成像处理指令”。
120、确定第一左视图和第一右视图中的目标物的空间位置信息。
在获取到第一左视图和第一右视图之后,本步骤中,将确定第一左视图和第一右视图的空间位置信息,具体的,该空间位置信息为双目摄像机所拍摄的场景中目标物相对应双目摄像头的空间位置信息,可以用来表征拍摄时目标物距离双目摄像头的距离,即双目摄像头的拍摄距离。具体的,该空间位置信息包括目标物与双目摄像头的距离。
本领域技术人员所公知的,双目摄像头的间距、双目摄像头的拍摄距离可以影响所拍摄得到的立体图像的视差,即第一左视图和第一右视图的视差,因此,对于立体显示设备而言,双目摄像头的间距固定设置,因此,其所拍摄得到的立体图像的视差基本取决于拍摄距离,因此,可以根据该拍摄距离初步判断该目标物的视差是否合理,亦即该立体图像的视差是否合理,是否能提供一个良好的立体显示效果等。基于此,本发明实施例中,确定出目标物相对于双目摄像头的空间位置信息,基于该空间位置信息来决定立体图像的视差调整偏移量,从而改变该立体图像所呈现出的凹凸立体显示效果,提供对于用户而言良好的立体显示效果,避免出现用户的眼睛观看立体图像时感到不适的情况,满足用户的观感需求,提升用户观看体验。
其中,目标物为何不限制,具体可以为第一左视图和第一右视图中的拍摄主体,例如人物、人物的某一部位、物品、特殊标记物(特意放置在拍摄场景中用于标记拍摄距离的物品,例如球体、号码牌、标尺、带有图案的标牌等等)。由于需要确定该目标物的空间位置信息,因此,可以根据具体的应用场景可以选取易于准确获取空间位置信息的事物最为目标物。举例而言,针对于自拍场景,即用户使用自拍功能拍摄的立体人物图像,则可将立体图像中的人物,或者人物的某一部位作为目标物,例如人眼。
具体的,可以有多种方式确定第一左视图和第一右视图中目标物的空间位置信息,举例而言,可以有如下两种方式:
其一,首先获取第一左视图和第一右视图对应的深度图,然后根据深度图,确定第一左视图和第二左视图中的目标物的深度信息,由于深度图和第一左右视图具有对应关系,因此,能够从深度图中读取到目标物的深度信息,基于该深度信息,即确定目标物的空间位置信息。
其中,可以采用现有技术中任意一种可以获取深度图的方法来获取到深度图。例如,可以采用立体匹配算法,例如spsstereo算法,获取第一左视图和第一右视图对应的深度图。此外,还可以从测距硬件处获取测距硬件提供的第一左视图和第一右视图对应的深度图。立体显示设备可以额外设置有测距硬件,例如,红外测距,激光测距,光感测距,超声波测距,结构光测距,Kinect或者类Kinect的RGBD深度摄像头等,测距硬件可以提供深度图或者拍摄场景中的各位置点的深度信息,因此,可以从测距硬件处获取第一左视图和第一右视图对应的深度图,即深度信息。
其二,可以根据第一左视图和第二右视图中的一张视图,确定该视图中目标物的图像位置信息,即像素坐标,然后利用该图像位置信息以及相应的双目摄像头的内外参数进行坐标变换,即可获取到目标物的空间位置信息。举例说明,当目标物为人眼时,可以首先进行人脸识别,确定第一左视图和/或第一右视图中的人脸区域,接下来,利用公知的人脸对齐算法,检测人脸区域的人脸特征点,根据检测到的人脸特征点的位置,确定人眼在第一左视图和/或第一右视图中的图像位置,即像素坐标,进而经过坐标变换,即可获取到人眼的空间位置信息。
当然,可以使用第一左视图和第一右视图两张视图,首先确定这两张视图中的目标物的图像位置信息,一种方式利用该图像位置信息以及相应的双目摄像头的内外参数进行坐标变换,即可获取到目标物的空间位置信息,另一种方式还可以利用目标物在这两张视图上的图像位置,确定这两张视图中的目标物的视差,根据目标物的视差确定目标物的空间位置信息。
130.根据目标物的空间位置信息,和预先设置的空间位置信息与视差调整偏移量的对应关系,确定目标物的空间位置信息对应的视差调整偏移量。
本发明实施例中,预先可通过实验、理论运算等方式或相结合的方式,建立即预先设置空间位置信息和视差调整偏移量的对应关系,本步骤中,将根据该在先确定的空间位置信息和预设的对应关系,确定出视差调整偏移量。
对于目标物在部分区间的空间位置信息,此时第一左视图和第一右视图的视差比较合理,可以提供良好的立体显示效果,则可以将该区间的空间位置信息对应的视差调整偏移量设置为0,即不需要对第一左视图和第一右视图进行视差上的调整。
具体的,可以针对立体显示设备所设置的双目摄像头,搭建实验场景,用该双目摄像头摄进行拍照,然后在立体显示设备上观看其立体效果,并根据所需的目标效果调节视差,即设置视差调整偏移量,记录所调节的数值,以此类推,记录多个典型的拍摄位置的位置与视差调整偏移量的关联关系。本步骤中,即在真正的实际使用过程,将获取到的空间位置信息作为查询的输入,在上述关联关系中查找该空间位置信息对应的视差调整偏移量,若此空间位置信息的值处于关联关系中的典型位置点distance1,distance2之间,则可采用线性插值的方式,计算出该空间位置信息对应的视差调整偏移量,以此作为后续错位裁切的数值。
举个具体的例子,比如:针对如下拍摄距离distance(即空间位置信息):distance={300,350,400,450,500,550,600,650,700},相应的视差调整偏移量为:pixValues={40,30,22,16,10,7,5,1,0};当获取到的拍摄距离d处于上述distance中的两个数值之间,则,可以采用线性插值的方法确定d对应下的视差调整偏移量,记d1,d2为预先设置的距离区间值,p1,p2为d1,d2对应的视差调整偏移量,则可以根据如下公式:
可知:
其中,newp为视差调整偏移量。假设d=340,则d1=300,d2=350,p1,p2为30和40。
具体的,还可以针对立体显示设备所设置的双目摄像头,搭建实验场景,用该双目摄像头摄进行拍照,然后在立体显示设备上观看其立体效果,并根据所需的目标效果调节视差,即设置视差调整偏移量,记录所调节的数值,以此类推,记录多个典型的拍摄位置的位置与视差调整偏移量,然后,基于这多个位置和视差调整偏移量,进行函数拟合,获取到视差偏移量与空间位置信息的函数关系,则,本步骤中,即在真正的实际使用过程,将获取到的空间位置信息作为输入,代入到上述函数关系中,从而得到该空间位置信息对应的视差调整偏移量。
140、根据视差调整偏移量,对第一左视图和第一右视图进行错位裁切处理,获得第二左视图和第二右视图。
在本实施例中,“第二左视图”是指对第一左视图进行错位裁切处理后获得的视图,“第二右视图”是指对第一右视图进行错位裁切处理后获得的视图,该第二左视图和第二右视图用于合成立体显示设备的目标立体图像。其中,第二左视图和第二右视图具有相同的分辨率(像素点个数),但第一左视图和第一右视图中相同位置的像素点(即,如上的“对应的像素点”)在第二左视图和第二右视图中水平错位,从而使得第二左视图和第二右视图之间的视差相对于第一左视图和第一右视图之间的视差增大或减小水平错位的距离。该水平错位的距离即为前述视差调整偏移量大小,亦即视差的该变量,
根据立体显示技术可知,立体图像的凹凸显示效果由立体图像的视差决定,而立体图像的视差是指将立体图像的左视图和右视图重叠或者上下并排时,某一拍摄对象在左视图中的像与其在右视图中的像的水平偏移量,因此,在本发明实施例中,通过对第一左视图和第一右视图进行错图裁切处理的方式改变拍摄对象在第二左视图中的像和其在第二右视图中的像的水平偏移量以调整立体图像的视差。其中,由于图像内容在第一左视图或者第一右视图中的位置可以通过与该图像内容对应的像素点的位置来表征,因此,在本发明实施例中,可以通过第一左视图和第一右视图中“对应的像素点”(相同位置的像素点)在第二左视图和在第二右视图中水平错位的距离来表述视差改变量,其中,该“视差改变量”即目标立体图像的视差值(即,第二左视图和第二右视图之间的视差)与原始立体图像的视差值(即,第一左视图和第一右视图之间的视差)之差。
具体地,在本实施例中,根据视差调整偏移量,对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图的具体实施方式可以是:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,获得第二左视图;以及,在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,获得第二右视图。
其中,所述“第一宽度”等于视差调整偏移量。
其中,所述“第一侧”为左侧和右侧中的一侧,所述“第二侧”为左侧和右侧中的另一侧,也就是说,若所述第一侧为左侧,则所述第二侧为右侧;若所述第一侧为右侧,则所述第二侧为左侧。
其中,若在所述第一左视图的左侧切除水平方向上第一宽度的图像内容,获得第二左视图,以及,在所述第一右视图的右侧切除水平方向上第一宽度的图像内容,获得第二右视图,则,所获得的第二左视图和第二右视图之间的视差相对于第一左视图和第一右视图之间的视差增大所述第一宽度。
若在所述第一左视图的右侧切除水平方向上第一宽度的图像内容,获得第二左视图,以及,在所述第一右视图的左侧切除水平方向上第一宽度的图像内容,获得第二右视图,则,所获得的第二左视图和第二右视图之间的视差相对于第一左视图和第一右视图之间的视差减小所述第一宽度。
在实际应用中,立体显示设备可以根据视差调整偏移量确定待切除的第一宽度,进而,根据视差调整偏移量对应的视差调整方向确定在第一左视图的左侧以及第一右视图的右侧(对应增大视差),或者,在第一左视图的右侧以及第一右视图的左侧(对应减小视差),切除水平方向上第一宽度的图像内容,从而获得第二左视图和第二右视图。
举例来说:当对如图2所示的第一左视图和第一右视图进行视差调整时,假设所确定的视差调整偏移量为1个像素点的距离。
若为增大视差,则沿水平方向在第一左视图的左侧切除1个像素点距离对应的图像内容,即:切除像素点a、b和c对应的图像内容,从而获得如图3(a)所示的第二左视图;在第一右视图的右侧切除1个像素点距离对应的图像内容,即:切除像素点J、K和M对应的图像内容,从而获得如图3(b)所示的第二右视图。其中,对比图3(a)和图3(b)可见,第一左视图和第一右视图中相同位置的像素点“d-D”在第二左视图(图3(a))和第二右视图(图3(b))中水平错位1个像素点的距离,且当将第二左视图和第二右视图重叠时,像素点d相对像素点D向左平移,从而,该第二左视图和该第二右视图之间的视差相对于第一左视图和第一右视图之间的视差增大了1个像素点的距离。
若减小视差,则沿水平方向在第一左视图的右侧切除1个像素点距离对应的图像内容,即:切除像素点j、k和m对应的图像内容,从而获得如图3(c)所示的第二左视图;在第一右视图的左侧切除1个像素点距离对应的图像内容,即:切除像素点A、B和C对应的图像内容,从而获得如图3(d)所示的第二右视图。其中,对比图3(c)和图3(d)可见,第一左视图和第一右视图中相同位置的像素点“d-D”在该第二左视图(图3(c))和该第二右视图(图3(d))中水平错位1个像素点的距离,且当将该第二左视图和该第二右视图重叠时,像素点d相对像素点D向右平移,从而,该第二左视图和该第二右视图之间的视差相对于第一左视图和第一右视图之间的视差减小了1个像素点的距离。
此外,由于对第一左视图和第一右视图进行错位裁切处理之后,获得的第二左视图和第二右视图在水平方向上的像素点变少,因此,在一些应用场景中,若将立体成像处理后的立体图像通过同一立体显示设备进行显示,用户看到的立体成像处理后的立体图像相对于原始立体图像在水平方向上被拉宽。
基于此,在一些实施例中,根据视差调整偏移量,对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图的具体实施方式还可以包括但不限于以下三种:
(1)、在第一种实施方式中,可以在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,获得第四左视图,在所述第四左视图的第一侧和/或第二侧水平方向上拼接纯色图片,获得所述第二左视图,以使所述第二左视图的大小与所述第一左视图保持一致;同时,在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,获得第四右视图,在所述第四右视图的第一侧和/或第二侧水平方上拼接纯色图片,获得所述第二右视图,以使所述第二右视图的大小与所述第一右视图保持一致。
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧。具体地,获取所述“第四左视图”和所述“第四右视图”的方式可以参见上述实施例中的描述,此处便不再细述。
其中,在该实施例中,所述第四左视图和所述第四右视图同侧拼接纯色图片。比如,在第四左视图和第四右视图的左侧拼接与切掉的图像内容大小一致的纯色图片;或者,在第四左视图和第四右视图的右侧拼接与切掉的图像内容大小一致的纯色图片;或者,在第四左视图和第四右视图的左右两侧均拼接纯色图片,该纯色图片的总面积与切掉的图像内容的大小一致。其中,在一些实施例中,为了能够呈现出更好的立体显示效果,在第四左视图和第四右视图的左右两侧分别拼接相同大小的纯色图片,而该纯色图片在水平方向上的长度为所述第一宽度的一半。其中,该纯色图片可以是任意颜色,较佳地,为了避免该纯色图片对立体图像造成干扰从而降低用户的观看体验,在该实施例中该纯色图片的颜色为黑色。
从而,通过上述方式获得的第二左视图和第二右视图能够使立体成像处理后的立体图像中的图像内容的大小和长宽比例与原始立体图像一致。
(2)、在第二种实施方式中,可以在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,并在所述第一左视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二左视图,以使所述第二左视图在水平方向上的长度与在竖直方向上的宽度的比例与所述第一左视图保持一致;同时,在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,并在所述第一左视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二右视图,所述第二右视图在水平方向上的长度与在竖直方向上的宽度的比例与所述第一右视图保持一致;
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧。具体地,对第一左视图和第一右视图在水平方向上进行错位裁切的方式同样可以参考上述实施例中的描述,此处也不再一一细述。
其中,所述第二宽度为在竖直方向上的裁切宽度,该第二宽度可以根据所述第一宽度,以及,第一左视图/第二左视图在水平方向上的长度与在竖直方向上的宽度的长宽比例,来确定。
其中,所述第三侧为上侧和下侧中的一侧,所述第四侧为上侧和下侧中的另一侧,所述第一左视图和所述第一右视图同侧切除竖直方向上的图像内容。比如,在所述第一左视图和所述第一右视图的上侧切除竖直方向上第二宽度的图像内容;或者,在所述第一左视图和所述第一右视图的下侧切除竖直方向上第二宽度的图像内容;或者,在所述第一左视图和所述第一右视图的上下两侧切除竖直方向上相同宽度的图像内容,并且,在竖直方向上所切除的总宽度等于所述第二宽度。
(3)、在第三种实施方式中,可以在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,获得第五左视图;在所述第五左视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二左视图,以使所述第二左视图在水平方向上的长度与在竖直方向上的宽度的比例与所述第一左视图保持一致;以及,在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,获得第五右视图;在所述第五右视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二右视图,所述第二右视图在水平方向上的长度与在竖直方向上的宽度的比例与所述第一右视图保持一致。
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧,所述第三侧为上侧和下侧中的一侧,所述第二侧为上侧和下侧中的另一侧,所述第五左视图和所述第五右视图同侧切除竖直方向上的图像内容。
其中,该实施例方式(3)与上述实施方式(2)大致相同,其区别仅在于,在实施方式(2)中,同时在水平方向上和竖直方向上对第一左视图和第一右视图进行裁切以获得第二左视图和第二右视图;而在实施方式(3)中,先在水平方向上对第一左视图和第一右视图进行裁切,获得第五左视图和第五右视图,进而在竖直方向上对第五左视图和第五右视图进行裁切,获得所述第二左视图和所述第二右视图。
通过上述实施方式(2)或(3)获得第二左视图和第二右视图,能够在不引入其他图片的条件下保持立体图像中的图像内容的长宽比例与原始立体图像一致。
150、根据所述第二左视图和所述第二右视图,进行立体成像。
在本实施例中,通过裁切第一左视图和第一右视图获得第二左视图和第二右视图后,通过立体显示设备将第二左视图呈现给用户的左眼观看,将第二右视图呈现给用户的右眼观看,从而实现立体成像。
或者,在其他的一些实施例中,若该立体显示设备为裸眼立体显示设备,则通过裁切第一左视图和第一右视图获得第二左视图和第二右视图后,也可以首先将该第二左视图和该第二右视图合成为第二立体图像(该第二立体图像即本实施例中所述的“目标立体图像”),然后再利用该第二立体图像进行裸眼立体显示,从而实现立体成像。
通过上述技术方案可知,本发明实施例的有益效果在于:本发明实施例提供的立体成像处理方法通过在获取到第一左视图和第一右视图后,对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图,使得第一左视图和第一右视图中相同位置的像素点在所述第二左视图和所述第二右视图中水平错位,能够使得所述第二左视图和所述第二右视图之间的视差相对于所述第一左视图和第一右视图之间的视差增大或减小所述视差调整偏移量,进一步地,根据所述第二左视图和所述第二右视图进行立体成像,能够改变该立体图像所呈现出的凹凸立体显示效果,提供对于用户而言良好的立体显示效果,避免出现用户的眼睛观看立体图像时感到不适的情况,从而满足用户的观感需求,提升用户观看体验。
实施例二
在另一些应用场景中,为了在进行立体成像处理后,用户观看到的立体图像的大小以及图像内容的比例都不发生变化,在显示立体图像时,立体显示设备并不使用第一左视图和第一右视图的原始尺寸,而是截取其中的一部分内容(即,第一左视图中“第三左视图区域”内的视图,以及,第一右视图中“第三右视图区域”内的视图)呈现给用户观看,当需要进行立体成像处理时,重新截取原始左视图和原始右视图中的图像内容构成新的与当前显示的左视图和右视图大小相等的左视图和右视图。这样,经过立体成像处理,所显示的立体图像从大小和比例均无变化,并不影响用户的观看体验。
具体可根据预设的视差调整范围截取一部分内容,即确定需要显示给用户的图像区域大小和比例,假设视差调整范围为40个像素,则可以在第一左右视图的左右两侧各留区40个像素后之外的区域为第三左右视图区域。其中,该“预设的视差调整范围”可以是一个固定的预设值,也可以是自适应于不同的实际情况而变化的值,如:当呈现的拍摄场景为远景时,视差调整范围增大,当呈现的拍摄场景为近景时,视差调整范围变小。
基于该应用场景,本实施例提供了又一种立体成像处理方法。图4是本发明实施例二提供的又一种立体成像处理方法的流程示意图,本实施例与图1所示实施例的不同在于步骤140,其他步骤请参阅前述实施例,这里不再赘述,请参阅图4,该立体成像处理方法可以包括但不限于如下步骤:
410、获取双目摄像头拍摄的第一左视图和第一右视图。
420、确定所述第一左视图和所述第一右视图中的目标物的空间位置信息。
430、根据所述目标物的空间位置信息,和预先设置的空间位置信息与视差调整偏移量的对应关系,确定所述目标物的空间位置信息对应的视差调整偏移量。
440、获取所述第一左视图中的第三左视图区域,以及,所述第一右视图中的第三右视图区域。
在本实施例中,立体显示设备需要呈现给用户观看的左视图和右视图分别为获取到的第一左视图和第一右视图中的具有相同大小的部分视图区域内的视图,所述“第三左视图区域”即在第一左视图中,立体显示设备需要呈现给用户观看的左视图所在的视图区域;所述“第三右视图区域”即在第一右视图中,立体显示设备需要呈现给用户观看的右视图所在的视图区域。
本步骤中,获取的第三左视图区域和第三右视图区域在第一左视图和第二左视图中的位置相同,即当将第一左视图和第一右视图重合时,第三左视图区域与第三右视图区域是重合的,第三左视图区域与第三右视图区域的视图之间的视差相等。比如,假设第一左视图如图2(a)所示,第一右视图如图2(b)所示,将第一左视图和第一右视图重合后如图2(c)所示,则,在本实施例中,第三左视图区域可以如图5(a)所示,其由第一左视图中的像素点e、f、h和i构成,第三右视图区域可以如图5(b)所示,其由第一右视图中的像素点E、F、H和I构成。
当将第一左视图和第一右视图重合时,第三左视图区域与第三右视图区域不重合但第三左视图区域与第三右视图区域水平错位时,在该情况下,呈现给用户观看的立体图像的视差相对于第一左视图和第一右视图之间的视差增大或减小所述视差调整偏移量。因此,可通过第三左视图区域和第三右视图区域的水平移位调整视差。
在实际应用中,当接收到立体成像处理指令时,除了获取所述双目摄像头拍摄的第一左视图和第一右视图以外,还可以获取当前呈现给用户观看的左视图在第一左视图中的初始视图区域(即,所述第三左视图区域),即该区域的位置,以及,当前呈现给用户观看的右视图在第一右视图中的初始视图区域(即,所述第三右视图区域)。
450、在所述第一左视图中将所述第三左视图区域沿第一水平方向平移第一距离,在所述第一左视图中获取平移后的所述第三左视图区域内的视图作为第二左视图;以及,在所述第一右视图中将所述第三右视图区域沿与所述第一水平方向相反的第二水平方向平移第二距离,在所述第一右视图中获取平移后的所述第三右视图区域内的视图作为第二右视图。
在本实施例中,所述“第一水平方向”/所述“第二水平方向”包括水平向左和水平向右。其具体的方向由视差调整方向决定:当需要增大视差时,所述第一水平方向为水平向左,所述第二水平方向为水平向右;当需要减小视差时,所述第一水平方向为水平向右,所述第二水平方向为水平向左。
所述“第一距离”是指第一左视图中对应的像素点在第三左视图区域平移前对应的视图(即,当前呈现给用户观看的左视图)和第三左视图区域平移后对应的视图(即,第二左视图)中水平错位的距离;所述“第二距离”是指第一右视图中对应的像素点在第三右视图区域平移前对应的视图(即,当前呈现给用户观看的右视图)和第三右视图区域平移后对应的视图(即,第二右视图)中水平错位的距离,从而,所述第一距离与所述第二距离的和即为视差调整偏移量,即第一左视图和第一右视图中相同位置的像素点在第二左视图和所述第二右视图中水平错位的距离。
举例说明:当对如图2所示的第一左视图和第一右视图进行视差调整时,假设当前向用户呈现的第三左视图区域如图5(a)所示,第三右视图区域如图5(b)所示。
此时,若增大视差,并且,所确定的视差调整值为1个像素点的距离。则,在第一左视图中,将第三左视图区域向左平移1个像素点的距离,在第一左视图中获取平移后的第三左视图区域内的视图作为第二左视图(如图6(a)所示),由于该“第一距离”(1个像素点的距离)与视差调整值相等,所以可以不对第三右视图区域作平移,直接将第三右视图区域内的视图(即,当前呈现的右视图)作为第二右视图;或者,也可以以第三左视图区域内的视图(即,当前呈现的左视图)作为第二左视图,在第一右视图中,将第三右视图区域向右平移1个像素点的距离,在第一右视图中获取平移后的第三右视图区域内的视图作为第二右视图(如图6(b)所示)。
若减小视差,并且,所确定的视差调整值为1个像素点的距离。则,在第一左视图中,将第三左视图区域向右平移1个像素点的距离,在第一左视图中获取平移后的第三左视图区域内的视图作为第二左视图(如图6(c)所示),由于该“第一距离”(1个像素点的距离)与视差调整值相等,所以可以不对第三右视图区域作平移,直接将第三右视图区域内的视图(即,当前呈现的右视图)作为第二右视图;或者,也可以以第三左视图区域内的视图(即,当前呈现的左视图)作为第二左视图,在第一右视图中,将第三右视图区域向左平移1个像素点的距离,在第一右视图中获取平移后的第三右视图区域内的视图作为第二右视图(如图6(d)所示)。
应当理解的是,上述示例性说明仅用于解释本发明实施例,并不用于限定本发明实施例。在实际应用中,第一左视图和第一右视图包括更多的像素点,因此,在第一左视图中截取第二左视图和在第一右视图中截取第二右视图的方式有很多种,只要使第当前呈现给用户观看的左视图和右视图中相同位置的像素点在第二左视图和第二右视图中水平错位,从而使得第二左视图和第二右视图之间的视差相对于当前呈现给用户观看的左视图和右视图之间的视差增大或减小所述视差调整偏移量,均属于本发明实施例所要求的保护范围。
460、根据所述第二左视图和所述第二右视图,进行立体成像。
通过上述技术方案可知,本发明实施例的有益效果在于:通过获取所述第一左视图中的第三左视图区域,在所述第一左视图中将所述第三左视图区域沿第一水平方向平移第一距离,在所述第一左视图中获取平移后的所述第三左视图区域内的视图作为第二左视图;以及,获取所述第一右视图中的第三右视图区域,在所述第一右视图中将所述第三右视图区域沿与所述第一水平方向相反的第二水平方向平移第二距离,在所述第一右视图中获取平移后的所述第三右视图区域内的视图作为第二右视图,可以在实现立体图像的视差调整的同时,呈现出与原始图像大小、比例均相同的立体图像,不影响用户的观看体验。
实施例三
图7是本发明实施例三提供的一种立体成像处理装置的结构示意图,请参阅图7,该装置70包括但不限于:第一获取单元71、第一确定单元74、第二确定单元75、处理单元72以及显示单元73。
其中,第一获取单元71用于获取所述双目摄像头拍摄的第一左视图和第一右视图。
第一确定单元74,用于确定所述第一左视图和所述第一右视图中的目标物的空间位置信息;
第二确定单元75,用于根据所述目标物的空间位置信息,和预先设置的空间位置信息与视差调整偏移量的对应关系,确定所述目标物的空间位置信息对应的视差调整偏移量;
处理单元72用于根据视差调整偏移量,对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图,以使所述第一左视图和第一右视图中相同位置的像素点在所述第二左视图和所述第二右视图中水平错位,从而使得所述第二左视图和所述第二右视图之间的视差相对于所述第一左视图和第一右视图之间的视差增大或减小所述视差调整偏移量。
显示单元73,用于根据所述第二左视图和所述第二右视图获得视差调整后的立体图像。
其中,其中,在一些实施例中,第一确定单元74包括:
第一获取模块,用于获取所述第一左视图和所述第一右视图对应的深度图;
第一确定模块,用于根据所述深度图,确定所述第一左视图和所述第二左视图中的目标物的深度信息;
第二确定模块,用于根据所述目标物的深度信息,确定所述目标物的空间位置信息;
具体的,所述第一获取模块具体用于:
从测距硬件处获取所述测距硬件提供的所述第一左视图和所述第一右视图对应的深度图;
或者
利用立体匹配算法,获取所述第一左视图和所述第一右视图对应的深度图。
其中,其中,在一些实施例中,第一确定单元74包括:
第三确定模块,用于确定所述第一左视图和/或所述第一右视图中所述目标物的图像位置信息;
第四确定模块,用于根据所述目标物的图像位置信息,确定所述目标物的空间位置信息。
具体的,所述目标物为人眼;所述第三确定模块具体用于:
确定所述第一左视图和/或所述第一右视图中的人脸区域;
利用人脸对齐算法,检测所述人脸区域的人脸特征点;
根据所述检测到的人脸特征点的位置,确定所述人眼在所述第一左视图和/或所述第一右视图中的位置。
在一些实施例中,第二确定单元75包括:
查询模块,用于以所述目标物的空间位置信息为索引,查询预先设置的偏移量数据库,获取与所述空间位置信息对应的视差调整偏移量;
或者
计算模块,用于将所述目标物的空间位置信息代入预先设置的视差偏移量与空间位置信息的函数关系,获取与所述空间位置信息对应的视差调整偏移量。
具体的,所述计算模块具体用于:
通过以下公式,获取与所述空间位置信息对应的视差调整偏移量:
其中,newp为视差调整偏移量,d为所述目标物的空间位置信息,d1和d2为预先设置的空间位置区间,p1和p2为预先设置的与所述d1和d2对应的视差调整偏移量。
在一些实施例中,处理单元72具体用于:
获取所述第一左视图中的第三左视图区域,在所述第一左视图中将所述第三左视图区域沿第一水平方向平移第一距离,在所述第一左视图中获取平移后的所述第三左视图区域内的视图作为第二左视图;以及,
获取所述第一右视图中的第三右视图区域,在所述第一右视图中将所述第三右视图区域沿与所述第一水平方向相反的第二水平方向平移第二距离,在所述第一右视图中获取平移后的所述第三右视图区域内的视图作为第二右视图;
其中,所述第一距离和所述第二距离的和等于所述视差调整偏移量。
在一些实施例中,处理单元72具体用于:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,获得第二左视图;以及,
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,获得第二右视图;
其中,所述第一宽度等于视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧。
在一些实施例中,处理单元72具体用于:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,获得第四左视图,在所述第四左视图的第一侧和/或第二侧水平方向上拼接纯色图片,获得所述第二左视图,以使所述第二左视图的大小与所述第一左视图保持一致;
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,获得第四右视图,在所述第四右视图的第一侧和/或第二侧水平方上拼接纯色图片,获得所述第二右视图,以使所述第二右视图的大小与所述第一右视图保持一致;
其中,所述第一宽度等于视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧,所述第四左视图和所述第四右视图同侧拼接纯色图片。
在一些实施例中,处理单元72具体用于:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,并在所述第一左视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二左视图,以使所述第二左视图在水平方向上的长度与在竖直方向上的宽度的比例与所述第一左视图保持一致;
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,并在所述第一左视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二右视图,所述第二右视图在水平方向上的长度与在竖直方向上的宽度的比例与所述第一右视图保持一致;
其中,所述第一宽度等于视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧,所述第三侧为上侧和下侧中的一侧,所述第四侧为上侧和下侧中的另一侧,所述第一左视图和所述第一右视图同侧切除竖直方向上的图像内容。
在一些实施例中,处理单元72具体用于:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,获得第五左视图;
在所述第五左视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二左视图,以使所述第二左视图在水平方向上的长度与在竖直方向上的宽度的比例与所述第一左视图保持一致;
以及,
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,获得第五右视图;
在所述第五右视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二右视图,所述第二右视图在水平方向上的长度与在竖直方向上的宽度的比例与所述第一右视图保持一致;
其中,所述第一宽度等于视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧,所述第三侧为上侧和下侧中的一侧,所述第四侧为上侧和下侧中的另一侧,所述第五左视图和所述第五右视图同侧切除竖直方向上的图像内容。
在一些实施例中,显示单元73具体用于:
将所述第二左视图和所述第二右视图合成为第二立体图像;
利用所述第二立体图像进行裸眼立体显示,从而实现立体成像。
需要说明的是,由于本实施例中的立体成像处理装置与上述实施例一和二中的立体成像处理方法基于相同的发明构思,因此,方法实施例一和二中的相应内容同样适用于本装置实施例,此处不再详述。
通过上述技术方案可知,本发明实施例的有益效果在于:通过在第一获取单元71获取到第一左视图和第一右视图时,在处理单元72中对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图,使得第一左视图和第一右视图中相同位置的像素点在所述第二左视图和所述第二右视图中水平错位,能够使得所述第二左视图和所述第二右视图之间的视差相对于所述第一左视图和第一右视图之间的视差增大或减小视差调整偏移量,进一步地,通过显示单元73根据所述第二左视图和所述第二右视图进行立体成像,能够改变该立体图像所呈现出的凹凸立体显示效果,从而满足用户的观感需求,提升用户观看体验。
实施例四
图8是本发明实施例四提供的一种立体显示设备的结构示意图,该立体显示设备800可以是任意类型的智能终端,比如,手机、VR眼镜等。
具体地,请参阅图8,该立体显示设备800包括:
一个或多个处理器810以及存储器820,图8中以一个处理器810为例。
处理器810和存储器820可以通过总线或者其他方式连接,图8中以通过总线连接为例。
存储器820作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块,如本发明实施例中的立体成像处理方法对应的程序指令/模块(例如,附图7所示的获取单元71、裁切单元72以及成像单元73)。处理器810通过运行存储在存储器820中的非暂态软件程序、指令以及模块,从而执行立体成像处理装置70的各种功能应用以及数据处理,即实现上述任一方法实施例的立体成像处理方法。
存储器820可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据立体成像处理装置70的使用所创建的数据等。此外,存储器820可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器820可选包括相对于处理器810远程设置的存储器,这些远程存储器可以通过网络连接至该立体显示设备800。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器820中,当被所述一个或者多个处理器810执行时,执行上述任意方法实施例中的立体成像处理方法,例如,执行以上描述的图1中的方法步骤110至150,图4中的方法步骤410至460,实现图7中的单元71-75的功能。
实施例五
本发明实施例五还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如,被图8中的一个处理器810执行,可使得上述一个或多个处理器执行上述任意方法实施例中的立体成像处理方法,例如,执行以上描述的图1中的方法步骤110至150,图4中的方法步骤410至460,实现图7中的单元71-75的功能。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
上述产品可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例所提供的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (26)

1.一种立体成像处理方法,其特征在于,应用于立体显示设备,所述立体显示设备上设置有双目摄像头,所述方法包括:
获取所述双目摄像头拍摄的第一左视图和第一右视图;
确定所述第一左视图和所述第一右视图中的目标物的空间位置信息;
根据所述目标物的空间位置信息,和预先设置的空间位置信息与视差调整偏移量的对应关系,确定所述目标物的空间位置信息对应的视差调整偏移量;
根据所述视差调整偏移量,对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图,以使所述第一左视图和第二右视图中相同位置的像素点在所述第二左视图和所述第二右视图中水平错位,所述水平错位的距离等于所述视差调整偏移量;
根据所述第二左视图和所述第二右视图,进行立体成像。
2.根据权利要求1所述的方法,其特征在于,所述确定所述第一左视图和所述第一右视图中的目标物的空间位置信息包括:
获取所述第一左视图和所述第一右视图对应的深度图,根据所述深度图,确定所述第一左视图和所述第二左视图中的目标物的深度信息,根据所述目标物的深度信息,确定所述目标物的空间位置信息;
或者
确定所述第一左视图和/或所述第一右视图中所述目标物的图像位置信息,根据所述目标物的图像位置信息,确定所述目标物的空间位置信息。
3.根据权利要求2所述的方法,其特征在于,所述获取所述第一左视图和所述第一右视图对应的深度图包括:
从测距硬件处获取所述测距硬件提供的所述第一左视图和所述第一右视图对应的深度图;
或者
利用立体匹配算法,获取所述第一左视图和所述第一右视图对应的深度图。
4.根据权利要求2所述的方法,其特征在于,
所述目标物为人眼;
所述确定所述第一左视图和/或所述第一右视图中所述目标物的图像位置信息包括:
确定所述第一左视图和/或所述第一右视图中的人脸区域;
利用人脸对齐算法,检测所述人脸区域的人脸特征点;
根据所述检测到的人脸特征点的位置,确定所述人眼在所述第一左视图和/或所述第一右视图中的位置。
5.根据权利要求1所述的方法,其特征在于,所述根据所述目标物的空间位置信息,和预先设置的空间位置信息与视差调整偏移量的对应关系,确定所述目标物的空间位置信息对应的视差调整偏移量包括:
以所述目标物的空间位置信息为索引,查询预先设置的偏移量数据库,获取与所述空间位置信息对应的视差调整偏移量;
或者
将所述目标物的空间位置信息代入预先设置的视差偏移量与空间位置信息的函数关系,获取与所述空间位置信息对应的视差调整偏移量。
6.根据权利要求5所述的方法,其特征在于,所述将所述目标物的空间位置信息代入预先设置的视差偏移量与空间位置信息的函数关系,获取与所述空间位置信息对应的视差调整偏移量包括:
通过以下公式,获取与所述空间位置信息对应的视差调整偏移量:
<mrow> <mi>n</mi> <mi>e</mi> <mi>w</mi> <mi>p</mi> <mo>=</mo> <mi>p</mi> <mn>1</mn> <mo>-</mo> <mfrac> <mrow> <mi>p</mi> <mn>1</mn> <mo>-</mo> <mi>p</mi> <mn>2</mn> </mrow> <mrow> <mi>d</mi> <mn>2</mn> <mo>-</mo> <mi>d</mi> <mn>2</mn> </mrow> </mfrac> <mo>*</mo> <mrow> <mo>(</mo> <mi>d</mi> <mo>-</mo> <mi>d</mi> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中,newp为视差调整偏移量,d为所述目标物的空间位置信息,d1和d2为预先设置的空间位置区间,p1和p2为预先设置的与所述d1和d2对应的视差调整偏移量。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述根据所述视差调整偏移量,对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图包括:
获取所述第一左视图中的第三左视图区域,在所述第一左视图中将所述第三左视图区域沿第一水平方向平移第一距离,在所述第一左视图中获取所述平移后的所述第三左视图区域内的视图作为第二左视图;以及
获取所述第一右视图中的第三右视图区域,在所述第一右视图中将所述第三右视图区域沿与所述第一水平方向相反的第二水平方向平移第二距离,在所述第一右视图中获取与所述平移后的第三右视图区域内的视图作为第二右视图;
其中,所述第一距离和所述第二距离的和等于所述视差调整偏移量。
8.根据权利要求1至6任一项所述的方法,其特征在于,
所述根据所述视差调整偏移量,对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图包括:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,获得第二左视图;以及,
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,获得第二右视图;
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧。
9.根据权利要求1至6任一项所述的方法,其特征在于,所述根据所述视差调整偏移量,对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图包括:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,获得第四左视图,在所述第四左视图的第一侧和/或第二侧水平方向上拼接纯色图片,获得所述第二左视图,以使所述第二左视图的大小与所述第一左视图保持一致;
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,获得第四右视图,在所述第四右视图的第一侧和/或第二侧水平方上拼接纯色图片,获得所述第二右视图,以使所述第二右视图的大小与所述第一右视图保持一致;
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧,所述第四左视图和所述第四右视图同侧拼接纯色图片。
10.根据权利要求1至6任一项所述的方法,其特征在于,所述根据所述视差调整偏移量,对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图包括:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,并在所述第一左视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二左视图,以使所述第二左视图在水平方向上的长度与在垂直方向上的宽度的比例与所述第一左视图保持一致;
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,并在所述第一左视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二右视图,所述第二右视图在水平方向上的长度与在垂直方向上的宽度的比例与所述第一右视图保持一致;
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧,所述第三侧为上侧和下侧中的一侧,所述第二侧为上侧和下侧中的另一侧,所述第一左视图和所述第一右视图同侧切除竖直方向上的图像内容。
11.根据权利要求1至6任一项所述的方法,其特征在于,所述根据所述视差调整偏移量,对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图包括:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,获得第五左视图;
在所述第五左视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二左视图,以使所述第二左视图在水平方向上的长度与在垂直方向上的宽度的比例与所述第一左视图保持一致;
以及
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,获得第六右视图;
在所述第六右视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二右视图,所述第二右视图在水平方向上的长度与在垂直方向上的宽度的比例与所述第一右视图保持一致;
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧,所述第三侧为上侧和下侧中的一侧,所述第二侧为上侧和下侧中的另一侧,所述第六左视图和所述第六右视图同侧切除竖直方向上的图像内容。
12.根据权利要求1所述的方法,其特征在于,所述根据所述第二左视图和所述第二右视图,进行立体成像包括:
将所述第二左视图和所述第二右视图合成为第二立体图像;
利用所述第二立体图像进行裸眼立体显示,从而实现立体成像。
13.一种立体成像处理装置,其特征在于,所述装置包括:
第一获取单元,用于获取所述双目摄像头拍摄的第一左视图和第一右视图;
处理单元,用于根据所述视差调整偏移量,对所述第一左视图和所述第一右视图进行错位裁切处理,获得第二左视图和第二右视图,以使所述第一左视图和第二右视图中相同位置的像素点在所述第二左视图和所述第二右视图中水平错位,所述水平错位的距离等于所述视差调整偏移量;
显示单元,用于根据所述第二左视图和所述第二右视图,进行立体成像。
14.根据权利要求13所述的装置,其特征在于,所述第一确定单元包括:
第一获取模块,用于获取所述第一左视图和所述第一右视图对应的深度图;
第一确定模块,用于根据所述深度图,确定所述第一左视图和所述第二左视图中的目标物的深度信息;
第二确定模块,用于根据所述目标物的深度信息,确定所述目标物的空间位置信息;
或者
第三确定模块,用于确定所述第一左视图和/或所述第一右视图中所述目标物的图像位置信息;
第四确定模块,用于根据所述目标物的图像位置信息,确定所述目标物的空间位置信息。
15.根据权利要求14所述的装置,其特征在于,所述第一获取模块具体用于:
从测距硬件处获取所述测距硬件提供的所述第一左视图和所述第一右视图对应的深度图;
或者
利用立体匹配算法,获取所述第一左视图和所述第一右视图对应的深度图。
16.根据权利要求14所述的装置,其特征在于,
所述目标物为人眼;
所述第三确定模块具体用于:
确定所述第一左视图和/或所述第一右视图中的人脸区域;
利用人脸对齐算法,检测所述人脸区域的人脸特征点;
根据所述检测到的人脸特征点的位置,确定所述人眼在所述第一左视图和/或所述第一右视图中的位置。
17.根据权利要求13所述的装置,其特征在于,所述第二确定单元包括:
查询模块,用于以所述目标物的空间位置信息为索引,查询预先设置的偏移量数据库,获取与所述空间位置信息对应的视差调整偏移量;
或者
计算模块,用于将所述目标物的空间位置信息代入预先设置的视差偏移量与空间位置信息的函数关系,获取与所述空间位置信息对应的视差调整偏移量。
18.根据权利要求17所述的装置,其特征在于,所述计算模块具体用于:
通过以下公式,获取与所述空间位置信息对应的视差调整偏移量:
<mrow> <mi>n</mi> <mi>e</mi> <mi>w</mi> <mi>p</mi> <mo>=</mo> <mi>p</mi> <mn>1</mn> <mo>-</mo> <mfrac> <mrow> <mi>p</mi> <mn>1</mn> <mo>-</mo> <mi>p</mi> <mn>2</mn> </mrow> <mrow> <mi>d</mi> <mn>2</mn> <mo>-</mo> <mi>d</mi> <mn>2</mn> </mrow> </mfrac> <mo>*</mo> <mrow> <mo>(</mo> <mi>d</mi> <mo>-</mo> <mi>d</mi> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中,newp为视差调整偏移量,d为所述目标物的空间位置信息,d1和d2为预先设置的空间位置区间,p1和p2为预先设置的与所述d1和d2对应的视差调整偏移量。
19.根据权利要求13至18任一项所述的装置,其特征在于,所述处理单元具体用于:
获取所述第一左视图中的第三左视图区域,在所述第一左视图中将所述第三左视图区域沿第一水平方向平移第一距离,在所述第一左视图中获取所述平移后的所述第三左视图区域内的视图作为第二左视图;以及
获取所述第一右视图中的第三右视图区域,在所述第一右视图中将所述第三右视图区域沿与所述第一水平方向相反的第二水平方向平移第二距离,在所述第一右视图中获取与所述平移后的第三右视图区域内的视图作为第二右视图;
其中,所述第一距离和所述第二距离的和等于所述视差调整偏移量。
20.根据权利要求13至18任一项所述的装置,其特征在于,
所述处理单元具体用于:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,获得第二左视图;以及,
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,获得第二右视图;
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧。
21.根据权利要求13至18任一项所述的装置,其特征在于,所述处理单元具体用于:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,获得第四左视图,在所述第四左视图的第一侧和/或第二侧水平方向上拼接纯色图片,获得所述第二左视图,以使所述第二左视图的大小与所述第一左视图保持一致;
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,获得第四右视图,在所述第四右视图的第一侧和/或第二侧水平方上拼接纯色图片,获得所述第二右视图,以使所述第二右视图的大小与所述第一右视图保持一致;
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧,所述第四左视图和所述第四右视图同侧拼接纯色图片。
22.根据权利要求13至18任一项所述的装置,其特征在于,所述处理单元具体用于:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,并在所述第一左视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二左视图,以使所述第二左视图在水平方向上的长度与在垂直方向上的宽度的比例与所述第一左视图保持一致;
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,并在所述第一左视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二右视图,所述第二右视图在水平方向上的长度与在垂直方向上的宽度的比例与所述第一右视图保持一致;
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧,所述第三侧为上侧和下侧中的一侧,所述第二侧为上侧和下侧中的另一侧,所述第一左视图和所述第一右视图同侧切除竖直方向上的图像内容。
23.根据权利要求13至18任一项所述的装置,其特征在于,所述处理单元具体用于:
在所述第一左视图的第一侧切除水平方向上第一宽度的图像内容,获得第五左视图;
在所述第五左视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二左视图,以使所述第二左视图在水平方向上的长度与在垂直方向上的宽度的比例与所述第一左视图保持一致;
以及
在所述第一右视图的第二侧切除水平方向上第一宽度的图像内容,获得第六右视图;
在所述第六右视图的第三侧和/或第四侧切除竖直方向上第二宽度的图像内容,获得所述第二右视图,所述第二右视图在水平方向上的长度与在垂直方向上的宽度的比例与所述第一右视图保持一致;
其中,所述第一宽度等于所述视差调整偏移量,所述第一侧为左侧和右侧中的一侧,所述第二侧为左侧和右侧中的另一侧,所述第三侧为上侧和下侧中的一侧,所述第二侧为上侧和下侧中的另一侧,所述第六左视图和所述第六右视图同侧切除竖直方向上的图像内容。
24.根据权利要求13所述的装置,其特征在于,所述显示单元包括:
合成模块,用于将所述第二左视图和所述第二右视图合成为第二立体图像;
成像模块,利用所述第二立体图像进行裸眼立体显示,从而实现立体成像。
25.一种立体显示设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-12任一项所述的方法。
26.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1-12任一项所述的方法。
CN201711495534.6A 2017-12-31 2017-12-31 一种立体成像处理方法、装置和立体显示设备 Pending CN108093243A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711495534.6A CN108093243A (zh) 2017-12-31 2017-12-31 一种立体成像处理方法、装置和立体显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711495534.6A CN108093243A (zh) 2017-12-31 2017-12-31 一种立体成像处理方法、装置和立体显示设备

Publications (1)

Publication Number Publication Date
CN108093243A true CN108093243A (zh) 2018-05-29

Family

ID=62181263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711495534.6A Pending CN108093243A (zh) 2017-12-31 2017-12-31 一种立体成像处理方法、装置和立体显示设备

Country Status (1)

Country Link
CN (1) CN108093243A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584714A (zh) * 2018-11-30 2019-04-05 Oppo广东移动通信有限公司 显示屏与电子设备
CN111225201A (zh) * 2020-01-19 2020-06-02 深圳市商汤科技有限公司 视差校正方法及装置、存储介质
CN112686865A (zh) * 2020-12-31 2021-04-20 重庆西山科技股份有限公司 一种3d视图辅助检测方法、***、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964918A (zh) * 2009-07-21 2011-02-02 富士胶片株式会社 图像再现设备和图像再现方法
CN102959974A (zh) * 2010-06-30 2013-03-06 富士胶片株式会社 立体图像再现装置、其视差调整方法、视差调整程序、及摄影装置
CN104012087A (zh) * 2011-12-28 2014-08-27 索尼公司 视差调整装置、图像处理装置和帧格式
CN105049832A (zh) * 2014-04-24 2015-11-11 Nlt科技股份有限公司 立体图像显示装置、立体图像显示方法以及立体图像显示程序
CN105872518A (zh) * 2015-12-28 2016-08-17 乐视致新电子科技(天津)有限公司 虚拟现实调整视差的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964918A (zh) * 2009-07-21 2011-02-02 富士胶片株式会社 图像再现设备和图像再现方法
CN102959974A (zh) * 2010-06-30 2013-03-06 富士胶片株式会社 立体图像再现装置、其视差调整方法、视差调整程序、及摄影装置
CN104012087A (zh) * 2011-12-28 2014-08-27 索尼公司 视差调整装置、图像处理装置和帧格式
CN105049832A (zh) * 2014-04-24 2015-11-11 Nlt科技股份有限公司 立体图像显示装置、立体图像显示方法以及立体图像显示程序
CN105872518A (zh) * 2015-12-28 2016-08-17 乐视致新电子科技(天津)有限公司 虚拟现实调整视差的方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584714A (zh) * 2018-11-30 2019-04-05 Oppo广东移动通信有限公司 显示屏与电子设备
CN109584714B (zh) * 2018-11-30 2021-04-16 Oppo广东移动通信有限公司 显示屏与电子设备
CN111225201A (zh) * 2020-01-19 2020-06-02 深圳市商汤科技有限公司 视差校正方法及装置、存储介质
WO2021143127A1 (zh) * 2020-01-19 2021-07-22 深圳市商汤科技有限公司 视差校正方法及装置、存储介质
TWI764506B (zh) * 2020-01-19 2022-05-11 大陸商深圳市商湯科技有限公司 視差校正方法及裝置、電腦可讀儲存介質
CN112686865A (zh) * 2020-12-31 2021-04-20 重庆西山科技股份有限公司 一种3d视图辅助检测方法、***、装置及存储介质

Similar Documents

Publication Publication Date Title
CN108600733B (zh) 一种基于人眼跟踪的裸眼3d显示方法
CN102428707B (zh) 立体视用图像对位装置和立体视用图像对位方法
US8791989B2 (en) Image processing apparatus, image processing method, recording method, and recording medium
US9294755B2 (en) Correcting frame-to-frame image changes due to motion for three dimensional (3-D) persistent observations
US7944444B2 (en) 3D image processing apparatus and method
JP5414947B2 (ja) ステレオ撮影装置
US8000521B2 (en) Stereoscopic image generating method and apparatus
US20120236133A1 (en) Producing enhanced images from anaglyph images
US8760502B2 (en) Method for improving 3 dimensional effect and reducing visual fatigue and apparatus enabling the same
DE202017105894U1 (de) Headset-Entfernung in virtueller, erweiterter und gemischter Realität unter Verwendung einer Blick-Datenbank
JP4995092B2 (ja) ステレオカメラの画像の歪み補正装置、及びその方法
CN108156437A (zh) 一种立体图像处理方法、装置和电子设备
WO2013108339A1 (ja) ステレオ撮影装置
US10356383B2 (en) Adjustment of perceived roundness in stereoscopic image of a head
CN106162145B (zh) 基于无人机的立体图像生成方法、装置
TW201143369A (en) Glasses for viewing stereo images
CN106228530B (zh) 一种立体摄影方法、装置及立体摄影设备
US10885651B2 (en) Information processing method, wearable electronic device, and processing apparatus and system
CN108093243A (zh) 一种立体成像处理方法、装置和立体显示设备
CN108156442A (zh) 一种立体成像处理方法、装置和电子设备
CN109255838B (zh) 避免增强现实显示设备观看重影的方法及设备
CN107038720A (zh) 具有可调视差方向的三维渲染
US9197874B1 (en) System and method for embedding stereo imagery
CN108234983A (zh) 一种立体成像处理方法、装置和电子设备
JP2011205385A (ja) 立体映像制御装置および立体映像制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180529