CN103945208B - 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法 - Google Patents

一种针对多视点裸眼3d显示的并行同步缩放引擎及方法 Download PDF

Info

Publication number
CN103945208B
CN103945208B CN201410167890.5A CN201410167890A CN103945208B CN 103945208 B CN103945208 B CN 103945208B CN 201410167890 A CN201410167890 A CN 201410167890A CN 103945208 B CN103945208 B CN 103945208B
Authority
CN
China
Prior art keywords
pixel
sub
visual field
bore hole
interpolating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410167890.5A
Other languages
English (en)
Other versions
CN103945208A (zh
Inventor
任鹏举
刘庚
余江
孙宏滨
刘跃虎
郑南宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201410167890.5A priority Critical patent/CN103945208B/zh
Priority to PCT/CN2014/078731 priority patent/WO2015161541A1/zh
Priority to US14/897,076 priority patent/US9924153B2/en
Publication of CN103945208A publication Critical patent/CN103945208A/zh
Application granted granted Critical
Publication of CN103945208B publication Critical patent/CN103945208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像显示处理技术领域,涉及到一种针对多视点裸眼3D显示的并行同步缩放引擎及方法,首先对插值像素窗进行选择和组合计算,然后再对合成的合成视场插值像素窗进行插值计算,计算结果直接在显示终端显示。即将已有方法所采用的先进行图像缩放,再进行裸眼立体图像合成的过程,改进为先进行像素点的筛选和组合,然后进行缩放插值处理。本发明大幅减小了计算复杂度,易于实时硬件实现。可兼容各种视点数目、多种插值算法以及整型和浮点型像素排列的裸眼3D显示,不会因视点数目的增加而增加计算资源,随着视点数目的增加进一步体现出本发明所提出的并行同步缩放引擎的性能优势。

Description

一种针对多视点裸眼3D显示的并行同步缩放引擎及方法
技术领域
本发明属于视频图像显示处理技术领域,具体涉及到一种应用在多视点裸眼3D显示技术中的易于硬件实现的多视场并行同步缩放引擎及方法。
背景技术
立体显示技术可以表现图像的深度信息和景深感,让观众产生身临其境的观影体验,因此有着广阔的市场前景。目前已经商业化的3D显示技术几乎都是基于人眼双目立体视觉原理,即让左右眼分别接收不同视点的视场图像,由于不同视点间视场图像存在细微的差异,通过大脑融合让观众产生立体感。相比传统的眼镜式3D显示,裸眼3D显示摆脱了需要佩戴3D眼镜才能观看到立体效果的束缚,因而更具市场优势。目前裸眼3D显示主要分为:狭缝光栅式显示、柱状透镜式显示、体显示和全息显示。狭缝光栅式显示和柱状透镜式显示,是在显示终端前方添加一层方向性阻挡或折射的光学介质,从而将左右眼视场分离。本发明中如不做特殊说明,裸眼3D显示均是指狭缝光栅显示以及柱状透镜显示。
如图1,以整型像素排列的1080P四视点裸眼3D显示为例,简要说明裸眼3D显示处理过程。1080P四视点裸眼3D片源的4个子视场图像分辨率均为960×540,呈四宫格排列。对应的显示处理过程主要分为以下几步:
1、将四子视场图像分割,得到四幅分辨率为960×540的子图(a、b、c、d);
2、将各子图的分辨率分别插值缩放至显示终端的物理分辨率(1920×1080),得到各子视场缩放后的图像(A、B、C、D);
3、根据光栅或者柱状透镜的相关系数和视点之间的加权组合关系,将A、B、C、D相应位置的各子像素点重新计算组合,得出相应位置裸眼立体图像的显示像素;
4、完成所合成得到的裸眼立体图像的终端显示。
如图2所示,通过狭缝光栅或柱状透镜与裸眼立体合成图之间对应的光路选择作用,在不同角度和距离下,观看到的视场图像不相同。由于用户左右眼之间有大约五公分的距离,观众在合适的观看位置观看图像时,用户左右眼会接收到不同的视场图像,经过大脑合成处理产生立体景深感。需要说明的是,图2列举了一种4视点整型排列的情形,仅代表了裸眼3D合成图的一种像素排布方式。
与上述方法相对应的裸眼立体显示处理***如图3所示,主要包含四部分:输入视频解码模块,N视点视图序列生成模块,视频图像帧存储控制模块以及裸眼立体图生成模块。其中缩放引擎包含于裸眼立体图生成模块中,其输入为各子视场插值像素窗,输出为合成立体图的显示像素。
图4所示为已有的裸眼3D显示***中的缩放引擎***。主要包含以下几步:
1、从SDRAM(包括DDRS DRAM\DDR2SDRAM\DDR3SDRAM)中分别获取各子视场图像数据,根据相关缩放算法,得出各子视场当前插值像素点插值计算所需的插值像素窗数据;
2、根据相关缩放算法的缩放系数,将各子视场相应的插值像素窗通过N个缩放插值模块并行进行缩放插值计算,得到N个缩放后的像素值数据;
3、根据显示终端像素排列要求,将N个子视场的N个插值缩放结果,通过多视点裸眼3D视频图像组合计算模块进行像素合成,得到当前位置的显示像素合成结果。重复上述步骤,直至一场图像合成完毕,并将合成的裸眼3D图像在裸眼立体显示终端上显示。
下面结合图3、图4,以N视点裸眼3D显示为例,对以上步骤做具体描述:
首先将视频信号(模拟信号或数字信号)通过输入视频解码模块,解码为视频数字信号(即RGB\YUV\RGBY信号)以及相对应的视频标志信号。
如果直接将多视点裸眼3D片源解码后得到的视频数据信号投放在显示终端上,并不能让用户感受到立体感。为了能够显示3D效果,首先通过N视点视图序列生成模块,进行图像分割或通过2D转3D等方式获得多个子视场图像序列。然后通过视频图像帧存储控制模块将视频图像数据存入SDRAM(包括DDR SDRAM\DDR2SDRAM\DDR3SDRAM)。图像存入SDRAM后,根据显示终端的物理分辨率,通过裸眼立体图生成模块将各子视场图像的分辨率均缩放至与显示终端相同的物理分辨率(如1080P、4K×2K或8K×4K分辨率),得到N幅与显示终端物理分辨率相同的图像。上述过程中,缩放引擎(如图4所示)包含于裸眼立体图生成模块中,其运行过程如下:取出SDRAM中各子视场图像序列,将各子视场数据存入片上存储器中,然后根据相应缩放算法,取出缩放插值模块计算所需使用到的插值像素窗数据。各子视场缩放插值模块根据缩放算法以及相应插值像素窗,并行进行逐点插值计算。将插值缩放后得到的N幅子视场图像序列,根据显示终端的光栅或柱状透镜的立体图像素排列要求将各子视场的缩放结果相应位置的R\G\B(Y\U\V、R\G\B\Y)子像素点通过多视点裸眼3D视频图像组合计算模块,完成组合计算得到对应位置裸眼3D图像的显示像素。
最后,根据显示终端的接口及相应的编码方式,将上述处理好的裸眼3D合成图像数据输送给显示终端,进行裸眼3D的显示。重复上述过程,直至一场图像结束。
现有方法的缺点在于:
随着显示终端分辨率的不断提升,多视点裸眼3D视频源的视点数目正朝着越来越多的方向发展,这样各视点之间相互补充,会让观众产生更好的观影体验以及支持更多的用户同时观看。已有方法中每个子视场图像均需单独缩放,N个视场需要N个独立的缩放插值模块,而裸眼立体图像合成时,只使用到了各子视场缩放结果的部分数据,这样多个缩放插值模块计算了大量未使用的冗余数据,因此浪费了大量的硬件计算资源。另一方面,随着视点数目的进一步增加,巨大的硬件计算资源消耗,最终将使得硬件资源难以满足设计要求。
发明内容
本发明的目的在于提供一种针对多视点裸眼3D显示的并行同步缩放引擎及方法,其易于硬件实现,且能够有效的节省硬件计算资源。图3中所示现有缩放引擎可由本发明并行同步缩放引擎(如图5所示)替代,在功能正确的情况下,优化***的资源利用率。本发明并行同步缩放引擎为裸眼3D显示***的关键功能模块,缩放引擎的输入为多视场图像序列,输出为裸眼合成立体图,通过本发明提出的并行同步缩放引擎,大幅降低了裸眼3D显示***的硬件资源消耗。
为了实现上述目的,本发明采用如下技术方案:
一种针对多视点裸眼3D显示的并行同步缩放引擎,包括:多路图像组合计算模块,用于从各子视场对应的片上存储单元中同步、并行的取出在插值缩放过程中使用到的插值像素窗数据,并对各子视场插值像素窗数据进行组合运算筛选,得出合成视场各子像素插值像素窗数据,并输入像素拼接模块;像素拼接模块,用于对合成视场各子像素插值像素窗数据拼接得出合成视场插值像素窗,输入缩放插值模块;缩放插值模块,用于根据相应缩放算法的缩放系数,对合成视场插值像素窗数据插值计算出相应位置的一个显示像素。
本发明进一步的改进在于:缩放插值模块在计算一场图像显示像素的同时,将合成图像显示像素在裸眼3D显示终端上显示,具有实时处理、实时显示的特点,易于硬件实现。
本发明进一步的改进在于:各子视场视频数据存入对应片上存储单元的过程中各子视场控制状态保持一致,各子视场数据同步写入相应片上存储单元。
本发明进一步的改进在于:所述裸眼3D显示终端为N视点整型或者浮点型像素排布的裸眼3D显示终端;
所述裸眼3D显示终端为整型像素排列时,N个中有且仅有一个为一,其余为零;
所述裸眼3D显示终端为浮点型像素排列时,N个满足
表示计算合成的x子像素数据时,第n子视场相应位置的x子像素的加权系数;x∈{R,G,B},n∈{1,2...N-1,N}。
一种针对多视点裸眼3D显示的并行同步缩放方法,包括以下步骤:
1)、将各子视场图像数据写入对应的片上存储单元;
2)、多路图像组合计算模块从各子视场对应的片上存储单元中同步、并行的取出在插值缩放过程中使用到的子视场插值像素窗;
3)、根据裸眼3D显示终端物理分辨率以及像素排列要求,多路图像组合计算模块对各子视场插值像素窗进行组合计算得出新的合成视场各子像素插值像素窗;像素拼接模块对合成视场各子像素插值像素窗进行拼接得出合成视场插值像素窗;
4)、缩放插值模块根据相应缩放算法对合成视场插值像素窗进行缩放插值计算得出一个显示像素。
本发明进一步的改进在于:缩放插值模块在计算一场图像显示像素的同时,将合成图像显示像素在裸眼3D显示终端上显示,具有实时处理、实时显示的特点,易于硬件实现。
本发明进一步的改进在于:步骤1)中各子视场视频数据存入对应片上存储单元的过程中各子视场控制状态保持一致,各子视场数据同步写入相应片上存储单元。
本发明进一步的改进在于:所述裸眼3D显示终端为N视点整型或者浮点型像素排布的裸眼3D显示终端;
所述裸眼3D显示终端为整型像素排列时,N个中有且仅有一个为一,其余为零;
所述裸眼3D显示终端为浮点型像素排列时,N个满足
表示计算合成的x子像素数据时,第n子视场相应位置的x子像素的加权系数;x∈{R,G,B},n∈{1,2...N-1,N}。
一种针对多视点裸眼3D显示的并行同步缩放方法,首先根据裸眼3D显示终端的像素排列要求进行插值像素窗的筛选合成,将冗余数据舍弃,然后进行缩放插值计算,最终直接生成裸眼3D合成图的显示像素。
一种针对多视点裸眼3D显示的并行同步缩放方法,包括:
1、从SDRAM中分别获取各子视场图像数据,根据相关缩放算法,得出各子视场当前插值像素点插值计算所需的插值像素窗数据;
2、根据显示终端像素排列组合要求,通过多路图像组合计算模块对各子视场插值像素窗数据进行组合运算筛选,得出合成视场各子像素插值像素窗数据,进一步通过像素拼接模块,拼接得出合成视场插值像素窗,作为缩放插值模块的输入;
3、根据相应缩放算法的缩放系数,通过缩放插值模块将步骤2得到的插值像素窗数据插值计算出相应位置的一个显示像素;将裸眼立体合成图的显示像素在裸眼3D显示终端上显示。
重复步骤1-3直至一场图像结束。
相对于现有技术,本发明具有以下有益效果:
本发明在得到各子视场图像序列数据相应插值像素窗数据后,并不直接进行缩放插值,而是根据显示终端的像素排列要求,对各子视场插值像素窗数据进行像素点的选择以及相应组合计算,得出新的合成视场插值像素窗数据,然后再进行缩放插值计算。即原本先缩放后进行立体图像合成,改进为先进行图像合成再进行插值计算,这样可以同步完成多个视场对应像素的并行缩放,剔除了冗余的像素点计算,计算复杂度为已有方法的1/N,有效的节省了计算资源,易于实时硬件实现,满足各种视点数目、多种插值算法、兼容各种整型和浮点型像素排列的裸眼3D显示,不会因视点数目的增加而增加计算资源,并会随着视点数目的增加进一步体现出本发明所提出的并行同步缩放引擎的性能优势。
附图说明
图1为现有多视点裸眼3D显示处理***示意图。
图2为现有多视点裸眼3D显示处理***显示原理图。
图3为多视点裸眼3D显示处理***结构示意图。
图4为已有方法的多视点裸眼3D显示***的缩放引擎***示意图。
图5为本发明多视点裸眼3D显示***的并行同步缩放引擎***示意图。
具体实施方式
下面结合附图对本发明进一步详细说明。请参阅图5所示,本发明一种针对多视点裸眼3D显示的并行同步缩放引擎,包括多路图像组合计算模块、像素拼接模块和缩放插值模块。
多路图像组合计算模块,用于从各子视场的片上存储单元中同步、并行的取出在插值缩放过程中使用到的插值像素窗数据,并对各子视场插值像素窗数据进行组合运算筛选,得出各子像素插值像素窗数据,并输入像素拼接模块;
像素拼接模块,用于将合成视场各子像素插值像素窗数据拼接得出合成视场插值像素窗,其结果输出给缩放插值模块;
缩放插值模块,用于根据相应缩放算法的缩放系数,对合成视场插值像素窗数据插值计算出相应位置的一个显示像素,并将显示像素在裸眼3D显示终端上显示。
本发明一种针对多视点裸眼3D显示的并行同步缩放方法,包括以下步骤:
1、将各子视场图像数据写入对应的片上存储单元;2、多路图像组合计算模块从各子视场对应的片上存储单元中同步、并行的取出在插值缩放过程中使用到的子视场插值像素窗;3、根据裸眼3D显示终端物理分辨率以及裸眼立体图像素排列要求,多路图像组合计算模块对各子视场插值像素窗进行组合计算得出新的合成视场子像素插值像素窗;像素拼接模块对各合成视场子像素插值像素窗进行拼接得出合成视场插值像素窗;4、缩放插值模块根据相应缩放算法对合成视场插值像素窗进行缩放插值计算得出裸眼立体图一个显示像素。
重复步骤1-4,直至一场图像结束,并将合成图像在裸眼3D显示终端上显示。
1、将各子视场图像数据写入对应的片上存储单元:
本发明中各子视场数据操作必须并行、同步、实时进行。由于并行同步缩放引擎需要同时使用到各子视场图像中相同位置的数据,所以各子视场视频数据存入对应片上存储单元的过程中要求各子视场控制状态保持一致,各子视场数据同步写入相应片上存储单元,这样保证后续的并行同步缩放引擎实时、正确运行。
2、从各子视场的片上存储单元中同步、并行的取出在插值缩放过程中所需使用到的插值像素窗:
在本步骤2中,各子视场插值像素窗数据需保持完全的一致性和同步性。实施过程中使用到一个插值窗地址计算模块,各子视场均使用这个插值窗地址计算模块的运算结果,同步将插值像素窗数据输出给多路图像组合计算模块。需要说明的是,根据插值算法的不同,插值窗地址计算模块会有所差异。
3、根据显示终端物理分辨率以及像素排列要求,多路图像组合计算模块对各子视场缩放数据窗口进行组合计算得出新的合成视场各子像素插值像素窗;像素拼接模块对合成视场各子像素插值像素窗进行拼接得出合成视场插值像素窗:
对于N视点裸眼3D显示***,通过步骤2处理,将得到N个插值像素窗。N个插值像素窗中的数据在裸眼3D显示模式下,仅有部分数据是有用数据,在进行插值计算之前先将其余的冗余数据舍弃,从而避免冗余数据的计算,节约计算资源。本发明中,通过调整参数Fxn的配置,进行数据的选取和舍弃,兼容各种整型以及浮点型像素排布的裸眼3D显示终端。
本例以4视点整型像素排列裸眼3D显示为例,简要说明冗余数据的舍弃过程。假设在最终的裸眼立体合成图时,某一坐标位置的显示像素是由第三视场缩放结果相应位置的R子像素、第二视场缩放结果相应位置的G子像素以及第一视场缩放结果相应位置的B子像素合成得到。那么在处理过程中,仅保留第三视场缩放窗的R分量、第二视场缩放窗的G分量、第一视场缩放窗的B分量,然后通过像素拼接模块重新组合为合成视场插值像素窗,将其作为缩放插值模块的输入,插值计算结果即为符合显示终端要求的正确数据。通过此方法舍弃了冗余数据的插值计算。本例中冗余数据为相应位置第三视场缩放窗的B、G分量、第二视场缩放窗的B、R分量、第一视场缩放窗的G、R分量以及第四视场缩放窗的B、G、R分量。
4、缩放插值模块根据相应缩放算法进行缩放插值计算:
根据具体采用的缩放插值算法(双三次、双线性、多边缘检测等)将I×J的插值像素窗插值为一个像素点。在实际使用过程中,本发明通过动态的调整插值缩放窗的尺寸I×J以及参数Pij的配置,可满足各种插值缩放算法的要求。
通过上述步骤将显示终端对应地址的显示像素计算出来,按此方式,逐点计算直至缩放插值得出一场完整图像。计算得出显示像素后,将其输出给后续视频编码模块,视频编码模块根据显示屏的接口及编码标准将视频数据编码,完成裸眼3D图像在显示终端的正常显示,用户通过方向性介质的光路选择即可观看到舒适的裸眼立体效果。
本发明设计的优点在于对已有缩放模块进行改进,完成了多视点裸眼3D的并行同步缩放引擎设计。采用本发明,多视点裸眼3D显示***的硬件计算资源大幅降低,关键路径的时序更易满足。本发明兼容各种不同视点数的裸眼3D显示,不会因视点数目的增加额外增加计算资源的消耗,因此随着视点数的增加将进一步体现出本发明并行同步缩放的优势。同时,本发明可以动态的调整缩放窗口大小和缩放参数的取值,满足不同插值缩放算法的需求,动态的调整显示像素合成方式,兼容各种不同的裸眼3D显示终端。
下面对本发明方法进行进一步的解释、说明:
首先,将各子视场图像数据同步写入裸眼立体图生成模块的对应片上存储单元中。
裸眼立体图生成模块的输入为原始视频的多视场图像序列,输出为对应于显示终端分辨率的视频图像数据。本发明一种针对多视点裸眼3D显示的并行同步缩放引擎及方法,根据输出行场同步信号完成裸眼3D合成图像的实时显示控制,输出数据的每一个显示像素值均由各子视场插值计算并组合排列得到,其结果包含RGB\YUV\RGBY等子像素分量。插值算法根据不同的设计和实现方式略有不同,然而缩放插值算法的基本思路为:首先根据插值像素点位置确定原始视频中需要使用到的相应插值像素窗位置,然后取出插值像素窗中的数据,根据相应的缩放插值算法与缩放插值系数(双线性、双三次、多边缘检测等)做卷积计算即可得出插值后的像素点数据。
针对于N视点裸眼3D显示***,已有的裸眼3D视频处理方法需要使用到N个独立的缩放插值模块,而在本发明中,仅需使用1个缩放插值模块即可完成以上功能。与已有方法不同的是,在得到各子视场图像序列数据相应插值像素窗数据后,并不直接进行缩放插值,而是根据显示终端的像素排列要求,对各子视场插值像素窗数据进行选择以及相应组合计算,得出新的插值像素窗数据,然后再进行缩放插值计算。即原本先缩放后进行立体图像合成,改进为先进行图像合成再进行插值计算,这样可以同步完成多个视场对应像素的并行缩放,剔除了冗余的像素点计算,计算复杂度为已有方法的1/N,有效的节省了计算资源。
本发明插值像素窗中相应位置各像素点的像素数据选择计算公式如下:
r ij g ij b ij = F R 1 F R 2 · · · F R N F G 1 F G 2 · · · F G N F B 1 F B 2 · · · F B N R ij 1 G ij 1 B ij 1 R ij 2 G ij 2 B ij 2 · · · · · · · · · R ij N G ij N B ij N - - - ( 1 )
即有:
r ij = Σ n = 1 N F R n × R ij n , g ij = Σ n = 1 N F G n × G ij n , b ij = Σ n = 1 N F B n × B ij n - - - ( 2 )
公式(1)、(2)中参数说明:
rij、gij、bij为计算得出的合成视场插值像素窗中坐标为(i,j)位置的红、绿、蓝子像素值;i、j代表当前像素值在像素窗中所属坐标为(i,j);参数N表示子视场数目;n表示第n个子视场;(x∈{R,G,B}、n∈{1,2...N-1,N}),表示计算合成的x子像素数据时,第n子视场相应位置的x子像素的加权系数;分别代表第n子视场(i,j)坐标位置的R、G、B数据。需要说明的是,整型像素排列时,N个中有且仅有一个为一,其余为零;浮点型像素排列时,N个可以有多种组合方式(),即此方法可兼容各种不同的裸眼3D显示终端。本发明支持的N视点裸眼立体显示包括整型以及浮点型像素排列方式。在合成裸眼立体显示像素时:对于整型像素排列方式,裸眼立体图显示像素的各个子像素由某一子视场相应位置的子像素值表示;对于浮点型像素排列方式,裸眼立体图显示像素的各个子像素由各子视场相应位置的子像素共同组合计算得到。
假定插值缩放算法根据I×J大小的数据窗计算出一个像素点,以红色(R)子像素为例,说明本方法的正确性。本发明首先进行插值像素窗的筛选,即先完成插值像素窗中各子视场间的像素合成,然后根据计算出的合成插值像素窗进行插值。插值结果如下:
R = Σ j = 1 J Σ i = 1 I P ij × r ij = Σ j = 1 J Σ i = 1 I ( P ij × ( Σ n = 1 N F R n × R ij n ) ) = Σ j = 1 J Σ i = 1 I Σ n = 1 N P ij × F R n × R ij n - - - ( 3 )
公式(3)中参数说明如下:
R表示I×J插值像素窗插值计算得出的红色子像素结果。参数I、J表示插值像素窗的尺寸为:水平方向I个像素点,垂直方向J个像素点;i、j表示插值像素窗中的坐标(i,j);Pij为缩放系数,即(i,j)坐标数据对应的插值加权系数;rij为插值像素窗中(i,j)坐标位置的红色子像素值;为计算R分量时,第n子视场红色子像素对应的排列组合加权系数;为第n个子视场未经插值和组合计算时,坐标为(i,j)的红色子像素值。
传统方法首先对各子视场进行插值计算,得出插值结果,然后根据各子视场插值结果,进行裸眼立体图像的合成,最终插值结果如下:
R = Σ n = 1 N F R n Σ j = 1 J Σ i = 1 I P ij × R ij n = Σ j = 1 J Σ i = 1 I Σ n = 1 N P ij × F R n × R ij n - - - ( 4 )
对比公式(3)、(4)可知,本发明与传统方法的结果完全一致。不过若采用本发明每个像素点的计算将减少N-1次缩放插值过程,因此大幅降低了硬件计算资源的消耗。

Claims (4)

1.一种针对多视点裸眼3D显示的并行同步缩放引擎,其特征在于,包括:
多路图像组合计算模块,用于从各子视场对应的片上存储单元中同步、并行的取出在插值缩放过程中使用到的插值像素窗数据,并对各子视场插值像素窗数据进行组合运算筛选,得出合成视场各子像素插值像素窗数据,其结果输出给像素拼接模块;
像素拼接模块,用于对合成视场各子像素插值像素窗数据拼接,得出合成视场插值像素窗,其结果输出给缩放插值模块;
缩放插值模块,用于根据相应缩放算法的缩放系数,对插值像素窗数据插值计算出相应位置的一个显示像素;
缩放插值模块计算出一场图像中所有显示像素,并将合成图像在裸眼3D显示终端上显示;
所述裸眼3D显示终端为N视点整型或者浮点型像素排布的裸眼3D显示终端;
所述裸眼3D显示终端为整型像素排列时,N个中有且仅有一个为一,其余为零;
所述裸眼3D显示终端为浮点型像素排列时,N个满足
表示计算合成的x子像素数据时,第n子视场相应位置的x子像素的加权系数;x∈{R,G,B},n∈{1,2...N-1,N}。
2.根据权利要求1所述的一种针对多视点裸眼3D显示的并行同步缩放引擎,其特征在于,各子视场视频数据存入对应片上存储单元的过程中,各子视场控制状态保持一致,各子视场数据同步写入相应片上存储单元。
3.一种针对多视点裸眼3D显示的并行同步缩放方法,其特征在于,包括以下步骤:
1)、将各子视场图像数据写入对应的片上存储单元;
2)、多路图像组合计算模块从各子视场对应的片上存储单元中同步、并行的取出在缩放插值过程中使用到的子视场插值像素窗;
3)、根据裸眼3D显示终端物理分辨率以及合成立体图像素排列要求,多路图像组合计算模块对各子视场插值像素窗进行组合计算,得出新的合成视场各子像素插值像素窗;像素拼接模块对合成视场各子像素插值像素窗进行拼接得出合成视场插值像素窗;
4)、缩放插值模块根据相应缩放算法对合成视场插值像素窗进行缩放插值计算,得出一个显示像素;
缩放插值模块计算出一场图像中所有显示像素,并实时将合成图像显示像素在裸眼3D显示终端上显示;
所述裸眼3D显示终端为N视点整型或者浮点型像素排布的裸眼3D显示终端;
所述裸眼3D显示终端为整型像素排列时,N个中有且仅有一个为一,其余为零;
所述裸眼3D显示终端为浮点型像素排列时,N个满足
表示计算合成的x子像素数据时,第n子视场相应位置的x子像素的加权系数;x∈{R,G,B},n∈{1,2...N-1,N}。
4.根据权利要求3所述的一种针对多视点裸眼3D显示的并行同步缩放方法,其特征在于,步骤1)中各子视场视频数据存入对应片上存储单元的过程中各子视场控制状态保持一致,各子视场数据同步写入相应片上存储单元。
CN201410167890.5A 2014-04-24 2014-04-24 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法 Active CN103945208B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410167890.5A CN103945208B (zh) 2014-04-24 2014-04-24 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法
PCT/CN2014/078731 WO2015161541A1 (zh) 2014-04-24 2014-05-29 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法
US14/897,076 US9924153B2 (en) 2014-04-24 2014-05-29 Parallel scaling engine for multi-view 3DTV display and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410167890.5A CN103945208B (zh) 2014-04-24 2014-04-24 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法

Publications (2)

Publication Number Publication Date
CN103945208A CN103945208A (zh) 2014-07-23
CN103945208B true CN103945208B (zh) 2015-10-28

Family

ID=51192656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410167890.5A Active CN103945208B (zh) 2014-04-24 2014-04-24 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法

Country Status (3)

Country Link
US (1) US9924153B2 (zh)
CN (1) CN103945208B (zh)
WO (1) WO2015161541A1 (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396554B2 (en) 2014-12-05 2016-07-19 Symbol Technologies, Llc Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
US10145955B2 (en) 2016-02-04 2018-12-04 Symbol Technologies, Llc Methods and systems for processing point-cloud data with a line scanner
US10721451B2 (en) * 2016-03-23 2020-07-21 Symbol Technologies, Llc Arrangement for, and method of, loading freight into a shipping container
US10776661B2 (en) 2016-08-19 2020-09-15 Symbol Technologies, Llc Methods, systems and apparatus for segmenting and dimensioning objects
WO2018077394A1 (en) 2016-10-26 2018-05-03 Huawei Technologies Co., Ltd. Method and device for depth detection using stereo images
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10451405B2 (en) 2016-11-22 2019-10-22 Symbol Technologies, Llc Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue
US10354411B2 (en) 2016-12-20 2019-07-16 Symbol Technologies, Llc Methods, systems and apparatus for segmenting objects
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
CN110603533A (zh) 2017-05-01 2019-12-20 讯宝科技有限责任公司 用于对象状态检测的方法和装置
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
WO2018201423A1 (en) 2017-05-05 2018-11-08 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
CN107147890B (zh) * 2017-05-11 2018-12-07 西安交通大学 一种兼容不同分辨率和宽长比的多视频缩放模块及并行工作方法
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
CN107872683B (zh) * 2017-11-21 2021-04-20 广州视源电子科技股份有限公司 一种视频数据处理方法、装置、设备及存储介质
CN108040246B (zh) * 2017-12-21 2019-09-24 四川长虹电器股份有限公司 多视点裸眼3d显示***中降低时钟频率的方法
CN110191331B (zh) * 2018-02-22 2022-01-04 深圳市华胜软件技术有限公司 一种真三维裸眼3d图像合成方法、存储介质及合成装置
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
CN108573521B (zh) * 2018-04-12 2022-02-08 东南大学 基于cuda并行计算框架的实时交互式裸眼3d显示方法
CN108932707B (zh) * 2018-08-17 2022-06-07 一艾普有限公司 一种图像处理方法及装置
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
US20220217301A1 (en) * 2019-04-15 2022-07-07 Shanghai New York University Systems and methods for interpolative three-dimensional imaging within the viewing zone of a display
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
CN113141501A (zh) * 2020-01-20 2021-07-20 北京芯海视界三维科技有限公司 实现3d显示的方法、装置及3d显示***
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
CN114967170B (zh) * 2021-02-18 2023-07-18 清华大学 基于柔性裸眼三维显示设备的显示处理方法及其装置
CN112668672A (zh) * 2021-03-16 2021-04-16 深圳市安软科技股份有限公司 基于TensorRT的目标检测模型加速方法及装置
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1741621A (zh) * 2004-08-26 2006-03-01 三星电子株式会社 产生立体图像信号的方法和缩放该信号的方法
EP1901236A1 (en) * 2005-07-05 2008-03-19 Sanyo Electric Co., Ltd. 3-d image processing method and 3-d image processing device and program and program-stored recording medium
CN101754038B (zh) * 2009-12-09 2012-05-30 青岛海信网络科技股份有限公司 一种视差提取方法
CN102724534A (zh) * 2011-03-28 2012-10-10 三星电子株式会社 显示***
CN103581650A (zh) * 2013-10-21 2014-02-12 四川长虹电器股份有限公司 双目3d视频转多目3d视频的方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08126034A (ja) * 1994-10-20 1996-05-17 Canon Inc 立体画像表示装置および方法
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
JP4440067B2 (ja) * 2004-10-15 2010-03-24 キヤノン株式会社 立体表示のための画像処理プログラム、画像処理装置および立体表示システム
JP4643727B2 (ja) * 2009-05-29 2011-03-02 株式会社東芝 画像処理装置及び画像処理方法
US8284237B2 (en) * 2009-09-09 2012-10-09 Nokia Corporation Rendering multiview content in a 3D video system
US8619123B2 (en) * 2010-01-20 2013-12-31 Kabushiki Kaisha Toshiba Video processing apparatus and method for scaling three-dimensional video
JP5617555B2 (ja) * 2010-11-22 2014-11-05 ソニー株式会社 立体表示装置および立体表示方法
KR101322910B1 (ko) * 2011-12-23 2013-10-29 한국과학기술연구원 다수의 관찰자에 적용가능한 동적 시역 확장을 이용한 다시점 3차원 영상표시장치 및 그 방법
CN102752620A (zh) * 2012-06-20 2012-10-24 四川长虹电器股份有限公司 3d视频的电视播放方法
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
KR101944911B1 (ko) * 2012-10-31 2019-02-07 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
CN103581652A (zh) * 2013-11-27 2014-02-12 重庆卓美华视光电有限公司 多视点立体视频数据处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1741621A (zh) * 2004-08-26 2006-03-01 三星电子株式会社 产生立体图像信号的方法和缩放该信号的方法
EP1901236A1 (en) * 2005-07-05 2008-03-19 Sanyo Electric Co., Ltd. 3-d image processing method and 3-d image processing device and program and program-stored recording medium
CN101754038B (zh) * 2009-12-09 2012-05-30 青岛海信网络科技股份有限公司 一种视差提取方法
CN102724534A (zh) * 2011-03-28 2012-10-10 三星电子株式会社 显示***
CN103581650A (zh) * 2013-10-21 2014-02-12 四川长虹电器股份有限公司 双目3d视频转多目3d视频的方法

Also Published As

Publication number Publication date
US9924153B2 (en) 2018-03-20
US20160156898A1 (en) 2016-06-02
CN103945208A (zh) 2014-07-23
WO2015161541A1 (zh) 2015-10-29

Similar Documents

Publication Publication Date Title
CN103945208B (zh) 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法
Zhou et al. Stereo magnification: Learning view synthesis using multiplane images
WO2020117657A1 (en) Enhancing performance capture with real-time neural rendering
US9525858B2 (en) Depth or disparity map upscaling
US20210321081A1 (en) System and method for generating light field images
CN101312540A (zh) 基于深度和遮挡信息的虚拟视点合成方法
CN115191005A (zh) 用于从多视图图像进行端到端场景重建的***和方法
CN110113593B (zh) 基于卷积神经网络的宽基线多视点视频合成方法
CN108924528B (zh) 一种基于深度学习的双目风格化实时渲染方法
CN112785502B (zh) 一种基于纹理迁移的混合相机的光场图像超分辨率方法
CN110930500A (zh) 一种基于单视角视频的动态头发建模方法
CN103945205B (zh) 兼容2d与多视点裸眼3d显示的视频处理装置及方法
CN113077505A (zh) 一种基于对比学习的单目深度估计网络的优化方法
CN104506872A (zh) 一种平面视频转立体视频的方法及装置
CN104811686A (zh) 一种浮点型多视点裸眼立体合成图像的硬件实现方法
CN114782596A (zh) 语音驱动的人脸动画生成方法、装置、设备及存储介质
Ye et al. Underwater depth estimation via stereo adaptation networks
CN116503536B (zh) 一种基于场景分层的光场渲染方法
Baričević et al. User-perspective AR magic lens from gradient-based IBR and semi-dense stereo
CN112634127A (zh) 一种无监督立体图像重定向方法
CN108769644B (zh) 一种基于深度学习的双目动画风格化渲染方法
Zhou et al. Single-view view synthesis with self-rectified pseudo-stereo
CN104717514A (zh) 多视点图像渲染***及方法
CN114332321B (zh) 一种基于神经纹理的动态人脸重建方法和装置
CN1917658B (zh) 一种从单目图像序列生成立体图像序列的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant