CN106210700B - 三维图像的获取***、显示***及所适用的智能终端 - Google Patents

三维图像的获取***、显示***及所适用的智能终端 Download PDF

Info

Publication number
CN106210700B
CN106210700B CN201610552813.0A CN201610552813A CN106210700B CN 106210700 B CN106210700 B CN 106210700B CN 201610552813 A CN201610552813 A CN 201610552813A CN 106210700 B CN106210700 B CN 106210700B
Authority
CN
China
Prior art keywords
image
photographic device
pixel
voxel
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610552813.0A
Other languages
English (en)
Other versions
CN106210700A (zh
Inventor
于炀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhangjiagang Kangdexin Optronics Material Co Ltd
Original Assignee
SHANGHAI WEI ZHOU MICROELECTRONICS TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI WEI ZHOU MICROELECTRONICS TECHNOLOGY Co Ltd filed Critical SHANGHAI WEI ZHOU MICROELECTRONICS TECHNOLOGY Co Ltd
Priority to CN201610552813.0A priority Critical patent/CN106210700B/zh
Publication of CN106210700A publication Critical patent/CN106210700A/zh
Application granted granted Critical
Publication of CN106210700B publication Critical patent/CN106210700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种三维图像的获取***、显示***及所适用的智能终端。其中，所述获取***包括：设置在同一直线上的至少两个居中第一摄像装置和至少一个第二摄像装置；其中，所述第一摄像装置的光轴方向一致且均垂直于所述直线，所摄取的图像中包含共同的图像区域；分设在所述第一摄像装置至少一侧的第二摄像装置，用于补充所述第一摄像装置由于遮挡所未能共同拍摄到的图像区域；与各摄像装置均连接的图像预处理装置，其中，所述摄像装置为第一摄像装置或第二摄像装置；所述图像预处理装置用于对所连接的各摄像装置和/或所拍摄的各图像进行基于三维重建的预处理。本发明解决了两个第一摄像装置所摄取的图像中遮挡区域无法构建三维图像的问题。

Description

三维图像的获取***、显示***及所适用的智能终端
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种三维图像的获取***、显示***及所适用的智能终端。
背景技术
三维图像是基于对具有重叠图像的两幅视图进行三维重建而得到的。在重建过程中，受两幅视图的重叠区域的影响，三维重建***仅能对重叠区域构建三维图像。而对于不重叠区域，则因图像数据的缺失而无法进行立体化。如此导致了三维图像中中间区域为立体图像、周边区域为二维图像，立体效果较差。
为了解决上述问题，现有技术中通过围绕所要立体展示的物体拍摄多张图像，再由三维重建***利用多张图像进行三维重建。但是，随着实景增强技术的崛起，上述先围绕物体拍摄，再进行三维重建的方式无法满足实时构建三维图像时的图像获取需求。
因此，需要对现有的用两台摄像装置来获取不同视角视图的获取***进行改进。
发明内容
本发明提供一种三维图像的获取***、显示***及所适用的智能终端，以实现为三维图像中的边缘区域提供用于立体化的图像数据。
第一方面，本发明实施例提供了一种三维图像的获取***，包括：设置在同一直线上的至少两个居中第一摄像装置和至少一个第二摄像装置；其中，所述第一摄像装置的光轴方向一致且均垂直于所述直线，所摄取的图像中包含共同的图像区域；分设在所述第一摄像装置至少一侧的第二摄像装置，用于补充所述第一摄像装置所未能共同拍摄到的图像区域；与各摄像装置均连接的图像预处理装置，其中，所述摄像装置为第一摄像装置或第二摄像装置；所述图像预处理装置用于对所连接的各摄像装置和/或所拍摄的各图像进行基于三维重建的预处理。
第二方面，本发明实施例还提供了一种三维图像的显示***，包括：初始化模块，用于基于获取***所提供的二维图像的尺寸和预设屏幕的尺寸，确定所述屏幕中的像素尺寸及所述屏幕前显示空间的体素尺寸；预处理模块对各视点中预配对的二维图像进行左右图匹配；估计模块，用于基于所述图像预处理装置所配对的两幅二维图像，估计三维图像素材；其中，每个三维图像素材包含多组参数，所述参数包括其中一幅二维图像中对应同一物理空间点在所述屏幕的投影点位置和对应的视差信息；空间重建及处理模块，用于根据每两个摄像装置的空间信息、和对应三维图像素材，填充所述显示空间中体素的空间像素值；视点投影处理模块，用于基于给定视点确定各视点在对应像素中的子像素位；交织模块，用于基于各视点光线投影到对应子像素位所在像素区域上所途经的未遮挡体素的投影占所述像素区域的比例，逐个的将未遮挡体素中同一子像素位的像素值进行加权，并赋值给所述像素区域中对应的子像素位。
第三方面，本发明实施例还提供了一种三维图像的显示***，包括：初始化模块，用于基于获取***所提供的二维图像的尺寸和预设屏幕的尺寸，确定所述屏幕中的像素尺寸及所述屏幕前显示空间的体素尺寸；预处理模块对各视点中预配对的二维图像进行左右图匹配；以及用于基于所述获取***所提供的各第二摄像装置的预设偏角，将各第二摄像装置所拍摄的二维图像，均映射至所述屏幕上,完成异光轴获取的光轴匹配；估计模块，用于对已匹配的每对二维图像估计三维图像素材；其中，所述二维图像包括映射后的图像；每个三维图像素材包含多组参数，所述参数包括同一物理空间点在所述屏幕的一个投影点位置和该物理空间点在所述屏幕上的视差信息；空间重建及处理模块，用于根据每两个摄像装置的空间信息、和对应三维图像素材，填充所述显示空间中体素的空间像素值；同时，对于重建后的3D空间进行空间内滤波等处理；视点投影处理模块，用于给定试点确定各视点在对应像素中的子像素位；视点投影处理模块，用于基于给定视点确定各视点在对应像素中的子像素位；交织模块，用于基于各视点光线投影到对应子像素位所在像素区域上所途经的未遮挡体素的投影占所述像素区域的比例，逐个的将未遮挡体素中同一子像素位的像素值进行加权，并赋值给所述像素区域中对应的子像素位。第四方面，本发明实施例还提供了一种智能终端，包括：如上所述的三维图像的获取***；及相匹配的三维图像的显示***。
本发明通过在第一摄像装置侧边分设第二摄像装置，解决了两个第一摄像装置所摄取的图像中未重叠的区域无法构建三维图像的问题；同时，本案不仅补充了两个第一摄像装置所摄取的重叠图像区域，还可以扩充两个第一摄像装置所摄取的图像范围；另外，将各摄像装置放置在同一直线上，能够便于将该获取***安装在智能终端(如手持设备)上，为三维处理装置(如裸眼3D显示)提供充足的三维图像素材。
附图说明
图1是本发明实施例一中的一种三维图像的获取***的结构示意图；
图2是本发明实施例一中的又一种三维图像的获取***的结构示意图；
图3是本发明实施例一中的又一种三维图像的获取***的结构示意图；
图4是本发明实施例二中的显示***的结构示意图；
图5是本发明实施例二中的两幅二维图像共同图像区域中一像素点的视差构成示意图；
图6是本发明实施例二中的两视点在显示空间中的交汇区域示意图；
图7是本发明实施例二中的两个视点投影到屏幕中一像素区域时在显示空间的交汇区域的示意图；
图8是本发明实施例二中的两个视点投影到屏幕中一像素区域时在显示空间的交汇区域的又一示意图；
图9是本发明实施例二中各子像素位与视点的对应关系示意图；
图10是本发明实施例二中由视点向屏幕像素区域投影时，未遮挡体素与相应像素区域的投影示意图；
图11是本发明实施例二中针对具有偏角的二维图像在屏幕上的映射关系示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1、2为本发明实施例一提供的三维图像的获取***的结构示意图，本实施例适用于摄取用于三维成像的二维图像的情况。所述获取***可安装智能终端上。具体地，所述获取***1包含若干摄像装置，具体地，各摄像装置包括第一摄像装置11和第二摄像装置12。所述获取***1还包括与每个摄像装置相连的图像预处理装置13。
其中，所述第一摄像装置11的数量为至少两个，且各第一摄像装置11的光轴方向一致且均垂直于所在直线。相比于第二摄像装置12，所有第一摄像装置11居中而设。例如，若摄像装置的数量一共为4个，则中间两个为第一摄像装置11，两边为第二摄像装置12。又如，若摄像装置的数量一共为3个，则相邻两个为第一摄像装置11，另一个为第二摄像装置12。再如，若摄像装置的数量一共为5个，则中间三个、或中间三个中的两个为第一摄像装置11，剩余为第二摄像装置12。
优选地，所述摄像装置的数量为2的整数倍，且所有摄像装置对称设置。如此可对称的获取补充第一摄像装置11所未能共同拍摄到的图像区域。
每两第一摄像装置11所拍摄的二维图像具有共同图像区域。分设在所述第一摄像装置11至少一侧的第二摄像装置12，用于补充所述第一摄像装置11所未能共同拍摄到的图像区域。
在此，第一摄像装置11在拍摄时，其视角所共同覆盖区域能够拍摄到共同的图像区域，视角无法共同覆盖的区域需由第二摄像装置12的视角所补充。如此，后续的图像预处理装置13可对所连接的各摄像装置和/或所拍摄的各图像进行基于三维重建的预处理。以便与所述图像预处理装置13相连的三维图像处理装置根据各摄像装置所拍摄的共同图像区域，构建三维图像。
为了确保各摄像装置之间的视角有重叠，各第一摄像装置11具有标准镜头，各第二摄像装置12配置广角镜头；或者，所有摄像装置均具有标准镜头。
所有摄像装置的光轴方向一致且均垂直于所述直线，如图1所示。或者第二摄像装置12向居中方向设置预设偏角，如图2所示。
根据各摄像装置的镜头特点，所有相邻摄像装置的中心点之间的距离可以等间隔。或者第一摄像装置11中心点之间的距离与其他相邻摄像装置中心点之间的距离不同。例如，所述获取***1包括：具有标准镜头的第一摄像装置A1、A2，具有标准镜头的第二摄像装置12包括：与第一摄像装置A1相邻的B1，以及与第一摄像装置A2相邻的B2，其中，第二摄像装置B1和B2均向第一摄像装置A1、A2之间的对称轴方向转α角。其中，第一摄像装置A1和A2中心点之间的距离为d1，第一摄像装置A1与第二摄像装置B1中心点之间的距离与第一摄像装置A2与第二摄像装置B2中心点之间的距离均为d2。
所述图像预处理装置13用于对所连接的各摄像装置和/或所拍摄的各图像进行基于三维重建的预处理。
在此，为了便于后续基于两两图像来估计视差信息，所述图像预处理装置13可对各摄像装置的参数进行调整。例如，对摄像装置的自动曝光控制、自动聚焦控制、和自动白平衡控制进行调整。或者，所述图像预处理装置13将所接收的各图像进行滤波、白平衡等处理。再将预处理后的各图像交由所述三维图像处理装置。
在一种可选方案中，所述图像预处理装置13包括：同步模块、图像信号处理模块、图像裁剪模块。
所述同步模块与每个图像信号处理相连，用于各所述图像信号处理模块的帧同步及参数同步设置，并向各图像信号处理模块发送同步指令。所述同步指令中包括但不限于：同步触发指令，以及以下至少一种：各摄像装置的统一拍照参数、各图像的滤波参数、各图像滤波后的目标参数等。
所述图像信号处理模块与各摄像装置数量相同，每个图像信号处理模块连接一摄像装置，用于基于所接收的同步指令，对所连接的摄像装置的参数进行设置，和/或用于将所拍摄的图像数据进行信号处理。
在一种情况下，若各摄像装置的型号相同，则所述图像信号处理在同步指令的指示下，向各摄像装置发送统一的拍照参数，并获取相应摄像装置所拍摄的图像。
若各摄像装置的型号不同，则所述图像信号处理将同步指令中对应自己的拍照参数发送给所连接的摄像装置，并获取相应摄像装置所拍摄的图像。
和/或，再另一种情况下，各图像信号处理无论所连接的摄像装置的型号是否相同，可根据所述同步指令所提供的滤波参数、或目标滤波参数，对所接收的图像进行信号处理。其中，所述信号处理包括去噪、和白平衡等。
所述图像裁剪模块与拍摄有共同图像区域的两摄像装置相连，用于基于共同图像区域分别对两摄像装置所摄取的图像进行剪裁。
如图3所示，在包含两个第一摄像装置和两个第二摄像装置的获取***中，图像裁剪模块R12连接图像信号处理模块ISP1和ISP2，图像裁剪模块R23连接图像信号处理模块ISP2和ISP3，图像裁剪模块R34连接图像信号处理模块ISP3和ISP4，图像裁剪模块R41连接图像信号处理模块ISP4和ISP1。同步模块连接个图像信号处理模块ISP1、ISP2、ISP3和ISP4。
每个图像裁剪模块根据所接收的两幅图像中的共同图像区域分别对两幅图像进行裁剪。
在此，所述图像裁剪模块可利用基于轮廓、图像块特征等的匹配方式得到共同图像区域，并将所得到的共同图像区域予以裁剪。
所述显示***图像处理装置与所述图像预处理装置13相连，可根据各相邻摄像装置所拍摄的共同图像区域构建对应的三维图像投影，得到三维图像。
本实施例的技术方案，解决了两摄像装置所摄取的图像中未重叠的区域无法构建三维图像的问题；同时将各摄像装置放置在同一直线上，能够便于将该获取***安装在智能终端(如用于增强现实或虚拟现实的头盔、眼镜等)上，为三维处理装置提供充足的三维图像素材。
另外，根据实际设计需要选择各摄像装置之间的距离、摄像装置镜头、以及摄像装置的数量，能够为显示***提供更为合适的图像信息。
实施例二
如图4所示，本实施例提供一种三维图像的显示***。所述显示***可安装在一单独的电子设备中，与上述获取***通过外接接口相连。也可以与所述获取***集成在一智能终端中。所述显示***针对所有摄像装置的光轴平行的情况。所述显示***用于根据所接收的多幅二维图像中的共同图像区域构成三维图像。其中，该三维图像举例为裸眼三维图像。
所述显示***2包括：初始化模块20、预处理模块21、估计模块22、空间重建及处理模块23、视点投影处理模块24、交织模块25。
所述初始化模块20用于基于上述各实施例中所述的获取***中图像预处理装置所提供的二维图像的尺寸和预设屏幕的尺寸，确定所述屏幕中的像素尺寸及所述屏幕前显示空间的体素尺寸。
在此，所述二维图像的尺寸和屏幕的尺寸可用毫米、英寸等来表示。所述预设屏幕的尺寸可根据智能终端的设计需要而定。其中，屏幕中像素区域的尺寸为p＝l/n，其中，l为二维图像的尺寸，n为屏幕尺寸。所述初始化模块20根据像素区域的尺寸确定屏幕前显示空间的体素尺寸。其中，体素的长宽可与像素区域的长宽一致、或为像素区域的长宽的预设比例。其中，所述体素是指用于构成显示空间的最小单位。类似于屏幕中的像素，本实施例中的体素可为单位立方体、或根据计算需要降维至单位矩形或单位线段。
所述预处理模块21用于对各视点中预配对的二维图像进行左右图匹配。
具体地，所述预处理模块21用于预处理获取视点左右图，使左右图匹配，其更适于视差估计。预处理算法之一为直方图匹配算法，其目的在于使左右图亮度、色度匹配。
所述估计模块22用于基于为已匹配的每对二维图像估计三维图像素材；其中，每个三维图像素材包含多组参数，所述参数包括同一物理空间点在所述屏幕上投影的一个像素区域和该物理空间点在所述屏幕上的视差信息。
在此，所述估计模块22将所述获取***中的每个图像裁剪模块所提供的两幅二维图像作为配对的两幅二维图像；再利用3DRS算法或Lucas Kanade算法等估计算法，估计每对二维图像在所述屏幕上的投影点位置(即投影点所在像素区域)及视差信息。如图5所示，两幅二维图像的共同图像区域中同一景象的像素点在所述屏幕上的像素区域内投影点位置为cr和cl，则两位置之间的距离为视差信息。所述估计模块22通过估计算法得到多组参数。
所述空间重建及处理模块23用于根据每两个摄像装置的空间信息、和对应三维图像素材，填充所述显示空间中体素的空间像素值；以及，对于重建后的3D空间进行滤波等处理。
在此，所述空间重建及处理模块23利用三角定理中的边角关系，计算两幅二维图像的共同图像区域投影在所述屏幕上时，在显示空间中构建的三维模型，并得到与所述三维模型重叠的体素，将其中一幅二维图像中共同图像区域的各像素点的像素值赋值给重叠的体素。接着，所述空间重建及处理模块23对重建后的3D空间基于颜色、纹理、光照等进行滤波、调整等处理。
优选地，所述空间重建及处理模块23包括：空间建模子模块和赋值子模块。(均未予图示)
所述空间建模子模块用于当以拍摄二维图像的各摄像装置为视点，利用各摄像装置的空间信息，向屏幕上的像素区域投影时，计算两视点光线在所述显示空间中的交汇区域。
如图6所示，所述空间建模子模块以预配对的两摄像装置为视点，向所述屏幕上已确定的投影点所在像素区域进行投影，当光线在所述屏幕前的显示空间相交时，得到相应的交汇区域S。利用两摄像装置的空间信息、对应投影点的参数、所述屏幕与视点之间的距离，所述空间建模子模块计算得到交汇区域S在所述显示空间中的位置区域，并交由赋值子模块。
所述赋值子模块用于根据所述交汇区域与体素的重叠情况，将相应参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素。
在此，所述赋值子模块根据预设定的组成所述显示空间的各体素的位置、尺寸，确定与所述交汇区域部分重叠、或全部重叠的体素；进而根据预设的重叠情况-赋值方式的对应关系，将相应参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素。
具体地，所述赋值子模块根据预设的重叠情况-赋值方式的对应关系，将相应参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素的方式包括以下任一种：
1)根据每两个摄像装置的空间信息、和对应三维图像素材，确定各组参数所对应的交汇区域上的至少一个关键点；将相应参数中像素点的像素值赋给每个所述关键点所落入的体素。
其中，所述空间信息包括：预配对的各摄像装置中心点之间的间距，以及可选的包含实际拍摄距离等。
其中，所述关键点包括但不限于：交汇区域S的中心点、交汇区域S边界上的点等。例如，所述交汇区域S的四个顶角，以及四边的中点。
所述赋值子模块将对应该交汇区域S的参数中的像素点的像素值赋给所确定的关键点所落入的体素。
例如，如图7所示，所述赋值子模块根据两个摄像装置的空间信息、和对应三维图像素材等确定交汇区域上的四个顶角s1、s2、s3、s4及四边中点分别落入体素t1、t2、t3和t4，则所述赋值子模块将该交汇区域对应的参数中的像素点的像素值同时赋给体素t1、t2、t3和t4。
2)根据每两个摄像装置的空间信息、和对应三维图像素材，确定各组参数所对应的交汇区域与至少一个体素的重叠比例；按照所述重叠比例，将相应参数中像素点的像素值赋给相应的体素。
在此，所述赋值子模块根据每两个摄像装置的空间信息、和对应三维图像素材中的一组参数计算对应投影点所在像素区域的光线交汇区域S的长和宽。接着，所述赋值子模块利用公式计算区域S的面积。所述赋值子模块利用所得到的面积与所重叠的各体素面积的比例关系，将该组参数中像素点的像素值赋值给比值最大的体素。其中，v为体素的边长，此处所述体素设为正立方体或正方形，wsj为交汇区域S在体素中所占宽度值，lsj为交汇区域S在体素中所占高度值。如图7所示区域S在t2体素中重叠的部分利用公式计算其面积。如图8所示区域S在t2体素中重叠的部分利用lsjwsj公式计算其面积。
由于能够为体素赋值的像素点本身数量有限，故，即便利用所有参数对体素赋值，所得到的赋值体素仍为稀疏的。在一种优选方式中，为了提高计算效率，所述赋值子模块在为每个体素赋值完毕后，判断已赋值体素占所述显示空间中所有体素的覆盖范围是否达到预设的范围门限，若是，则继续为新的体素赋值，若否，则退出体素赋值。其中，所述赋值子模块可仅根据已赋值体素占所有体素的数量来作为覆盖范围。或者，所述赋值子模块通过统计已赋值体素在所有体素中的分布来确定覆盖范围。所述范围门限可以是一固定值，也可以根据所估计出的参数数量而定。
需要说明的是，在一种可选方式中，所赋值的体素为未曾赋值的体素，若所要赋值的体素已被赋值，则不予重复赋值。
为了降低计算复杂度，所述空间重建及处理模块23以垂直所述屏幕的维度的体素为行单位，利用每两个摄像装置的空间信息和各三维图像素材中像素点的像素值，逐行填充各平面体素的空间像素值。
具体地，所述空间重建及处理模块23将以垂直所述屏幕维度的体素为行单位，将立体的体素降维成二维的体素(如正方形的体素)，再按照上述方式对二维的体素进行赋值。
在完成对体素赋值之后，所述显示***2可以根据显示屏光栅的结构，确定所述屏幕中各像素区域中子像素位所对应的视点，并按照各摄像装置所表示的视点、或基于各摄像装置所拓展的视点，将所述显示空间中的体素投影在相应的像素区域中，得到三维图像。
为了减少计算量，所述显示***2中的投影方式，可由视点投影处理模块24和交织模块25来执行。
所述视点投影处理模块24用于基于重建后空间，确定各视点在对应像素中的子像素位；同时，对于投影后视点进行滤波等处理。
在此，所述视点可以为各摄像装置，也可以在各摄像装置之间***新的视点，并将各摄像装置和新***的视点作为预确定的视点。其中，***的视点可以等分两相邻摄像装置之间的距离，或者，与相邻视点间距离为对应插值系数与摄像装置间距之积。插值得到视点与各摄像装置位于同一直线上。对于***的视点，所述视点投影处理模块24可以根据相邻的至少一个摄像装置所拍摄的图像在该给定视点上的投影来确定所***视点处的图像。同时，对所有视点的图像进行滤波等处理，以便为后续交织处理，提供色彩统一的图像。
所述视点投影处理模块24按照显示屏的光栅设置，计算所得到的各视点对应的所述屏幕像素区域中各子像素位。例如，如图9所示，每个像素区域由RGB三个子像素位组成，所述视点投影处理模块24得到每个子像素位对应的视点编号，并启动交织模块25。
所述交织模块25用于基于各视点光线投影到对应子像素位所在像素区域上所途经的未遮挡体素的投影占所述像素区域的比例，逐个的将未遮挡体素中同一子像素位的像素值进行加权，并赋值给所述像素区域中对应的子像素位。
在此，所述交织模块25以垂直于所述屏幕的方向为投影方向，将体素缩略成平行于所述屏幕的中轴线段、或者体素表面的中轴线段。所述交织模块25计算某一视点在投影方向上，未被遮挡的体素上的至少部分线段投影到所述屏幕的每个像素区域中，并将投影线段与像素区域宽度的比例，作为该体素的子像素值的权重；再根据像素区域中子像素位(R、G、或B子像素位)，将各体素中的对应子像素值进行加权，并将加权后的值赋给所述像素区域中的对应子像素位上。
例如，如图10所示，屏幕中的像素区域p以ab线段表示，体素1、2、3、4、5为视点view投影到像素区域p过程中所有体素，其中，以各体素的中轴线的投影所覆盖的长度为基准，确定体素1、2、3为未被遮挡的体素，体素4、5为被遮挡的体素。所述交织模块25将体素1、2、3中未被遮挡的部分投影到像素区域p的线段长度分别与ab线段长度的比例作为体素1、2、3的权重，再根据视点view对应该像素区域p中子像素位为R子像素位，将体素1、2、3中R子像素值分别乘以权重后求和，得到该像素区域p中R子像素位的子像素值。
所述交织模块25采用上述示例的投影方式，对所述屏幕上所有像素区域进行赋值，得到三维图像。
本实施例的技术方案，由于加入了实际摄像装置的空间信息，并在此基础上反向重建假设屏幕前的三维模型，再借助三维模型在屏幕上的投影，能够提高三维图像视觉上的立体感。
实施例三
与实施例二不同的是，特别针对第二摄像装置向居中方向倾斜一预设角度的情况，所述预处理模块21还用于基于所述图像预处理装置所提供的各第二摄像装置的预设偏角，将各第二摄像装置所拍摄的二维图像，均映射至所述屏幕上,完成异光轴获取的光轴匹配。
具体地，如图11所示，所述预处理模块21根据第二摄像装置12的光轴在垂直于所述光轴且与所述屏幕相交的平面上确定该第二摄像装置12所拍摄的图像在该平面上投影。例如，显示空间中的pt点在该平面上的投影位置为pt1，同样，在该第二摄像装置12、pt点和pt1点所在光线上与所述屏幕相交的点为pt2，所述预处理模块21将该pt2点确定为第二摄像装置12所拍摄的二维图像在所述屏幕上显示的二维图像，并将所述二维图像作为后续估计模块22、空间重建及处理模块23等处理时对应该部位摄像装置的二维图像。
本实施例各模块举例如下：
初始化模块用于基于上述获取***所提供的二维图像的尺寸和预设屏幕的尺寸，确定所述屏幕中的像素尺寸及所述屏幕前显示空间的体素尺寸。
预处理模块21用于对各视点中预配对的二维图像进行左右图匹配；以及用于基于所述图像预处理装置所提供的各第二摄像装置的预设偏角，将各第二摄像装置所拍摄的二维图像，均映射至所述屏幕上。
估计模块22用于为已匹配的每两幅二维图像估计三维图像素材；其中，所述二维图像包括映射后的图像；每个三维图像素材包含多组参数，每组参数包括其中一幅图像中对应同一物理空间点在所述屏幕的投影点位置、和两幅图像中同一物理空间点在屏幕上的视差信息。
空间重建及处理模块23用于根据每两个摄像装置的空间信息、和对应三维图像素材，填充所述显示空间中体素的空间像素值，以及对重建的现实空间进行滤波等处理。
视点投影处理模块24用于基于重建后空间，确定各视点在对应像素中的子像素位。
交织模块25用于基于各视点光线投影到对应子像素位所在像素区域上所途经的未遮挡体素的投影占所述像素区域的比例，逐个的将未遮挡体素中同一子像素位的像素值进行加权，并赋值给所述像素区域中对应的子像素位。
需要说明的是，本实施例中的各功能模块可在前述各实施例所提到的同名的功能模块的基础上，针对本实施例中映射后的图像进行三维图像处理。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种三维图像的获取***，其特征在于，包括：
设置在同一直线上的至少两个居中第一摄像装置和至少一个第二摄像装置；
其中，所述第一摄像装置的光轴方向一致且均垂直于所述直线，所摄取的图像中包含共同的图像区域；
所述第二摄像装置分设在所述第一摄像装置至少一侧，用于补充所述第一摄像装置所未能共同拍摄到的图像区域；
与各摄像装置均连接的图像预处理装置，其中，所述摄像装置为第一摄像装置或第二摄像装置；
所述图像预处理装置用于对所连接的各摄像装置和/或所拍摄的各图像进行基于三维重建的预处理；
其中，所述图像预处理装置包括：
与各摄像装置数量相同的图像信号处理模块，每个图像处理信号处理模块连接一摄像装置，用于基于所接收的同步指令，对所连接的摄像装置的参数进行设置，和/或用于将所拍摄的图像数据进行信号处理；
同步模块，用于各所述图像信号处理模块的帧同步及参数同步设置，并向各图像信号处理模块发出所述同步指令；
与拍摄有共同图像区域的两摄像装置相连的图像裁剪模块，用于基于轮廓及图像块特征得到共同图像区域，并基于所述共同图像区域分别对两摄像装置所摄取的图像进行裁剪。
2.根据权利要求1所述的三维图像的获取***，其特征在于，所有摄像装置的数量为2的整数倍，且所有摄像装置对称设置。
3.根据权利要求1所述的三维图像的获取***，其特征在于，所有相邻摄像装置的中心点之间的距离等间隔；或者两第一摄像装置中心点之间的距离与其他相邻摄像装置中心点之间的距离不同。
4.根据权利要求1所述的三维图像的获取***，其特征在于，第一摄像装置具有标准镜头，第二摄像装置配置广角镜头；或者，所有摄像装置均具有标准镜头。
5.根据权利要求1-4中任一所述的三维图像的获取***，其特征在于，所有摄像装置的光轴方向一致且均垂直于所述直线。
6.根据权利要求1-4中任一所述的三维图像的获取***，其特征在于，所述第二摄像装置向居中方向设置预设偏角。
7.一种三维图像的显示***，其特征在于，包括：
初始化模块，用于基于如权利要求5所述的获取***所提供的二维图像的尺寸和预设屏幕的尺寸，确定所述屏幕中的像素尺寸及所述屏幕前显示空间的体素尺寸；
预处理模块，用于对各视点中预配对的二维图像进行左右图亮度及色度匹配；
估计模块，用于为已匹配的每对二维图像估计三维图像素材；其中，每个三维图像素材包含多组参数，所述参数包括其中一幅二维图像中对应同一物理空间点在所述屏幕的投影点位置和对应的视差信息；
空间重建及处理模块，用于以垂直所述屏幕的维度的体素为行单位，利用每两个摄像装置的空间信息和各三维图像素材中像素点的像素值，逐行填充各平面体素的空间像素值；
视点投影处理模块，用于基于重建后空间，确定各视点在对应像素中的子像素位；
交织模块，用于基于各视点光线投影到对应子像素位所在像素区域上所途经的未遮挡体素的投影占所述像素区域的比例，逐个的将未遮挡体素中同一子像素位的像素值进行加权，并赋值给所述像素区域中对应的子像素位。
8.一种三维图像的显示***，其特征在于，包括：
初始化模块，用于基于如权利要求6所述的获取***所提供的二维图像的尺寸和预设屏幕的尺寸，确定所述屏幕中的像素尺寸及所述屏幕前显示空间的体素尺寸；
预处理模块，用于对各视点中预配对的二维图像进行左右图亮度及色度匹配；以及用于基于所述获取***所提供的各第二摄像装置的预设偏角，将各第二摄像装置所拍摄的二维图像，均映射至所述屏幕上,完成异光轴获取的光轴匹配；
估计模块，用于为已匹配的每对二维图像估计三维图像素材；其中，所述二维图像包括映射后的图像；每个三维图像素材包含多组参数，所述参数包括同一物理空间点在所述屏幕的一个投影点位置和该物理空间点在所述屏幕上的视差信息；
空间重建及处理模块，用于以垂直所述屏幕的维度的体素为行单位，利用每两个摄像装置的空间信息和各三维图像素材中像素点的像素值，逐行填充各平面体素的空间像素值；
视点投影处理模块，用于基于重建后空间，确定各视点在对应像素中的子像素位；
交织模块，用于基于各视点光线投影到对应子像素位所在像素区域上所途经的未遮挡体素的投影占所述像素区域的比例，逐个的将未遮挡体素中同一子像素位的像素值进行加权，并赋值给所述像素区域中对应的子像素位。
9.一种智能终端，其特征在于，包括：
如权利要求5-6中任一所述的三维图像的获取***；
以及，与所述获取***相匹配的如权利要求7-8中任一所述的三维图像的显示***。
CN201610552813.0A 2016-07-14 2016-07-14 三维图像的获取***、显示***及所适用的智能终端 Active CN106210700B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610552813.0A CN106210700B (zh) 2016-07-14 2016-07-14 三维图像的获取***、显示***及所适用的智能终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610552813.0A CN106210700B (zh) 2016-07-14 2016-07-14 三维图像的获取***、显示***及所适用的智能终端

Publications (2)

Publication Number Publication Date
CN106210700A CN106210700A (zh) 2016-12-07
CN106210700B true CN106210700B (zh) 2019-03-05

Family

ID=57477298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610552813.0A Active CN106210700B (zh) 2016-07-14 2016-07-14 三维图像的获取***、显示***及所适用的智能终端

Country Status (1)

Country Link
CN (1) CN106210700B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021097843A1 (zh) * 2019-11-22 2021-05-27 驭势科技(南京)有限公司 三维重建方法、装置、***和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8817071B2 (en) * 2009-11-17 2014-08-26 Seiko Epson Corporation Context constrained novel view interpolation
US8803943B2 (en) * 2011-09-21 2014-08-12 National Applied Research Laboratories Formation apparatus using digital image correlation
EP2884460B1 (en) * 2013-12-13 2020-01-01 Panasonic Intellectual Property Management Co., Ltd. Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium
US10257494B2 (en) * 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video

Also Published As

Publication number Publication date
CN106210700A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
US9407904B2 (en) Method for creating 3D virtual reality from 2D images
US9357206B2 (en) Systems and methods for alignment, calibration and rendering for an angular slice true-3D display
TWI497980B (zh) 處理３ｄ立體影像的系統與方法
JP5456020B2 (ja) 情報処理装置および方法
CN106254854B (zh) 三维图像的获得方法、装置及***
US20080049100A1 (en) Algorithmic interaxial reduction
US20090066786A1 (en) Depth Illusion Digital Imaging
AU2018249563B2 (en) System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display
CN106534670B (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
CN102903090A (zh) 全景立体图像合成方法、装置、***和浏览装置
CN106210474A (zh) 一种图像采集设备、虚拟现实设备
CN106170086B (zh) 绘制三维图像的方法及其装置、***
US9933626B2 (en) Stereoscopic image
CN105530503A (zh) 深度图建立方法与多镜头相机***
TW201225635A (en) Image processing device and method, and stereoscopic image display device
JPH11175762A (ja) 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法
CN103761766A (zh) 基于色调映射和图像平滑的三维物体模型纹理映射算法
JPH05303629A (ja) 形状合成方法
CN108230381A (zh) 一种结合空间传播和像素级优化的多视图立体视觉方法
CN106231284B (zh) 三维图像的成像方法及***
CN103235478B (zh) 用于环幕立体摄像的***、设备、图像处理方法及装置
CN106210700B (zh) 三维图像的获取***、显示***及所适用的智能终端
CN106210694B (zh) 三维图像的成像方法及***
CN106331672B (zh) 视点图像的获得方法、装置及***
Galabov A real time 2D to 3D image conversion techniques

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200330

Address after: 215634 north side of Chengang road and west side of Ganghua Road, Jiangsu environmental protection new material industrial park, Zhangjiagang City, Suzhou City, Jiangsu Province

Patentee after: ZHANGJIAGANG KANGDE XIN OPTRONICS MATERIAL Co.,Ltd.

Address before: 201203, room 5, building 690, No. 202 blue wave road, Zhangjiang hi tech park, Shanghai, Pudong New Area

Patentee before: WZ TECHNOLOGY Inc.