CN116708746A - 一种基于裸眼3d的智能显示处理方法 - Google Patents
一种基于裸眼3d的智能显示处理方法 Download PDFInfo
- Publication number
- CN116708746A CN116708746A CN202310527791.2A CN202310527791A CN116708746A CN 116708746 A CN116708746 A CN 116708746A CN 202310527791 A CN202310527791 A CN 202310527791A CN 116708746 A CN116708746 A CN 116708746A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- parallax
- dimensional
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000000694 effects Effects 0.000 claims abstract description 18
- 230000008447 perception Effects 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012887 quadratic function Methods 0.000 claims description 3
- 238000001308 synthesis method Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/317—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种基于裸眼3D的智能显示处理方法，所述该方法包括以下步骤：步骤一：获取视差图像源，从给定场景的一幅图像或一系列图像中，推导出该场景的精确三维几何描述，并定量确定场景中物体的性质；步骤二：通过对相应点视差大小的计算，获得左右视差图像的深度信息，形成该场景的深度图像，进一步采用柱镜光栅与像素形成一定夹角，降低垂直分辨率；步骤三：利用构建的进行三维显示的屏幕，重建物体周围的光场，对三维物体的存在性感知进行优化；步骤四：根据当前图像场景的特征进行相关参数的调整，优化处于不同场景下的图像的处理效果，进行立体显示。本发明，具有图像显示的立体感更强和深度感知更优的特点。
Description
技术领域
本发明涉及智能显示处理技术领域，具体为一种基于裸眼3D的智能显示处理方法。
背景技术
裸眼3D显示技术也称自由立体显示技术，是使观看者不用佩戴专门的助视设备就能观看立体图像的技术，包括记录、传输和显示的过程，在传统显示器前安装柱透镜光栅是裸眼3D较为可行的技术之一，但是从2D图像转换成3D图像计算量大，对***软硬件要求较高，因此传统的转换方式存在着图像处理速度不够快、难度高、传输带宽要求高、实时性差等缺点。因此，设计图像显示的立体感更强和深度感知更优的一种基于裸眼3D的智能显示处理方法是很有必要的。
发明内容
本发明的目的在于提供一种基于裸眼3D的智能显示处理方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于裸眼3D的智能显示处理方法，包括以下步骤：
步骤一：获取视差图像源，从给定场景的一幅图像或一系列图像中，推导出该场景的精确三维几何描述，并定量确定场景中物体的性质；
步骤二：通过对相应点视差大小的计算，获得左右视差图像的深度信息，形成该场景的深度图像，进一步采用柱镜光栅与像素形成一定夹角，降低垂直分辨率；
步骤三：利用构建的进行三维显示的屏幕，重建物体周围的光场，对三维物体的存在性感知进行优化；
步骤四：根据当前图像场景的特征进行相关参数的调整，优化处于不同场景下的图像的处理效果，进行立体显示。
根据上述技术方案，所述获取视差图像源的步骤，包括：
通过多个摄像机从不同角度拍摄具有很多独立标示点的物体，从不同角度对同一物体进行拍摄并获取图像，利用每个图像计算摄像机的相对位置、方向以及摄像机的内参数，进行多幅视差图像的采集，并利用计算机技术对图像上物点位置进行处理获得物体的深度，基于采集后的图像进行立体图像的整合，利用设置了二维三维转换装置的显示器，进行整合后的立体图像的三维立体图像细节的分辨。
根据上述技术方案，所述通过对相应点视差大小的计算，获得左右视差图像的深度信息步骤，包括：
图像对应点上视差大小与场景的深度信息密切相关，利用深度图像和其中一幅视差图像，形成多幅视差图像，通过双目立体匹配算法，对摄像头采集到的图像对进行立体匹配，获取图像中的像素点与场景位置对应的映射关系，根据映射关系获得像素的视差值之后合成3D图像。
根据上述技术方案，所述形成该场景的深度图像的的步骤，包括：
通过模拟视觉图像中数据的多尺度特征，生成具有尺度不变形的特征向量，拟合三维二次函数进行极值点的定位，获取极值点后，检测当层领域中的极值点和上下两个不同尺度因子层中的极值点，将选中的最值点作为特征点，再利用特征点的局部特性进行方向的分配，以提取的特征点为中心，在该点领域范围内进行采样，用直方图对采样点进行统计，统计坐标轴的横坐标表示方向，大小为0-360°，一个方向代表10°，直方图的最高峰方向表示主方向，且将其余直方图中峰值高于主峰值80％以上的方向点作为特征点的辅方向，为了特征点特性不随视角、光照等的变化而变化，将特征点方向试为坐标轴方向，在特征点周围选取采样窗口，生成关键的种子点，通过SIFT算法和区域生长算法对离散的匹配点得到稠密的视差图，通过在匹配点邻域内寻找相似点，当存在时将该点视为新的匹配点；
获得了左右视图的匹配点后，通过计算匹配点的差值得到视差，对视差图像下的初始左视图进行双边滤波，利用投影原理生成多幅视差图像，通过适用于所有液晶光栅显示器的多视点图像合成方法进行多视点视图合成，将每个视点的像素按一定的规律填入立体图像中，形成一幅具有多个视点信息的图像。
根据上述技术方案，所述利用构建的进行三维显示的屏幕，重建物体周围的光场的步骤，包括：
利用构建的进行三维显示的屏幕重建物体周围的光场；
采用光场绘制技术对预采集的场景图像进行组合采集；
光场建立后通过查找、插值和组合等方式提取出正确的光场切片，并实时重建出新的不同位置的视角图像；
通过再现采样的三维光场，得到多组场景光场的切片序列，然后对三维光场进行预处理，得到适合投影的图像；
利用圆形的反射式定向散射屏上的微结构使入射光向观看者所在区域偏折，并且在竖直方向上以较大的角度散射，在水平方向上保持光线方向不变，经过屏幕转折和散射，重建出360度可视的三维显示光场，并在屏幕上方呈现出360度可视的悬浮三维物体。
根据上述技术方案，所述根据当前图像场景的特征进行相关参数的调整，优化处于不同场景下的图像的处理效果，进行立体显示的步骤，包括：
利用图像融合将多视点视图绘制生成的视图进行子像素抽取，然后按照柱状透镜裸眼3D显示屏子像素排列要求进行排列，融合成一幅裸眼3D图像；
通过HDMI接口将图像数据输出到裸眼3D驱动板卡，驱动卡板通过计算图像相似度获取当前裸眼3D显示***中输入的图像视频格式，判断***当前对应的处理模式，根据裸眼3D显示设备的工艺参数，对视点合成***的处理参数进行调整并进行立体显示。
根据上述技术方案，所述智能显示***包括
视差图像模块，用于进行多幅视差图像的采集获取；
三维显示构建模块，用于构建进行裸眼3D立体三维显示的的立体场景；
立体优化显示模块，用于优化处于不同场景下的图像的处理效果，进行立体显示。
与现有技术相比，本发明所达到的有益效果是：本发明，通过获取视差图像源，从给定场景的一幅图像或一系列图像中，推导出该场景的精确三维几何描述，并定量确定场景中物体的性质，然后对相应点视差大小的计算，获得左右视差图像的深度信息，形成该场景的深度图像，进一步采用柱镜光栅与像素形成一定夹角，降低垂直分辨率，再利用构建的进行三维显示的屏幕，重建物体周围的光场，对三维物体的存在性感知进行优化，最后根据当前图像场景的特征进行相关参数的调整，优化处于不同场景下的图像的处理效果，进行立体显示，使得显示图像的立体感更强，用户针对显示图像的深度感知更优。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例一提供的一种基于裸眼3D的智能显示处理方法的流程图；
图2为本发明实施例二提供的一种基于裸眼3D的智能显示处理***的模块组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：图1为本发明实施例一提供的一种基于裸眼3D的智能显示处理方法的流程图，本实施例可应用裸眼3D智能显示的场景，该方法可以由本实施例提供的一种基于裸眼3D的智能显示处理***来执行，如图1所示，该方法具体包括以下步骤：
步骤一：获取视差图像源，从给定场景的一幅图像或一系列图像中，推导出该场景的精确三维几何描述，并定量确定场景中物体的性质；
在本发明实施例中，通过多个摄像机从不同角度拍摄具有很多独立标示点的物体，从不同角度对同一物体进行拍摄并获取图像，利用每个图像计算摄像机的相对位置、方向以及摄像机的内参数，进行多幅视差图像的采集，并利用计算机技术对图像上物点位置进行处理获得物体的深度，基于采集后的图像进行立体图像的整合，利用设置了二维三维转换装置的显示器，进行整合后的立体图像的三维立体图像细节的分辨，通过调整透镜阵列的倾斜角度使垂直分辨率变为原来的1/3，同时水平面上的分辨率也调整为原来的1/3，改变垂直面方向上的分辨率来弥补水平方向上的分辨率不足，克服立体图像失真的缺陷，同时降低对立体水平方向上分辨率的下降程度，也能相对提高立体图像的清晰度。
步骤二：通过对相应视差大小的计算，获得左右视差图像的深度信息，形成该场景的深度图像，进一步采用柱镜光栅与像素形成一定夹角，降低垂直分辨率；
在本发明实施例中，图像对应点上视差大小与场景的深度信息密切相关，利用深度图像和其中一幅视差图像，形成多幅视差图像，通过双目立体匹配算法，对摄像头采集到的图像对进行立体匹配，获取图像中的像素点与场景位置对应的映射关系，根据映射关系获得像素的视差值之后合成3D图像；
示例性的，通过模拟视觉图像中数据的多尺度特征，生成具有尺度不变形的特征向量，拟合三维二次函数进行极值点的定位，获取极值点后，检测当层领域中的极值点和上下两个不同尺度因子层中的极值点，将选中的最值点作为特征点，再利用特征点的局部特性进行方向的分配，以提取的特征点为中心，在该点领域范围内进行采样，用直方图对采样点进行统计，统计坐标轴的横坐标表示方向，大小为0-360°，一个方向代表10°，直方图的最高峰方向表示主方向，且将其余直方图中峰值高于主峰值80％以上的方向点作为特征点的辅方向，为了特征点特性不随视角、光照等的变化而变化，将特征点方向试为坐标轴方向，在特征点周围选取采样窗口，生成关键的种子点，通过SIFT算法和区域生长算法对离散的匹配点得到稠密的视差图，通过在匹配点邻域内寻找相似点，当存在时将该点视为新的匹配点；
示例性的，获得了左右视图的匹配点后，通过计算匹配点的差值得到视差，对视差图像下的初始左视图进行双边滤波，依据初始左视图，对深度图像进行联合双边滤波，不仅有比较好的深度立体感，更能保证图片内部过渡更自然平滑，利用投影原理生成多幅视差图像，通过适用于所有液晶光栅显示器的多视点图像合成方法进行多视点视图合成，将每个视点的像素按一定的规律填入立体图像中，从而形成一幅具有多个视点信息的图像，采用柱镜光栅与像素形成一定的夹角，降低垂直分辨率，根据光栅栅距和子像素间距确定视点数，由于原始图像与合成图像的分辨率一样，每个视点在立体图像的分辨率在水平位置就会是总分辨率的1/n(n为总视点数)，若柱镜光栅与像素水平放置，这样每个视图只有水平分辨率降低，垂直分辨率不变，会引起视觉疲劳，也会导致每个像素间的间隙被放大，观看时就会在两个视点之间看到黑色，影响立体视觉的形成，通过此可以使显示的立体感更好。
步骤三：利用构建的进行三维显示的屏幕，重建物体周围的光场，对三维物体的存在性感知进行优化；
在本发明实施例中，柱透镜光栅3D显示是利用柱透镜光栅的折射作用，使左右眼图像的光线沿不同方向传播，进而使观看者双眼能够分别接收到具有视差的图像，柱透镜光栅3D显示器通过在原采用的2D显示面板与观看者之间加上一层柱状透镜，并且2D显示面板位于其焦平面内，在柱透镜单元的排列方向上，每个柱透镜单元将位于其焦平面上不同位置的像素折射到不同的方向，在双视点3D显示中，显示屏的奇偶列像素分别显示左右眼两幅视差图像，柱透镜光栅的折射作用使左、右眼视差图像空间分离，由狭缝光栅的挡光条对光线的遮挡作用和柱透镜光栅的折射作用，使得2D显示屏上来自不同视差图像的光线向不同方向传播，并在显示屏前方重新进行左右视图像素光线的汇聚，在空间中形成能观看到不同视差图像的区域，观看者位于合适的位置就能观看到立体图像，产生立体视觉；
示例性的，利用构建的进行三维显示的屏幕重建物体周围的光场，采用光场绘制技术对预采集的场景图像进行组合采集，包括物体的位置、方向和角度，在光场中出射的每一条光线的分布都与之前的物体周围光场相同，得到新的任意视点位置的图像，通过图像重建光场，光场建立后通过查找、插值和组合等方式提取出正确的光场切片，并实时重建出新的不同位置的视角图像，通过再现采样的三维光场，使观察者自然地获取正确的360度视角的图像，得到多组场景光场的切片序列，然后对三维光场进行预处理，得到适合投影的图像，在确定了视点位置后，从三维光场中查找到该点的辐射度，即从已经获取的该视点位置所拍摄的图像上查找对应的像素值，当预先获取的光场切片数量足够多时，从已获取的切片内精确得到或通过相邻视点的视图近似得到各视点视图，人眼会自发地逆向追踪光线，并且无法通过眼睛区分重构的物体光场和光场本身，因此利用圆形的反射式定向散射屏上的微结构使入射光向观看者所在区域偏折，并且在竖直方向上以较大的角度散射，在水平方向上保持光线方向不变，经过屏幕转折和散射，重建出360度可视的三维显示光场，并在屏幕上方呈现出360度可视的悬浮三维物体，使观看者依然可以基于光场重建的360度可探入悬浮三维显示感受到这个三维物体的存在，能更正确的感知到立体的纵深感。
步骤四：根据当前图像场景的特征进行相关参数的调整，优化处于不同场景下的图像的处理效果，进行立体显示。
在本发明实施例中，利用图像融合将多视点视图绘制生成的视图进行子像素抽取，然后按照柱状透镜裸眼3D显示屏子像素排列要求进行排列，融合成一幅裸眼3D图像，将融合后的裸眼3D图像送往视频输出端，视频输出端缓存这些数据，并产生符合HDMI接口要求的行场信号，并通过HDMI接口将图像数据输出到裸眼3D驱动板卡，驱动卡板通过计算图像相似度获取当前裸眼3D显示***中输入的图像视频格式，判断***当前对应的处理模式，根据裸眼3D显示设备的工艺参数，对视点合成***的处理参数进行微调，在显示图像处理过程中，根据当前图像场景的特征进行相关参数的调整，优化处于不同场景下的图像的处理效果，实现上屏显示，在显示屏幕上向多个观看者呈现图像，观看者在一定范围内移动，只要同时看到这多幅视差图像的其中相邻两幅就可感知到立体效果，且能在观看者水平移动时提供运动视差，根据安排的视差图像源的采集方位达到环视的效果，节省了空间和成本。
实施例二：本发明实施例二提供了一种基于裸眼3D的智能显示处理***，图2为本发明实施例二提供的一种基于裸眼3D的智能显示处理***的模块组成示意图，如图2所示，该***包括：
视差图像模块，用于进行多幅视差图像的采集获取；
三维显示构建模块，用于构建进行裸眼3D立体三维显示的的立体场景；
立体优化显示模块，用于优化处于不同场景下的图像的处理效果，进行立体显示。
在本发明的一些实施例中，视差图像模块包括：
视差图像源模块，用于从不同角度对同一物体进行拍摄并获取视差图像源；
立体图像整合模块，用于基于采集后的图像进行立体图像的整合；
图像细节分辨模块，用于进行整合后的立体图像的三维立体图像细节的分辨。
在本发明的一些实施例中，三维显示构建模块包括：
视差大小计算模块，用于计算相应特征点的视差大小，获取视差图像的深度信息；
深度图像模块，用于利用深度图像和视差图像形成多幅视差图像；
多尺度特征模块，用于通过模拟视觉图像中数据的多尺度特征，生成具有尺度不变形的特征向量；
夹角形成模块，用于使柱镜光栅与像素形成一定的夹角降低垂直分辨率；
光场重建模块，用于利用构建的进行三维显示的屏幕重建物体周围的光场。
在本发明的一些实施例中，立体优化显示模块包括：
三维光场预处理模块，用于对三维光场进行预处理得到适合投影的图像；
特征参数调整模块，用于根据当前图像场景的特征进行相关参数的调整；
立体显示模块，用于优化处于不同场景下的图像的处理效果，实现上屏的立体显示。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于裸眼3D的智能显示处理方法，其特征在于：所述该方法包括以下步骤：
步骤一：获取视差图像源，从给定场景的一幅图像或一系列图像中，推导出该场景的精确三维几何描述，并定量确定场景中物体的性质；
步骤二：通过对相应点视差大小的计算，获得左右视差图像的深度信息，形成该场景的深度图像，进一步采用柱镜光栅与像素形成一定夹角，降低垂直分辨率；
步骤三：利用构建的进行三维显示的屏幕，重建物体周围的光场，对三维物体的存在性感知进行优化；
步骤四：根据当前图像场景的特征进行相关参数的调整，优化处于不同场景下的图像的处理效果，进行立体显示。
2.根据权利要求1所述的一种基于裸眼3D的智能显示处理方法，其特征在于：所述获取视差图像源的步骤，包括：
通过多个摄像机从不同角度拍摄具有很多独立标示点的物体，从不同角度对同一物体进行拍摄并获取图像，利用每个图像计算摄像机的相对位置、方向以及摄像机的内参数，进行多幅视差图像的采集，并利用计算机技术对图像上物点位置进行处理获得物体的深度，基于采集后的图像进行立体图像的整合，利用设置了二维三维转换装置的显示器，进行整合后的立体图像的三维立体图像细节的分辨。
3.根据权利要求1所述的一种基于裸眼3D的智能显示处理方法，其特征在于：所述通过对相应点视差大小的计算，获得左右视差图像的深度信息步骤，包括：
图像对应点上视差大小与场景的深度信息密切相关，利用深度图像和其中一幅视差图像，形成多幅视差图像，通过双目立体匹配算法，对摄像头采集到的图像对进行立体匹配，获取图像中的像素点与场景位置对应的映射关系，根据映射关系获得像素的视差值之后合成3D图像。
4.根据权利要求3所述的一种基于裸眼3D的智能显示处理方法，其特征在于：所述形成该场景的深度图像的的步骤，包括：
通过模拟视觉图像中数据的多尺度特征，生成具有尺度不变形的特征向量，拟合三维二次函数进行极值点的定位，获取极值点后，检测当层领域中的极值点和上下两个不同尺度因子层中的极值点，将选中的最值点作为特征点，再利用特征点的局部特性进行方向的分配，以提取的特征点为中心，在该点领域范围内进行采样，用直方图对采样点进行统计，统计坐标轴的横坐标表示方向，大小为0-360°，一个方向代表10°，直方图的最高峰方向表示主方向，且将其余直方图中峰值高于主峰值80％以上的方向点作为特征点的辅方向，为了特征点特性不随视角、光照等的变化而变化，将特征点方向试为坐标轴方向，在特征点周围选取采样窗口，生成关键的种子点，通过SIFT算法和区域生长算法对离散的匹配点得到稠密的视差图，通过在匹配点邻域内寻找相似点，当存在时将该点视为新的匹配点；
获得了左右视图的匹配点后，通过计算匹配点的差值得到视差，对视差图像下的初始左视图进行双边滤波，利用投影原理生成多幅视差图像，通过适用于所有液晶光栅显示器的多视点图像合成方法进行多视点视图合成，将每个视点的像素按一定的规律填入立体图像中，形成一幅具有多个视点信息的图像。
5.根据权利要求4所述的一种基于裸眼3D的智能显示处理方法，其特征在于：所述利用构建的进行三维显示的屏幕，重建物体周围的光场的步骤，包括：
利用构建的进行三维显示的屏幕重建物体周围的光场；
采用光场绘制技术对预采集的场景图像进行组合采集；
光场建立后通过查找、插值和组合等方式提取出正确的光场切片，并实时重建出新的不同位置的视角图像；
通过再现采样的三维光场，得到多组场景光场的切片序列，然后对三维光场进行预处理，得到适合投影的图像；
利用圆形的反射式定向散射屏上的微结构使入射光向观看者所在区域偏折，并且在竖直方向上以较大的角度散射，在水平方向上保持光线方向不变，经过屏幕转折和散射，重建出360度可视的三维显示光场，并在屏幕上方呈现出360度可视的悬浮三维物体。
6.根据权利要求1所述的一种基于裸眼3D的智能显示处理方法，其特征在于：所述根据当前图像场景的特征进行相关参数的调整，优化处于不同场景下的图像的处理效果，进行立体显示的步骤，包括：
利用图像融合将多视点视图绘制生成的视图进行子像素抽取，然后按照柱状透镜裸眼3D显示屏子像素排列要求进行排列，融合成一幅裸眼3D图像；
通过HDMI接口将图像数据输出到裸眼3D驱动板卡，驱动卡板通过计算图像相似度获取当前裸眼3D显示***中输入的图像视频格式，判断***当前对应的处理模式，根据裸眼3D显示设备的工艺参数，对视点合成***的处理参数进行调整并进行立体显示。
7.执行如权利要求1所述的一种基于裸眼3D的智能显示处理方法的智能显示***，其特征在于：所述该***包括
视差图像模块，用于进行多幅视差图像的采集获取；
三维显示构建模块，用于构建进行裸眼3D立体三维显示的的立体场景；
立体优化显示模块，用于优化处于不同场景下的图像的处理效果，进行立体显示。
8.根据权利要求7所述的智能显示处理***，其特征在于：所述视差图像模块包括：
视差图像源模块，用于从不同角度对同一物体进行拍摄并获取视差图像源；
立体图像整合模块，用于基于采集后的图像进行立体图像的整合；
图像细节分辨模块，用于进行整合后的立体图像的三维立体图像细节的分辨。
9.根据权利要求8所述的智能显示处理***，其特征在于：所述三维显示构建模块包括：
视差大小计算模块，用于计算相应特征点的视差大小，获取视差图像的深度信息；
深度图像模块，用于利用深度图像和视差图像形成多幅视差图像；
多尺度特征模块，用于通过模拟视觉图像中数据的多尺度特征，生成具有尺度不变形的特征向量；
夹角形成模块，用于使柱镜光栅与像素形成一定的夹角降低垂直分辨率；
光场重建模块，用于利用构建的进行三维显示的屏幕重建物体周围的光场。
10.根据权利要求9所述的智能显示处理***，其特征在于：所述立体优化显示模块包括：
三维光场预处理模块，用于对三维光场进行预处理得到适合投影的图像；
特征参数调整模块，用于根据当前图像场景的特征进行相关参数的调整；
立体显示模块，用于优化处于不同场景下的图像的处理效果，实现上屏的立体显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310527791.2A CN116708746A (zh) | 2023-05-11 | 2023-05-11 | 一种基于裸眼3d的智能显示处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310527791.2A CN116708746A (zh) | 2023-05-11 | 2023-05-11 | 一种基于裸眼3d的智能显示处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116708746A true CN116708746A (zh) | 2023-09-05 |
Family
ID=87828385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310527791.2A Pending CN116708746A (zh) | 2023-05-11 | 2023-05-11 | 一种基于裸眼3d的智能显示处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116708746A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116939186A (zh) * | 2023-09-18 | 2023-10-24 | 北京天图万境科技有限公司 | 一种自动联想性遮盖视差裸眼空间计算的处理方法及装置 |
-
2023
- 2023-05-11 CN CN202310527791.2A patent/CN116708746A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116939186A (zh) * | 2023-09-18 | 2023-10-24 | 北京天图万境科技有限公司 | 一种自动联想性遮盖视差裸眼空间计算的处理方法及装置 |
| CN116939186B (zh) * | 2023-09-18 | 2023-12-05 | 北京天图万境科技有限公司 | 一种自动联想性遮盖视差裸眼空间计算的处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6496598B1 (en) | Image processing method and apparatus | |
| CN101411207B (zh) | 采集和显示三维光场的方法和*** | |
| US20180338137A1 (en) | LED-Based Integral Imaging Display System as Well as Its Control Method and Device | |
| EP1143747B1 (en) | Processing of images for autostereoscopic display | |
| US6205241B1 (en) | Compression of stereoscopic images | |
| JP5036132B2 (ja) | 裸眼立体表示のための視差画像のクリティカルな位置合わせ | |
| CN105704479B (zh) | 3d显示***用的测量人眼瞳距的方法及***和显示设备 | |
| US8094148B2 (en) | Texture processing apparatus, method and program | |
| US20100134599A1 (en) | Arrangement and method for the recording and display of images of a scene and/or an object | |
| US20060171028A1 (en) | Device and method for display capable of stereoscopic vision | |
| RU2453922C2 (ru) | Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты) | |
| CN101180658A (zh) | 深度感 | |
| CN107105216B (zh) | 一种基于针孔阵列的连续视差、广视角的三维光场显示装置 | |
| CN113238472B (zh) | 基于频域位移的高分辨率光场显示方法及装置 | |
| CN101729920A (zh) | 一种自由视角立体视频显示方法 | |
| CN111447431A (zh) | 一种应用于车载环视摄像的裸眼3d显示方法及*** | |
| JPWO2012117706A1 (ja) | 映像処理装置、映像処理方法、プログラム | |
| CN116708746A (zh) | 一种基于裸眼3d的智能显示处理方法 | |
| Sawahata et al. | Estimating depth range required for 3-D displays to show depth-compressed scenes without inducing sense of unnaturalness | |
| Wu et al. | Depth mapping of integral images through viewpoint image extraction with a hybrid disparity analysis algorithm | |
| CN106991715A (zh) | 基于光场采集的光栅棱柱三维显示渲染方法 | |
| CN114815286B (zh) | 全视差三维光场显示***的参数确定方法、装置及设备 | |
| Kim et al. | Effects of depth map quantization for computer-generated multiview images using depth image-based rendering | |
| RU2474973C2 (ru) | Устройство стереовидения в реальном времени | |
| KR101883883B1 (ko) | 플립영상을 차단하는 무안경 원통형 홀로그램 디스플레이 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |