CN103974011B - 一种投影图像模糊消除方法 - Google Patents
一种投影图像模糊消除方法 Download PDFInfo
- Publication number
- CN103974011B CN103974011B CN201310497270.3A CN201310497270A CN103974011B CN 103974011 B CN103974011 B CN 103974011B CN 201310497270 A CN201310497270 A CN 201310497270A CN 103974011 B CN103974011 B CN 103974011B
- Authority
- CN
- China
- Prior art keywords
- image
- formula
- sub
- fuzzy
- fft
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000011156 evaluation Methods 0.000 claims abstract description 39
- 238000001914 filtration Methods 0.000 claims abstract description 29
- 230000008030 elimination Effects 0.000 claims abstract description 16
- 238000003379 elimination reaction Methods 0.000 claims abstract description 16
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000002474 experimental method Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000009415 formwork Methods 0.000 claims description 3
- 101000911390 Homo sapiens Coagulation factor VIII Proteins 0.000 claims description 2
- 230000015556 catabolic process Effects 0.000 claims description 2
- 238000006731 degradation reaction Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 102000057593 human F8 Human genes 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims description 2
- 229940047431 recombinate Drugs 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims 1
- 238000012937 correction Methods 0.000 abstract description 11
- 230000006798 recombination Effects 0.000 abstract description 3
- 238000005215 recombination Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 16
- 210000004209 hair Anatomy 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 241000282376 Panthera tigris Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于多尺度卷积核的投影图像模糊消除方法,该方法首先使用离散集合映射方法进行几何校正,并提出一种改进的Sobel‑Tenengrad聚焦评价方法计算图像锐利度来进行投影捕捉图像的亮度均衡,然后使用具有多尺度卷积核模糊模板的维纳滤波图像重组方法进行投影图像模糊消除计算,最终完成投影机自身散焦以及投影环境影响造成的投影图像模糊消除。使用本发明公开的基于多尺度卷积核的投影图像模糊消除方法,可以有效消除投影设备手工对焦不充分以及复杂投影环境对投影图像的聚焦干扰,最终实现观察者视觉上对图像分辨率和细节识别度的提升。
Description
技术领域
本发明涉及一种在会议(讲稿演示)和娱乐(电影放映)、科研教育领域(科学可视化)、各类仿真领域(虚拟现实)、以及气象交通的大屏幕监控展示等领域中应用的一种基于多尺度卷积核的投影图像模糊消除方法。
背景技术
传统投影设备需要在使用前根据投影仪与投影显示表面之间的距离等因素进行校正,其中一个需要解决的重要难题就是投影仪的光学聚焦校正。但是,目前对于投影聚焦校正必须使用人工手动进行机械聚焦,同时受限于手动聚焦不完全以及投影仪和投影显示表面的位置不固定等原因,投影图像很难进行精确对焦获得具有最适宜清晰度的投影图像。
对于投影图像模糊消除技术的研究,目前仅限于国外少数几所大学研究所机构。其中,Bimber等人提出一种多投影仪组成的多焦距投影***,该硬件***克服了传统投影仪单一投影焦距的问题,但在使用中该硬件***安装和配置复杂、成本大幅提升,不能满足日常生活中的实际使用需要。哥伦比亚大学的Zhang和Nayar等人从软件开发的角度进行研究,他们将投影聚焦模型进行参数模拟,并使用多次计算的方法进行精确度提升,但是该方法的计算效率很低,不能在实时投影过程中进行使用。日本的Yuji Oyamada等人提出了另一种方法将投影图像的模糊程度进行分布式分析,针对不同投影区域计算出不同的投影图像模糊消除模型,但是该方法没有解决投影环境的光照、投影表面的反射率等干扰因素,同时仍然不能实现实时模糊校正。
发明内容
本发明的目的在于针对现有技术的不足,提供一种基于多尺度卷积核的投影模糊消除方法。该方法首先使用离散集合映射方法进行几何校正,并提出一种改进的Sobel-Tenengrad聚焦评价方法计算图像锐利度来进行投影捕捉图像的亮度均衡,然后使用具有多尺度卷积核模糊模板的维纳滤波图像重组方法进行原始投影图像模糊消除计算,最终完成投影机自身散焦以及投影环境影响造成的投影图像模糊消除。应用本发明公开的基于多尺度卷积核的投影模糊消除方法,可以有效消除投影设备手工对焦不充分以及复杂投影环境对投影图像的聚焦干扰,最终实现观察者视觉上对图像分辨率和细节识别度的提升。
本发明的目的是通过以下技术方案来实现的:一种投影图像模糊消除方法,包括以下步骤:
(1)使用计算机视觉方法结合安装在投影仪上的摄像头完成***标定。
(2)使用计算机视觉方法对摄像头采集的图像数据进行分析和计算,确定投影仪与摄像头之间像素点对应关系,建立对应像素点坐标映射。
(3)使用计算机视觉方法并结合摄像头采集的图像数据,首先计算投影仪的投影图像锐利度评价指数,然后对摄像头采集的原始聚焦参考图像进行亮度均衡。
(4)使用计算机视觉方法并结合摄像头采集的图像数据和图像锐利度评价指数,对投影图像进行多尺度卷积模板计算。
(5)使用投影图像的多尺度卷积核模板计算结果并基于GPU图形渲染方法,对经过计算的投影模糊消除图像进行绘制,最终完成投影图像模糊消除。
本发明的有益效果是:
1.可以有效消除投影仪等投影设备由于机械光学对焦不充分导致的图像模糊问题,实现观察者视觉上对图像分辨率和细节识别度的提升。
2.可以有效消除日常生活环境中光照等因素对投影图像颜色、亮度等的干扰,使得投影图像可以适应日常投影显示环境,让观察者可以获得接近于原始图像画质的视觉体验。
3.具有独立的实时在线校正***,投影校正过程无需人工参与,极大简化了投影仪的安装调节过程。
4.基于软件进行***控制,极大的降低了硬件成本。
5.采用计算机视觉方法对采集数据处理和分析,极大的降低了投影***运行成本。
附图说明
图1为投影仪模糊模型计算示图;
图2为编码特征图采集示图;
图3为5x5X/Y方向Sobel算子模型示图;
图4为改进的Sobel-Tenengrad聚焦评价函数分析示图;图中,(a)为改进X方向S-T方法对比示图,(b)为改进Y方向S-T方法对比示图;
图5为聚焦参考模板示图;
图6为基于Sobel-Tenengrad聚焦评价方法的亮度均衡示图;图中,(a)为原始投影采集图像示图,(b)为亮度均衡图像示图;
图7为多尺度高斯模糊卷积模板示图;图中,(a)-(h)分别为高斯模糊卷积Sigma参数为0.5、1、1.5、2、2.5、3、3.5、4的模板图像示图;
图8为图7所示的8组模糊模板对应的sigma值生成的整幅原始图像的维纳滤波图像Iwiener;
图9为投影模糊补偿图像计算示图;图中,(a)为原始投影图像示图,(b)为投影模糊补偿图像示图;
图10为投影模糊消除方法效果1实施例示图;
图11为投影模糊消除方法效果2实施例示图。
具体实施方式
1.***安装:首先,将一个摄像头安装在一台投影仪上,并保证摄像头镜头与投影仪的镜头同轴方向;然后将摄像头输出端口连接到计算机,并安装相应的驱动程序,同时将计算机显卡的第二个输出口连接到投影仪。
2.本发明提出的投影图像模糊消除方法,具体包括以下步骤:
(1)使用计算机视觉方法结合安装在投影仪上的摄像头完成***标定。
摄像头标定采用的是张正友提出的相机平面标定法,使用计算得到的摄像头内部参数对摄像头的径向畸变和切向畸变进行校正。标定后的摄像头实时获取投影显示图像并反馈投影环境信息。
(2)使用计算机视觉方法对摄像头采集的图像数据进行分析和计算,确定投影仪与摄像头之间像素点对应关系,建立对应像素点坐标映射。
(3)使用计算机视觉方法并结合摄像头采集的图像数据,首先计算投影仪的投影图像锐利度评价指数,然后对摄像头采集的原始聚焦参考图像进行亮度均衡。
(3.1)计算投影图像模糊模型
首先,对于应用DLP技术的主流投影设备可以将投影模糊理想化估计为某种单一模糊核进行卷积滤波计算的结果(公式(1))。投影成像过程是从投影机内部成像单元的图像空间中单个子像素经过投影透镜投射到投影屏幕,经过对平面、弧幕等常规投影环境多次实验,可以将投影***的模糊核近似为高斯模糊模型(公式(2)),如图1所示,即投影表面的投影图像是原始图像经过高斯模糊模型h卷积计算得到的退化图像。
Iblur=Ioriοhσ (1)
(公式(1)中,Iblur表示模糊退化图像,Iori表示原始图像,hσ表示模糊卷积核。公式(2)中,hσ(x,y)表示在点象素(x,y)处的高斯卷积计算。)
对投影模糊图像进行模糊消除,在数学模型上是使用估计得到的模糊核对模糊图像进行反卷积,在实际投影***的模糊消除中是对原始投影图像在成像空间应用模糊消除函数(公式(3)),最终可以投射到投影表面在视觉上呈现出锐利度增强的清晰图像。
Ideblur=Fdeblur(Iori) (3)
(公式(3)中,Ideblur表示模糊消除图像,Fdeblur表示模糊消除函数,Iori表示原始图像。)
(3.2)计算投影模糊图像锐利度
首先,对捕获的投影特征图像进行均匀分割,得到以特征点(N个)为中心的子图像区域并组建成一个特征子图像集合(图2),然后通过聚焦评价函数分别计算出每个子图像区域的图像锐利度。在传统的图像模糊消除方法中,常用的空间域聚焦评价方法有灰度差分法、拉普拉斯算子法等,实验表明这两种方法的精度不高、鲁棒性不佳并不适用于投影模糊的聚焦评价,最终选取基于Sobel-Tenengrad函数的聚焦评价方法针对投影模糊捕捉图像进行图像锐利度计算。
常用的Sobel梯度算子扩展核具有有1x1、3x3、5x5、7x7等形式,考虑到主流投影机的投影比参数(Throw Ratio)并结合多次实验计算,最终采用3x3和5x5两种Sobel梯度算子扩展核对子图像集合在空间域进行分析,图3所示为针对模糊消除方法设计的5x5Sobel算子。
首先,设置Tx和Ty分别表示子图像中每一个像素点在水平方向和垂直方向使用Sobel算子(x方向,y方向)计算求梯度,则在图像空间域中可以参数化为如公式(4)和公式(5)所示使用Sobel算子进行卷积滤波计算(“o”表示卷积滤波)。
Tx=Isub(x,y)οSx (4)
Ty=Isub(x,y)οSy (5)
(公式(4)和公式(5)中,Tx和Ty分别表示x方向和y方向的Sobel算子梯度计算,Sx和Sy表示x方向和y方向的Sobel算子,Isub(x,y)表示子图像集合中某一图像区域。)
然后,需要使用本文提出的一种改进Tenengrad评价函数对Tx和Ty进行聚焦评估。经典的Tenengrad评价函数精度高但是计算量大,不能满足实时投影图像校正的需要,将经典公式(6)进行改进可以近似等价为公式(7),对公式(7)拆分为x方向和y方向两部分,可以得到公式(8)和公式(9)。
(公式(6)中,Fst表示经典Tenengrad评价函数计算,Tx和Ty分别表示x方向和y方向的Sobel算子梯度计算;公式(7)中,Fst-abs表示简化的经典Tenengrad评价函数计算;公式(8)中,Fst-x表示x方向的改进Tenengrad评价函数计算;公式(9)中,Fst-y表示y方向的改进Tenengrad评价函数计算。)
使用这种新型X/Y方向Tenengrad评价函数分别计算投影模糊捕捉图像区域得聚焦评估值,图4子图像区域聚焦评估曲线分析可以看到,使用这种X/Y方向改进聚焦评价方法和经典方法是高度吻合的,但是显著的提高了计算效率,符合实时计算的需要。所有子图像集合使用这种改进的X/Y方向Tenengrad评价函数进行计算,可以找到子图像集合中图像锐利值最大的子图像区域,并标记为“Iref”作为聚焦参考模板。
(3.3)基于改进的Sobel-Tenengrad图像锐利评价函数的亮度均衡
由于投影机成像***的限制,投影图像在投影表面的中心区域光流明度最高,而四周的光流明度逐渐降低,这种光流明度的不均匀分布对于模糊消除函数的计算影响很大,现使用(3.2)提出的改进Sobel-Tenengrad评价函数对投影捕获图像进行亮度均衡。
第一步,公式(10)将聚焦参考模板Iref使用快速傅立叶变换,从空间域转换到频域图像IFFT-ref进行分析:
IFFT-ref=FFT(Iref) (10)
(公式(10)中,IFFT-ref为聚焦参考模板的频域图像计算,Iref为聚焦参考模板,FFT为快速傅里叶变换函数。)
第二步,由于图像在空间域和频域进行转换时具有频率谱的“直流数据”即图像原点像素值数值不变的性质,同时以高斯滤波函数公式(11)为例进行分析,可以推导出当u和v为0即在图像原点位置时的该原点的频域空间数值为原始图像的平均灰度值(公式(12)),则将IFFT-ref的直流部分进行提取即计算出IFFT-ref(0,0)的数值(如公式(13))。
(公式(11)中,F(u,v)为在点象素(u,v)处的高斯滤波计算;公式(12)中,F(0,0)表示图像原点位置的频域空间数值计算,可以通过等式右边原始图像的平均灰度值计算得到;公式(13)中,IFFT-ref(0,0)表示在频域图像空间中原点的图像灰度值计算,即如等式右边所示将IFFT-ref的直流部分进行提取计算。)
第三步,将子图像集合的所有子图像区域In进行快速傅立叶变得到频域图像集合IFFT-n,使用第二步计算得到的IFFT-ref(0,0)替换所有IFFT-n(0,0),然后对频域子图像集合IFFT-n进行逆傅立叶变换得到空间域中新的子图像集合I’n,对新的子图像集合I’n按照像素对应关系进行组合,最终得到的组合图像就是经过亮度均衡的投影特征采集图像(如图6所示)。
I′n=invFFT(IFFT-n) (14)
(公式(14)中,I’n表示对频域子图像集合IFFT-n进行逆傅立叶变换得到的空间域中新的子图像集合,IFFT-n表示子图像区域In进行快速傅立叶变得到的频域图像集合,invFFT表示逆快速傅里叶变换计算。)
(4)使用计算机视觉方法并结合摄像头采集的图像数据和图像锐利度评价指数,对投影图像进行多尺度卷积模板计算。
首先,将(3.2)计算得到的参考图像区域Iref作为卷积参考图像,并使用多尺度高斯卷积核进行高斯滤波处理。在此处进行多尺度高斯卷积滤波计算中,公式(2)高斯卷积核的sigma取值为0.5、1、1.5、2、2.5、3、3.5、4共8种情况,可以得到如图7所示多尺度高斯卷积模板。
然后,以这8组高斯卷积模糊模板作为模糊模板,使用(3.2)改进的Sobel-Tenengrad聚焦评价函数计算出各自图像锐利度,并将所有子图像集合与之比较得到各自的锐利度最接近的模板,完成与模糊模板的最相似清晰度匹配并标记模板序号。
最后,对原始子图像集合进行多尺度维纳滤波计算并重组投影图像。使用经典的维纳滤波方法对原始投影图像进行模糊核反卷积计算,首先将原始图像使用公式(15)进行频域转换,然后使用公式(16)进行维纳滤波计算,其中,公式(15)中H(u,v)为公式(1)的高斯滤波核,sigma的数值选择之前的8组模糊估计值,公式(16)的SNR为信噪比。
Ifreg(u,v)=I(u,v)H(u,v) (15)
(公式(15)中,Ifreg(u,v)表示原始图像频域转换计算结果,I(u,v)为原图像在(u,v)处的图像灰度值,H(u,v)为公式(1)的高斯滤波核;公式(16)中,Iwiener为对Ifreg(u,v)进行维纳滤波计算的结果,SNR为信噪比。)
(5)使用投影图像的多尺度卷积核模板计算结果并基于GPU图形渲染方法,对经过计算的投影模糊消除图像进行绘制,最终完成投影图像模糊消除。
将预投影图像在显卡的第一个通道进行绘制得到一帧原始图像数据,然后在显卡的第二个通道中将所有子图像各自最相似模板中的sigma值分别使用维纳滤波进行处理,使用得到的子图像集合维纳滤波图像集合进行重组,8组模糊模板对应的sigma值生成整幅原始图像的维纳滤波图像Iwiener(图8)。然后依次遍历原始投影图像重所有子图向区域的像素点,在相应子图像区域坐标范围内使用对应维纳滤波图像Iwiener的像素值进行替换,同时在相邻子图像的边缘区域进行双线性插值计算以保证重组图像的平滑,最终得到的重组图像(图9)就是投影模糊消除图像。使用该图像作为最终的图形数据由显卡的第二个通道输出到投影仪,处于投影显示环境中的观察者可以在视觉上获得近似于原始图像清晰度的投影模糊消除图像。
本发明中,所说的***标定是使用张正友提出的相机平面标定法对摄像头进行校准,消除摄像头的径向畸变和切向畸变。
本发明中,所说的投影图像模糊消除是首先使用离散集合映射方法进行几何校正,并提出一种改进的Sobel-Tenengrad聚焦评价方法计算图像锐利度来进行投影捕捉图像的亮度均衡,然后使用具有多尺度卷积核模糊模板的维纳滤波图像重组方法进行原始投影图像模糊消除计算,完成投影机自身散焦以及投影环境影响造成的投影图像模糊消除。
本发明中,所说的GPU的图形绘制是将预投影图像在显卡的第一个通道进行绘制得到一帧原始图像数据,然后使用投影模糊消除方法对该图像数据进行计算,并将经过多尺度卷积核处理的投影模糊消除图像输入第二个通道,然后在显卡的第二个通道进行像素重映射并最终绘制完成一帧新的图像,这帧图像通过第二个通道的输出端口输入给投影仪进行投影。
本发明中,所说的投影仪可采用DLP投影仪。
本发明中,所说的摄像头可采用普通网络摄像头。
本发明中,所说的计算机可以是具有独立图形显卡的计算机***。
以下通过实施例对本发明做进一步说明:
实施例
本实施例中,设计并实现了一套可以自适应投影颜色补偿的智能投影***进行实验。原型***使用Lenovo T151DLP投影仪作为放映设备,并安装Logitech c905摄像头完成图像获取和环境监控,最后连接一部商务笔记本作为计算单元运行图像校正方法和设备通信。校正方法采用Matlab和C++两种编程语言混合编程进行实现,同时使用图形程序库OpenGL辅助图形绘制。
实验使用分辨率分别为1024x768、800x600、640x480等彩色图像进行分析。首先,将投影***完成***标定,并使用离散集合映射方法完成投影图像的几何校正。然后,使用改进的Sobel-Tenengrad聚焦评价函数进行图像锐利度估计,并对原始投影图像进行亮度均衡。接下来,使用多尺度高斯卷积模板建立模糊模板集合,并采用映射多尺度模糊模板的方法重组原始投影图像,最终应用基于改进朗伯特光照模型的颜色补偿方法优化原始投影模糊消除图像,实现自适应环境的投影模糊消除。***标定时间为5-10秒,计算单帧图像的模糊校正需要0.2-0.4秒。
实验1可以看到未进行模糊校正的测试图像(图10(a))直接投影,图像产生明显模糊并且具有亮度偏暗以及偏色的视觉效果,经过投影模糊校正后(图10(b))整体图像的清晰度明显提升,其中“狮子”的鬃发以及“老虎”的胡须部分在细节上明显改善,整个图像的锐利度接近于原始图像。实验2可以得到相同的模糊消除结果,将投影模糊消除前后捕捉的投影图像局部放大进行分析,可以看到在校正前捕捉投影图像中“小女孩”的眼睛区域和头发区域明显模糊很难分辨,在校正后捕捉投影图像中这两个部分增加了大量细节,眉毛和睫毛的纹路以及头发发丝都可以清晰呈现(图11)。
Claims (6)
1.一种投影图像模糊消除方法,其特征是,包括以下步骤:
(1)使用计算机视觉方法结合安装在投影仪上的摄像头完成***标定;
(2)使用计算机视觉方法对摄像头采集的图像数据进行分析和计算,确定投影仪与摄像头之间像素点对应关系,建立对应像素点坐标映射;
(3)使用计算机视觉方法并结合摄像头采集的图像数据,首先计算投影仪的投影图像锐利度评价指数,然后对摄像头采集的原始聚焦参考图像进行亮度均衡;该步骤包括以下子步骤:
(3.1)计算投影图像模糊模型:
首先,对于应用DLP技术的投影设备,如公式(1)所示,将投影模糊理想化估计为某种单一模糊核进行卷积滤波计算的结果;投影成像过程是从投影机内部成像单元的图像空间中单个子像素经过投影透镜投射到投影屏幕,经过对平面、弧幕投影环境多次实验,如公式(2)所示,将投影***的模糊核近似为高斯模糊模型;投影表面的投影图像是原始图像经过高斯模糊模型h卷积计算得到的退化图像;
公式(1)中,Iblur表示模糊退化图像,Iori表示原始图像,hσ表示模糊卷积核;公式(2)中,hσ(x,y)表示在点象素(x,y)处的高斯卷积计算;
对投影模糊图像进行模糊消除,在数学模型上是使用估计得到的模糊核对模糊图像进行反卷积,在实际投影***的模糊消除中是对原始投影图像在成像空间应用公式(3)所示的模糊消除函数,最终可以投射到投影表面在视觉上呈现出锐利度增强的清晰图像;
Ideblur=Fdeblur(Iori) (3)
公式(3)中,Ideblur表示模糊消除图像,Fdeblur表示模糊消除函数,Iori表示原始图像;
(3.2)计算投影模糊图像锐利度:首先,对捕获的投影特征图像进行均匀分割,得到以特征点为中心的子图像区域并组建成一个特征子图像集合,所述特征点的个数为N;然后通过基于Sobel-Tenengrad函数的聚焦评价方法分别计算出每个子图像区域的图像锐利度;
所述通过基于Sobel-Tenengrad函数的聚焦评价方法分别计算出每个子图像区域的图像锐利度具体为:
首先采用3x3和5x5两种Sobel梯度算子扩展核对子图像集合在空间域进行分析:设置Tx和Ty分别表示子图像中每一个像素点在水平方向和垂直方向使用Sobel算子计算求梯度,在图像空间域中参数化为如公式(4)和公式(5)所示使用Sobel算子进行卷积滤波计算,其中,表示卷积滤波;
公式(4)和公式(5)中,Tx和Ty分别表示x方向和y方向的Sobel算子梯度计算,Sx和Sy表示x方向和y方向的Sobel算子,Isub(x,y)表示子图像集合中某一图像区域;
然后,使用改进Tenengrad评价函数对Tx和Ty进行聚焦评估;将经典公式(6)进行改进近似等价为公式(7),对公式(7)拆分为x方向和y方向两部分,得到公式(8)和公式(9),按公式(8)和公式(9)分别计算投影模糊捕捉图像区域得到聚焦评估值;找到子图像集合中图像锐利值最大的子图像区域,标记为Iref,作为聚焦参考模板;
公式(6)中,Fst表示经典Tenengrad评价函数计算,Tx和Ty分别表示x方向和y方向的Sobel算子梯度计算;公式(7)中,Fst-abs表示简化的经典Tenengrad评价函数计算;公式(8)中,Fst-x表示x方向的改进Tenengrad评价函数计算;公式(9)中,Fst-y表示y方向的改进Tenengrad评价函数计算;
(3.3)基于改进的Sobel-Tenengrad图像锐利评价函数的亮度均衡:
(3.3.1),公式(10)将聚焦参考模板Iref使用快速傅立叶变换,从空间域转换到频域图像IFFT-ref进行分析:
IFFT-ref=FFT(Iref) (10)
公式(10)中,IFFT-ref为聚焦参考模板的频域图像计算,Iref为聚焦参考模板,FFT为快速傅里叶变换函数;
(3.3.2),由于图像在空间域和频域进行转换时具有频率谱的“直流数据”即图像原点像素值数值不变的性质,将高斯滤波函数公式(11)推导出公式(12)所示的当u和v为0即在图像原点位置时的该原点的频域空间数值为原始图像的平均灰度值,如公式(13)所示,将IFFT-ref的直流部分进行提取即计算出IFFT-ref(0,0)的数值;
公式(11)中,F(u,v)为在点象素(u,v)处的高斯滤波计算;公式(12)中,F(0,0)表示图像原点位置的频域空间数值计算,通过等式右边原始图像的平均灰度值计算得到;公式(13)中,IFFT-ref(0,0)表示在频域图像空间中原点的图像灰度值计算,如等式右边所示将IFFT-ref的直流部分进行提取计算;
(3.3.3),将子图像集合的所有子图像区域In进行快速傅立叶变得到频域图像集合IFFT-n,使用步骤(3.3.3)计算得到的IFFT-ref(0,0)替换所有IFFT-n(0,0),然后对频域子图像集合IFFT-n进行逆傅立叶变换得到空间域中新的子图像集合I’n,对新的子图像集合I’n按照像素对应关系进行组合,最终得到的组合图像就是经过亮度均衡的投影特征采集图像:
I'n=invFFT(IFFT-n) (14)
公式(14)中,I’n表示对频域子图像集合IFFT-n进行逆傅立叶变换得到的空间域中新的子图像集合,IFFT-n表示子图像区域In进行快速傅立叶变得到的频域图像集合,invFFT表示逆快速傅里叶变换计算;
(4)使用计算机视觉方法并结合摄像头采集的图像数据和图像锐利度评价指数,对投影图像进行多尺度卷积模板计算;该步骤包括以下子步骤:
(4.1),将步骤(3.2)得到的参考图像区域Iref作为卷积参考图像,并使用多尺度高斯卷积核进行高斯滤波处理;处理过程中,公式(2)高斯卷积核的sigma取值为0.5、1、1.5、2、2.5、3、3.5、4共8种情况,得到8组高斯卷积模糊模板;
(4.2)以步骤(4.1)得到的8组高斯卷积模糊模板作为模糊模板,使用步骤(3.2)改进的Sobel-Tenengrad聚焦评价函数计算出各自图像锐利度,并将所有子图像集合与之比较得到各自的锐利度最接近的模板,完成与模糊模板的最相似清晰度匹配并标记模板序号;
(4.3)对原始子图像集合进行多尺度维纳滤波计算并重组投影图像:使用经典的维纳滤波方法对原始投影图像进行模糊核反卷积计算,首先将原始图像使用公式(15)进行频域转换,然后使用公式(16)进行维纳滤波计算,其中,公式(15)中H(u,v)为公式(1)的高斯滤波核,sigma的数值选择之前的8组模糊估计值,公式(16)的SNR为信噪比:
Ifreg(u,v)=I(u,v)H(u,v) (15)
公式(15)中,Ifreg(u,v)表示原始图像频域转换计算结果,I(u,v)为原图像在(u,v)处的图像灰度值,H(u,v)为公式(1)的高斯滤波核;公式(16)中,Iwiener为对Ifreg(u,v)进行维纳滤波计算的结果,SNR为信噪比;
(5)使用投影图像的多尺度卷积核模板计算结果并基于GPU图形渲染方法,对经过计算的投影模糊消除图像进行绘制,最终完成投影图像模糊消除。
2.根据权利要求1所述的投影图像模糊消除方法,其特征在于,所述步骤(1)中,所述***标定是使用相机平面标定法对摄像头进行校准,消除摄像头的径向畸变和切向畸变。
3.根据权利要求1所述的投影图像模糊消除方法,其特征在于,所述步骤(5)中,所述基于GPU图形渲染方法,对经过计算的投影模糊消除图像进行绘制,最终完成投影图像模糊消除是将预投影图像在显卡的第一个通道进行绘制得到一帧原始图像数据,然后使用投影模糊消除方法对该图像数据进行计算,并将经过多尺度卷积核处理的投影模糊消除图像输入第二个通道,然后在显卡的第二个通道进行像素重映射并最终绘制完成一帧新的图像,这帧图像通过第二个通道的输出端口输入给投影仪进行投影。
4.根据权利要求1所述的投影图像模糊消除方法,其特征在于,所述步骤(1)中,所述投影仪采用DLP投影仪。
5.根据权利要求1所述的投影图像模糊消除方法,其特征在于,所述步骤(1)中,所述摄像头采用网络摄像头。
6.根据权利要求1所述的投影图像模糊消除方法,其特征在于,所说的计算机是具有独立图形显卡的计算机***。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310497270.3A CN103974011B (zh) | 2013-10-21 | 2013-10-21 | 一种投影图像模糊消除方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310497270.3A CN103974011B (zh) | 2013-10-21 | 2013-10-21 | 一种投影图像模糊消除方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103974011A CN103974011A (zh) | 2014-08-06 |
CN103974011B true CN103974011B (zh) | 2017-07-11 |
Family
ID=51242995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310497270.3A Active CN103974011B (zh) | 2013-10-21 | 2013-10-21 | 一种投影图像模糊消除方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103974011B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105592258B (zh) * | 2014-10-22 | 2018-08-03 | 杭州海康威视数字技术股份有限公司 | 自动聚焦方法及装置 |
WO2016075744A1 (ja) * | 2014-11-10 | 2016-05-19 | 日立マクセル株式会社 | プロジェクタ及び映像表示方法 |
CN108242066B (zh) * | 2016-12-26 | 2023-04-14 | 通用电气公司 | Ct图像的空间分辨率增强装置和方法以及ct成像*** |
CN109993274B (zh) * | 2017-12-29 | 2021-01-12 | 深圳云天励飞技术有限公司 | 人工智能计算装置及相关产品 |
CN110530291A (zh) * | 2019-08-26 | 2019-12-03 | 珠海博明视觉科技有限公司 | 一种光栅投影法高度重建的自动对焦算法 |
CN111311686B (zh) * | 2020-01-15 | 2023-05-02 | 浙江大学 | 一种基于边缘感知的投影仪失焦校正方法 |
CN113326722B (zh) * | 2020-02-29 | 2023-06-02 | 湖南超能机器人技术有限公司 | 基于序列模式的图像模糊检测方法及设备 |
CN111678913B (zh) * | 2020-06-11 | 2022-08-05 | 浙江工业大学 | 一种基于图像识别实现溶液浓度定量测定的实验方法 |
CN112019751B (zh) * | 2020-09-07 | 2021-08-31 | 江苏骠马智能工业设计研究有限公司 | 基于标定信息的自动聚焦方法 |
CN112270738B (zh) * | 2020-11-16 | 2024-01-26 | 上海通途半导体科技有限公司 | 一种自适应的子像素渲染方法与装置 |
CN113542733A (zh) * | 2021-06-25 | 2021-10-22 | 苏州智瞳道和显示技术有限公司 | 一种光机清晰度调测方法和*** |
CN114355953B (zh) * | 2022-03-18 | 2022-07-12 | 深圳市朗宇芯科技有限公司 | 一种基于机器视觉的多轴伺服***的高精度控制方法及*** |
CN114723642B (zh) * | 2022-06-07 | 2022-08-19 | 深圳市资福医疗技术有限公司 | 图像校正方法、装置及胶囊内窥镜 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009090641A1 (en) * | 2008-01-17 | 2009-07-23 | Link It Ltd. | Multi-scale representation of an out of focus image |
CN101567081A (zh) * | 2009-06-03 | 2009-10-28 | 哈尔滨工程大学 | 一种手部静脉图像增强方法 |
CN101916175A (zh) * | 2010-08-20 | 2010-12-15 | 浙江大学 | 自适应于投影表面的智能投影方法 |
CN101930601A (zh) * | 2010-09-01 | 2010-12-29 | 浙江大学 | 一种基于边缘信息的多尺度模糊图像盲复原方法 |
CN103353985A (zh) * | 2013-03-27 | 2013-10-16 | 西华大学 | 一种图像高斯模糊的测度方法 |
-
2013
- 2013-10-21 CN CN201310497270.3A patent/CN103974011B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009090641A1 (en) * | 2008-01-17 | 2009-07-23 | Link It Ltd. | Multi-scale representation of an out of focus image |
CN101567081A (zh) * | 2009-06-03 | 2009-10-28 | 哈尔滨工程大学 | 一种手部静脉图像增强方法 |
CN101916175A (zh) * | 2010-08-20 | 2010-12-15 | 浙江大学 | 自适应于投影表面的智能投影方法 |
CN101930601A (zh) * | 2010-09-01 | 2010-12-29 | 浙江大学 | 一种基于边缘信息的多尺度模糊图像盲复原方法 |
CN103353985A (zh) * | 2013-03-27 | 2013-10-16 | 西华大学 | 一种图像高斯模糊的测度方法 |
Non-Patent Citations (2)
Title |
---|
A Multiscale Antidiffusion Approach for Gaussian Blurred Images;Q.Li et al;《Proc.IEICE Trans. Fundamentals》;19971026;238-241 * |
自适应复杂环境的投影图像校正算法;朱博 等;《计算机辅助设计与图形学学报》;20120731;941-948 * |
Also Published As
Publication number | Publication date |
---|---|
CN103974011A (zh) | 2014-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103974011B (zh) | 一种投影图像模糊消除方法 | |
US9479754B2 (en) | Depth map generation | |
TWI455062B (zh) | 三維視訊內容產生方法 | |
KR102120046B1 (ko) | 오브젝트를 표시하는 방법 | |
Kronander et al. | A unified framework for multi-sensor HDR video reconstruction | |
CN110832541A (zh) | 图像处理装置和方法 | |
KR20040043157A (ko) | 디지털 영상을 그 잡음을 고려하여 수정하기 위한 방법 및시스템 | |
US8629868B1 (en) | Systems and methods for simulating depth of field on a computer generated display | |
CN103606132A (zh) | 基于空域和时域联合滤波的多帧数字图像去噪方法 | |
JP2012248183A (ja) | 3d表面形状をキャプチャーするための方法およびシステム | |
CN105488791B (zh) | 自然背景中图像边缘的定位方法及装置 | |
CN105023260A (zh) | 一种全景图像融合方法及融合装置 | |
Sheng et al. | Depth-aware motion deblurring using loopy belief propagation | |
CN109708842A (zh) | 一种基于单像素成像的相机镜头点扩散函数测量方法 | |
CN111243051B (zh) | 基于肖像照片的简笔画生成方法、***及存储介质 | |
CN109299634A (zh) | 斑检测方法、***、设备及存储介质 | |
WO2021128593A1 (zh) | 人脸图像处理的方法、装置及*** | |
CN106709888B (zh) | 一种基于人眼视觉模型的高动态范围图像产生方法 | |
CN116342519A (zh) | 一种基于机器学习的图像处理方法 | |
Hoffmire et al. | Deep learning for anisoplanatic optical turbulence mitigation in long-range imaging | |
Lin et al. | Learning lens blur fields | |
CN115753019A (zh) | 采集设备的位姿调整方法、装置、设备和可读存储介质 | |
Tezaur et al. | A system for estimating optics blur psfs from test chart images | |
CN114245097A (zh) | 一种基于三色掩膜单彩色相机的三维成像方法及装置 | |
Jia et al. | A multi-scale patch-wise algorithm for multi-exposure image fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |