CN101438318A - 减少场景图像中的模糊的方法和场景图像去模糊装置 - Google Patents
减少场景图像中的模糊的方法和场景图像去模糊装置 Download PDFInfo
- Publication number
- CN101438318A CN101438318A CNA2007800167046A CN200780016704A CN101438318A CN 101438318 A CN101438318 A CN 101438318A CN A2007800167046 A CNA2007800167046 A CN A2007800167046A CN 200780016704 A CN200780016704 A CN 200780016704A CN 101438318 A CN101438318 A CN 101438318A
- Authority
- CN
- China
- Prior art keywords
- modulation
- camera
- image
- motion
- shutter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 230000008569 process Effects 0.000 claims description 16
- 230000010354 integration Effects 0.000 claims description 12
- 239000007787 solid Substances 0.000 claims description 4
- 230000010287 polarization Effects 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 230000005670 electromagnetic radiation Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 abstract description 33
- 230000006870 function Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 9
- 238000005070 sampling Methods 0.000 description 9
- 230000003068 static effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- NBIIXXVUZAFLBC-UHFFFAOYSA-N Phosphoric acid Chemical compound OP(O)(O)=O NBIIXXVUZAFLBC-UHFFFAOYSA-N 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 206010038743 Restlessness Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 208000024754 bloodshot eye Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000007373 indentation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002969 morbid Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/689—Motion occurring during a rolling shutter mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
一种对相机获取的场景的图像去模糊的方法和***。根据开闭序列对获取的场景的光场进行时间调制。在曝光时间期间通过相机的传感器对经调制的光场进行积分,以生成编码后的输入图像。根据拖影矩阵的伪逆矩阵对编码后的输入图像进行解码,以产生模糊减少的解码后的输出图像。
Description
技术领域
本发明总体上涉及图像处理,并且更具体地涉及对图像进行去模糊。
背景技术
运动是对人类视觉感知的重要帮助。它有助于我们观察、解释和更好地理解我们的环境。尽管它对人类观察者是有用的,运动常常不利于摄影。最清晰和最细腻的图像要求完全静止的相机和场景。这对于自然设置下的业余摄影来说是极其困难的。
常规的相机包括多个手动或自动控制,用于处理各种相机参数和场景参数,例如焦深(focus depth)和曝光时间。然而,处理场景中的运动的解决方案有限。典型地,曝光时间随着运动量的增加而减小。
当前的成像实践一般遵循“瞬时的”理想(ideal)、无需计算的零阶模型运动选择。理想地,使曝光时间尽可能最长,从而使运动对象看起来仍然基本上不动。
期望提供一种改进的感测(sensing)方法,该方法将能够使数字相机使用一阶运动模型。
运动模糊是在获取图像时的积分或“曝光时间”过程中相机与场景之间的相对运动引起。可以通过图像解卷积而将运动模糊图像恢复到丢失的空间频率,只要运动是平移不变的(至少是局部地平移不变的),并且也称为点扩散函数(PSF)的导致模糊的模糊函数是已知的。
然而,图像解卷积属于一类不适定(ill-posed)的逆问题,该问题的解的唯一性无法建立,并且该解对输入数据中的摄动(perturbation)过于敏感。已知多种运动去模糊和再模糊的技术。
曝光时间解决方案
缩短曝光时间是常用的解决方案。然而,短曝光时间增加了噪声,并且不必要地对图像的静止区域带来损失。高速相机可以捕捉快速运动,但其就感测、带宽和存储而言是昂贵的。高速相机也无法利用帧间的相关性(coherence)。通常,高速相机要求明亮的光。借助适度曝光时间且持续时间极其短暂的闪光能够获得高速对象的视觉震撼结果。然而,在户外或远距离场景中闪光灯(strobed flash)通常不切实际。此外,闪光仅仅捕捉了瞬间的动作,而无法表示场景中的整体(general)运动。
智能相机
为了克服相机运动,使用对相机运动进行补偿的惯性传感器,自适应光学器件能够被物理地稳定。另选地,一些CMOS相机在正常曝光时间内执行高速帧捕捉,使得能够去除基于多个图像的运动模糊。给定合理的曝光时间,这些技术就能够产生清晰和鲜明的图像。
混合成像***可使用辅助低分辨率高帧率传感器来估计PSF。即使长时间曝光,精确的PSF也能够使去模糊成为可能。这些方法对相机运动进行了补偿,但没有对场景内的对象运动做出响应。
视频分析
可以将部分信息合并以便基于由摄像机捕捉到的连续帧或者根据由具有重叠曝光时间的多个协同定位的相机捕捉到的帧来对视频进行估计和去模糊。
后处理解决方案
给定模糊PSF,主要有两类对图像去模糊的方法。第一类方法在频域中能够使用维纳滤波器或正则求逆(regularized inversion),并且需要计算去模糊图像的傅立叶(余弦)变换。第二类方法包括迭代更新法。它们包括Lucy-Richardson算法和基于图像统计而对丢失指数(loss indices)进行迭代优化的其它更新。
通过使用在曝光较长的照片中观察到的色彩限制也能够改善有噪声的短曝光的图像。基于应用到PSF的各种假设,广泛地采用盲解卷积来增强单个模糊图像。对于任意运动,PSF估计仍然是具有挑战性的问题。并且即使PSF已知,去模糊图像也由于放大的噪声、重采样和量化问题的缘故而通常显著劣于原始图像。通常是只可能对小的运动进行去模糊。
编码采样
在信号处理中普遍使用二进制码和连续码来调制具有宽带响应的信号。这些码包括“啁啾”(chirp),这些啁啾在脉冲间隔期间对宽频带上的载波进行扫描。最大长度序列(m序列)和修正均一冗余阵列(MURA)是用于通过循环卷积(circular convolution)来编码和解码的常用选择。编码孔径天文成像使用MURA码来改进信噪比,同时捕捉不适于常规透镜的X射线波长和伽玛射线波长。
宽带信号在许多技术中都有应用,例如用于抗噪声通信的扩频编码和码分复用(CDMA),用于减小与其它信道的干扰。声学家使用m序列来设计展现了最小声音衍射的二维面板。
考虑经由解卷积来对一维信号进行去模糊的问题。目标是估计由线性***的点扩散函数P(x)模糊的信号S(x)。然后,已知测得图像信号I(x)为
I(x)=P(x)*S(x), (1)
其中*表示卷积。在理想情况下,经由解卷积滤波器P+(x)能够恢复图像的良好估计S′(x),从而:
S′(x)=P+(x)*I(x) (2)
在带限点扩散函数或具有不完全覆盖的傅立叶域的点扩散函数情况下,信息丢失并且无法解卷积。例如,在曝光持续时间T内捕捉图像等效于在时域中借助箱形滤波器进行的卷积。所得到的改变是平坦模糊。在频域中,信号乘以带限的同步函数,该同步函数在2/T的间隔处为零并且在其它在大多数频率处具有显著的衰减。
为了克服此问题,多种方法利用迭代最大似然估计法根据可能解的范围选择其重建。一类公知的技术使用基于贝叶斯公式的统计模型来形成图像。Lucy-Richardson算法是基于非线性比的方法,该方法产生非负灰度级值。迭代解卷积技术可应用于整体图像模糊,并且假设整个信号I(x)可用。但迭代解卷积无法处理其中场景的几个部分具有不同PSF的情况,例如运动对象位于静止有纹理背景前面的情况。当运动对象的一部分被遮挡时,无法观察到I(x)的一些值。
发明内容
常规相机在曝光时间期间使快门打开,并且试图利用图像稳定和/或解卷积技术来对图像去模糊。这种技术可减少由于相机运动而引起的整体图像模糊,但无法校正运动遮光板(occluder)引起的模糊。此外,解卷积会产生强噪声伪影。
本发明的实施方式最小化了相机所获取的场景图像中的运动模糊。在整个曝光时间期间不是保持快门打开,而是使快门快速地“闪动”(flutter)。即,快门以不规则时序打开和关闭,以便产生编码图像。
然后可以对编码图像进行解码,以便改进运动对象的图像中的细节。解码使用了线性代数来将编码后的模糊图像分为锐利、静止的前景和背景图像。
本发明的实施方式可对具有极大运动、纹理背景和局部遮光板的图像去模糊。
应当注意:此处描述的调制、采样和解码技术也可与其它能量领域例如超声和声纳感测一起使用。在该领域中,由于装置的限制或因为声纳装置的运动,所感测到的信号被低通滤波。通过使用时间采样码,可以减少高频分量的衰减。
高频采样技术也可用于导致图像拖影(smear)的其它装置。例如,透镜的焦距不准导致散焦d模糊图像。通过将高频图案(pattern)放置在透镜前面,可以对像素模糊进行编码,从而在稍后的解码过程中能够恢复聚焦的锐利图像。
应当注意:调制和编码可以在相机外部或内部实现,并且可以包括幅度、频率、相位、脉宽、不透明度(opacity)或快门的偏振调制(polarizationmodulation)。
发明效果
经由闪动曝光序列进行的去模糊具有多个优点。编码成像方法,例如在航天或断层成像术中使用的这些方法,典型地对原始图像进行感测,这些原始图像对人类观察者是无意义的。幸运的是,在本发明中,编码后的曝光图像既使未成功地解码也是有用的。与平坦模糊相比,图像在最坏的情况下以一半的强度模糊了一半。编码后的序列容易实现,因为与更复杂的连续不透明度控制相反,其需要二进制不透明度的交换(toggling)。在数字相机中,可以直接利用快门实现二进制切换过程或者在感测芯片自身上实现二进制切换过程。
附图说明
图1A为根据本发明实施方式的去模糊相机的示意图;
图1B为根据本发明实施方式的去模糊相机的示意图;
图1C为根据本发明实施方式的去模糊相机的示意图;
图1D为根据本发明一个实施方式的图像去模糊方法的流程图;
图2为随时间运动的对象的示意图和所得到的强度轮廓;
图3为根据本发明一个实施方式的用于将未知图像变换为模糊图像的线性***的示意图;
图4A为根据本发明一个实施方式的模糊图像;
图4B为与图4A中的图像对应的去模糊图像;
图4C为根据本发明一个实施方式的具有边界框(bounding box)的图像;
图4D为根据本发明一个实施方式的具有切空部位(cut-out)的图像;
图4E为根据本发明一个实施方式的具有散景(Bokeh)效果的图像;
图5为根据本发明一个实施方式的具有重叠的运动对象的图像;
图6A为具有遮挡对象的图像;以及
图6B为将图6A中的遮挡对象去掉后的图像。
具体实施方式
图1A、1B和1C示出了根据本发明实施方式的去模糊相机的简化示意图。相机包括透镜110、固态图像传感器120、快门130和快门控制器140。在一个优选实施方式中,该相机为数字相机,并且传感器包括像素阵列。这些像素可以包括在Bayer网格中交织的RGB像素。该相机可以是单个的光传感器。该相机也可以是产生图像序列或帧序列的数字摄相机。在线150上产生输入图像作为数字信号。
在图1B所示的实施方式中,通过传感器控制器141来实现图1A中的快门功能,传感器控制器141可以瞬时地开闭(on and off)传感器120,同时获得输入能量场101并进行积分。该能量场可以是任何类型的电磁辐射(例如可见光或红外光)或者声学辐射(例如超声和声纳)。
在图1C所示的实施方式中,在获取图像的同时,闪光灯单元175“闪动”或频闪(strobed)。
所有实施方式基本上都根据二进制开闭序列对传感器120获取的光场在时间上进行调制,从而在曝光时间期间产生积分模糊输入图像150。
并非在曝光时间的全部持续时间期间使快门保持打开,而是我们使快门“闪动”,即以快速的不规则的二进制序列或时间码型使快门打开和关闭。不同的二进制序列可用于图像序列中的不同图像。还应当注意:二进制序列可以为任意的开闭序列,或者为伪随机序列。即,不像在常规相机中那样仅具有单个开(打开)并紧随着单个闭(关闭),而是快门打开和关闭多次,并且快门打开和关闭的次数在曝光持续时间内是变化的。
我们将所得到的图像称为编码模糊图像I(x)。闪动以如下方式交替打开和关闭运动积分,该方式为所得到的点扩散函数(PSF)P(x)在傅立叶域中具有最大覆盖范围。换句话说,利用二进制开闭序列进行的调制导致了所得到的点扩散函数的适定的(well-posed)可逆傅立叶变换。在没有快门的相机实施方式中,可以通过在曝光时间结束时对传感器积分和采样的同时开闭传感器而实现闪动。也可以通过快速地开闭闪光灯单元而实现“闪动”或调制。传感器的闪动还可以与闪光灯的频闪相结合以实现特殊效果。
开/闭切换时间可以小于100毫秒。典型地,总曝光时间大约为200毫秒,并且编码曝光时间包括例如大约52次切换。
所观察到的模糊图像是经调制的光场的时间积分与空间对象运动之间的卷积。虽然对象运动事先是未知的,但可以选择时间码型,从而使卷积(模糊)图像I(x)保持相对较高的运动对象空间频率,并且使我们能够使用解码过程160来恢复空间频率。如图所示,该解码过程可以是在相机内部,在这种情况下输出图像152是一去模糊图像。另选地,过程160可外部地应用于模糊输入图像。
图1D示出了根据本发明一个实施方式的输入图像去模糊方法。使用开闭编码码型183由闪动控制器182对场景的光场101进行调制和编码(181),从而产生编码后的和模糊的输入图像184。编码图像被解码(185),从而产生去模糊的输出图像186。
图4A和4B示出了运动出租车前后的图像。
运动模型
更一般地,如图2和图3示意性地示出的那样,我们使用线性代数来描述卷积。令B表示模糊的输入图像像素值。图像B的每个像素是所期望的未模糊图像的强度的线性组合X,并可以写作:
AX=B+η (3)
矩阵A表示拖影矩阵。拖影矩阵描述了输入图像与点扩散函数P(x)的卷积,而η代表由于噪声、量化误差及模型不精确度所导致的测量不确定性。
对于二维PSF,矩阵A为循环(circulant)分块矩阵,而对于一维PSF来说,矩阵A为循环矩阵。为简明起见,我们将针对一维PSF情况描述编码和解码过程,该一维PSF情况可容易地扩展到二维的情况。
给定T秒有限曝光时间,我们将积分或曝光时间划分为m个时间片段(称为时块),从而每个时块为T/m秒长。开闭时块码型是长度为m的二进制序列183。运动模糊过程为时间201到空间203投影,其中在一维运动情况下,T秒内的运动导致了k个像素的线性模糊。因此,在单个时块的持续时间内,拖影覆盖了k/m个像素。
如图2示意性地所示,考虑对象随时间在黑色背景的前面在空间上向上运动并沿着垂直扫描线评价(evaluate)的简单情况。如果PSF在图像像素坐标下长度为k,则在第一时块内位置(u,v)处的像素被线性地拖影直到像素(u,v+k-1)。如果对象沿着运动方向的长度为n个像素,则总的模糊宽度为w,其中w=(n+k-1)。我的目标是根据观察到的n+k-1个像素来确定n个像素的最佳估计。
拖影矩阵A可如下获得。未知图像X中的每个像素都对拖影之后的总共k个像素有贡献。循环矩阵A的第一列是后面紧接着n-1个零的长度为k的PSF向量。通过循环地单步向前对条目进行置换(permute)而从前一列获得每个后续列。因此,在黑色背景的情况下,与P(x)的线形卷积或者乘以循环矩阵A等效于与填充有n-1个零的长度为k的PSF向量的循环卷积。
在实践中,由于X沿拖影方向仅具有n个未知的值,因此可以通过将矩阵A截取到前n列而创建过约束的最小二乘***。因此,矩阵A的大小变为(n+k-1)×n。在平坦模糊的情况下,具有恒定值的长度为n的输入信号的时空投影产生了具有梯形强度轮廓的响应。轮廓中的每个斜边(ramp)跨越k个像素,并且平坦段为n-k-1个像素。对于编码后的模糊来说,强度轮廓的整体形状仍然是梯形,但快门的快速闪动使斜边变为更呈锯齿状的形状210,如图2所示。
码选择
我们的目标是选择改善成像过程可逆性的时间码(temporal code)。我们通过研究编码矩阵的条件数及码的频谱的方差来分析可逆性。
在存在不确定性和噪声的情况下,可通过标准矩阵条件分析来判定扩散矩阵A的可逆性。条件数为最大奇异(singular)值与最小奇异值的比,并且表示解X对输入图像B中的噪声η的灵敏度。我们注意到:循环矩阵的特征值包括循环矩阵的第一列的离散傅立叶变换(DFT)的幅度,并且矩阵A中的每一列为填充了零的PSF向量。基于该观察,我们选择具有宽带频率响应的码序列,从而使拖影矩阵的对应条件数尽可能地大。
理论上讲,我们可以例如使用类啁啾函数连续地随时间对所得到的滤波器的不透明度进行调制,从而获得宽带频率响应。然而在实践中,具有固定时块持续时间的二进制(开闭)不透明度切换更容易实现。
对宽带二进制码的选择包括Walsh-Hadamard码、最大长度序列和修正均一随机排列(MURA)码。MURA序列看起来是明显的选择,因为其离散傅立叶变换是平坦的。然而对于运动模糊来说,与填充有n-1个零的长度为k的PSF向量进行循环卷积,其中n是沿着运动方向的以像素为单位的对象的长度。如下所述,MURA对于填充有零的码型而言不是最优的,从而促使我们寻找可能最好的码。
没有填充零的MURA码型的DFT是平坦的。然而,DFT仅能够精确地求解离散频率。对于落在DFT线之间的分量存在谱泄漏。零填充导致频率分量的更大分辨率,并且揭示了MURA码型的弱点。
由于解码涉及到频谱的反转(inversion),我们还将光滑度约束添加到我们的对最佳二进制时块码型的搜索中。频率响应应当具有低方差,从而在解码期间不正确的PSF估计不会导致不正确的空间频率的放大。箱形滤波器序列和填充MURA序列的频率响应包括深降(deep dip)或零,从而产生两者的高方差。频域中的尖峰(spike)导致了伪(spurious)放大。
为了找到具有低方差和宽带响应的码,我们对长度为m的二进制码202执行穷尽搜索。寻找最平坦响应的线性搜索涉及寻找具有最大频率幅度与最小频率幅度之间的最小比的码。此外,我们通过解的标准偏差对解进行加权。
最后,我们确定序列长度183的长度m。如稍后所述,理想的时块数等于模糊大小k。根据本发明的实施方式的相机理想地具有自动闪动模式(一种类似于自动聚焦特征的运动自适应形式),以基于感测到的光流自行(on the fly)确定长度m。可通过实验确定折衷值。我们选择m=52个时块的序列。我们使用穷尽性搜索而找到的最优码序列为:
1010000111000001010000110011110111010111001001100111
运动解码
线性解
给定估计出的PSF,我们可以使用已知的图像解卷积过程来对模糊图像去模糊。然而在下述几种情况下,我们发现难以经由解卷积添加更多约束,而是,线性代数过程法更切实际并且是更优选的。我们使用最小二乘估计将去模糊的图像求解为:
其中在最小二乘的意义上,A+是矩阵A的伪逆(pseudo-inverse)阵。由于输入图像可具有不同于m的运动模糊k,我们首先通过因子m/k来扩大/缩小给定的模糊图像。然后,我们对X进行估计,并且通过k/m将X缩放回其原始大小。
在以下部分中,我们侧重于一维的PSF。现实世界中的对象在帧内的运动由于能量和惯性约束的缘故而趋向于一维运动。我们将运动的一维线状路径称为运动线。注意:给定运动线上的场景特征仅对该运动线上的像素有贡献,因此运动线是独立的。
可独立于其它运动线而确定每个运动线的解。在以下描述中,不失一般性,假设运动线为朝着水平扫描线。然而在例如相机抖动的例子中,PSF通常是二维下的一维流形(manifold)的集合。我们的方法也可以扩展到这些PSF。
通常,去模糊过程160需要知道哪些像素属于图像的模糊运动前景区域,哪些属于未模糊的静止背景区域。分类错误可能导致解码错误,其中,未模糊的背景像素损害了沿着整个运动线的结果。
可以使用任何已知的方法将区域分类为模糊区域和未模糊区域。在静止相机的情况下,经由帧差分或通过对运动对象在两个连续帧内的位置进行比较可以获得运动对象的“切空部位”或侧影(silhouette)。在交互式去模糊过程中,如图4C所示,用户可以指定围绕模糊对象的轴向对齐的边界框400。对图像中的运动对象进行定位的许多技术是已知的。
边界框的宽度wb通常比模糊宽度w=(n+k-1)稍大。用户指定模糊长度k,该模糊长度k表示对象的形状为n′=wb-k+1。值n′可以认为是n的逼近值。如果长度沿着每个运动线不同,则用户指定切空部位401,如图4D所示,而不是指定边界框。
背景估计
我们现在解决由于静止非模糊背景前面的不透明对象运动而导致的运动模糊问题。这是常见但又困难的情况,因为运动对象趋向于与背景“混”(blend)在一起。获知运动对象的PSF以对图像去模糊是不够的。我们探讨该问题,对情况进行分类,并且发现在某些情形下,在模糊对象的边界处可见的未知背景能够在去模糊过程期间恢复。
模糊图像由下式给出:
B=AX+AgXg (5)
其中X是运动前景对象,Xg是静止背景,Ag是背景衰减矩阵,其元素对静止背景进行衰减。矩阵Ag可以书写为:
Ag=I-diag(A*I(n+k-1)×1) (6)
其中Iq×1是全1且长度为q的向量,diag(v)是通过将向量v置于主对角上而返回的方矩阵。
对背景估计进行的分析是基于对模糊区域有贡献的像素背景数量g。在大小为(n+k-1)的模糊区域内,当n>k时,背景仅在边缘附近可见,并且仅对2k个像素有贡献。
然而,当n<k时,对象拖影比其长度更长,并且在所有模糊像素中背景局部地可见。因此,g=min(2k,n+k-1)。给定在(n+k-1)个像素处的观察值,我们对最少n+2k个值进行估计。可通对对象运动和与背景图像对应的纹理复杂性添加约束而估计另外的k+1个未知数。
我们考虑以下情况来估计前景X和背景Xg:
1.具有已知形状和纹理背景的宽对象:n>k;
2.具有未知形状的宽对象:n>k并且
i. 恒定背景;
ii. 纹理背景但纹理的边缘位于模糊区域之外;
iii. 纹理背景,且纹理边缘穿过模糊区域;及
3.在大于其长度的距离上被模糊的窄对象:n<k。
在情况1中,我们限定长度为n′=n的指定模糊区域,从而指定的切空部位精确地标出了模糊对象的形状。由于我们知道背景像素的梯形部分的斜边的精确位置,因此我们可以创建背景衰减矩阵Ag。我们可以通过做出背景具有频率这一简化假设而从背景的2k个可能值中估计出多达k-1个值。
在情况2(i)中,对象形状未知。在背景恒定时,我们可以将背景当作产生了“拖影”值的运动对象的一部分。剩下的问题仅是对单个未知背景色彩进行估计。由于每个运动线是独立的,我们可以恢复每个运动线的不同背景。这种估计是可能的,仅仅因为我们的编码曝光方法提供了拖影矩阵A的相当多的条件数。对于箱形滤波的或平坦的模糊而言,条件数较低,并且试图找到该相同估计是非常不稳定的。拖影矩阵的多个奇异值对于箱形滤波的PSF来说相对较小,并且随着未知数的数量增加,线性解变得病态(ill-conditioned)。
在情况2(ii)中,背景不是恒定的,但在背景的边缘位于模糊区域之外时我们仍然可以恢复前景。我们使用梯度域方法来消除背景的变化。前景中的最高可能梯度由PSF衰减了2/m的因子或者更多。因此,沿着运动线的所有幅度大于2/m的梯度可能是背景边缘,并且将这些梯度设置为零。通过对从前景区域起向外的变更梯度进行积分而重建出了运动线。
在情况2(iii)中,背景边缘与前景模糊混在一起,并且被高度地衰减。在这种情况下我们仅可以合成背景纹理。
在情况3中,每个模糊像素具有来自背景的贡献。注意:这种情况不具有唯一解。因为背景衰减对所有像素而言都是非零的,我们可以获得导致相同模糊图像的X和Xg二者的多个解。具体地说,给定解X1和Xg1,我们总是能够找到另一个解X2,并且对背景进行修正,使得:
AX1+AgXg1=AX2+AgXg2 (7)
然后值Xg2由下式给出:
Xg2=(Ag)-1(A(X1-X2)+AgXg1)
注意:在n>k的其它情况下,由于完全没有看到背景,并且背景贡献矩阵Ag不可逆。
虽然我们侧重于物理值的线性或迭代估计,但也可以获得其它视觉上结果令人愉快的解。这些技术包括纹理合成、图像修复(inpainting)、结构传播、或者未遮挡背景或“远方背景(clean plate)”图像的捕捉。
简单运动推广
通过应用图像弯折(warping),我们能够使我们的方法160与沿着与消失点交汇的线的立体运动同样地对围绕固定中心的平面旋转中的、投影为仿射变换的简单运动的更广泛的集合进行解码。虽然编码模糊的PSF最初是非线性的和位置相关的,但是可以对大多数线性运动进行弯折,从而产生具有与图像扫描线对齐的空间不变均一长度位移向量的图像。由于运动模糊跟随着该相同的位移向量场,弯折图像提供了现在适于解码的均一宽度编码模糊区域。为了产生最终结果,我们只是应用反弯折,以使解码图像返回到其原始的几何形式。在立体弯折的情况下,可以在对运动线的消失点进行估计之后应用纠正(rectification)。在纠正之后,所有的弯折运动线在相机图像空间内平行。
面内转动(例如旋转的风扇或摆动的钟摆)产生了形成围绕转动中心的同心圆的运动线。可通过在极坐标下去模糊来对此处理。
再合成
去模糊的结果对广范的应用是有益的。我们描述了再造(recreate)艺术性模糊的例子,并且在以下段落中描述其它应用。
运动散景
我们可从单个模糊图像中产生任意运动模糊。散景是日文术语,其通常用来描述图像中变化的、艺术地控制的聚焦或眩光效果。通过使用针孔或具有可变形状的孔径,摄影师可以使明亮的点状对象当这些点位于焦外时看起来像盘形、三角形、星形和其它形式。焦外区域的色彩和亮度有助于感知特定质量的光线和户外感觉。
我们通过使用艺术家选择的时块贡献而在时间模糊中产生散景。由箱形滤波而导致的平坦模糊产生了图像,该图像中丢失了大多数可见细节。卡通艺术家或汽车广告商通过生成小的条纹(streak)而不是通过利用箱形滤波器使整个图像形成拖影来表示运动。
我们可以通过不对沿着运动线的具有高梯度的像素进行解码而从去模糊像素产生该图像。我们使这种局部高梯度的图像形成拖影。注意:背景适当地“突出于(peak)”这些条纹。然后,我们将该拖影图像重叠在适度模糊的结果上,如图4E所示。
运动粘贴
如图5所示,我们可以将新对象叠加在恢复后的运动对象与由于运动引起而适当地混合了三个元素的背景之间。为此,我们将目标图像在时间上划分为具有k个独立时块图像的序列。对于每个时块,我们利用针对该时块而线性插值的位移来定位原始汽车和***的汽车。这三层定义了遮挡关系。然后,我们使用所期望的PSF对所产生的k个图像进行混合。
应用
相机运动
通常使用基于陀螺的光学器件物理稳定来解决相机运动。还能够从相机摇动导致的模糊图像来恢复相机运动。在这种情况下,PSF比较复杂,并且可能需要单独的方法来对二维PSF进行估计。这可以经由嵌入到相机中的加速度计或陀螺仪或者利用辅助低分辨率高帧率相机来实现。因为我们假设平移不变,即所有的点共享相同的PSF,因此只需要对单个特征进行跟踪。例如,可以将点光源(例如发光二极管)放置在视场中。将光线的拖影用作我们的PSF。
局部遮挡移除
运动模糊将运动对象的色彩沿着其运动线广泛分散。如果运动对象被狭窄且静止的前景对象局部地遮挡,则我们仍然可以恢复运动对象的所有局部遮挡区域的色彩。诸如图像修复的技术“幻化(hallucinate)”了可能的像素值,但编码模糊能够使我们包围完全观察到的***。
在一维PSF的情况下,如果模糊宽度的大小为w,并且局部遮光板的长度为d,则在所记录的n+k-1个像素中,只有n+k-1-d个像素可用来重建n个像素。如果模糊大小k大于遮光板长度d,则可以恢复所有的丢失的d个像素。图6B示出了从图6A中以一个杆作为遮光板的模糊图像恢复的汽车图像。
我们可以在离散频域中通过矩阵条件分析来分析编码后的曝光。然而,各种要素:码序列、码长度、模糊长度和解码之后对应的噪声它们之间的关系也可以为连续域。我们对二进制码进行优化,以便通过分析离散傅立叶变换来改善拖影矩阵A的特征值。我们相信,根据本发明实施方式的码可应用于其中在解码过程中将线性混合模型反转的其它领域。我们通过穷尽性的线性搜索而获得了我们的码。然而,也可以使用其它搜索技术。
通过编码后的曝光进行的解卷积展现了与单个通信信道的码分复用及解复用的相似性。如此处所述,CDMA领域和带有背景噪声的同步正交码或信道接收中的进展能够改进并拓展编码模糊摄影中的结果。编码和重建与断层扫描术及编码孔径成像具有几个相似性,并且利用这种关系可以在时间图像处理中产生进一步的益处。
效果
对摄像机和运动视频的扩展通过利用帧对帧的相关性而可以改善运动估计。两个或多个相机的重叠时块能够产生非常精细的时间分辨率。类似地,用于从多于一个对象的重叠运动中对模糊进行解码的方法能够产生另外的复杂的遮挡效果。
通过处理一般的三维运动,正如我们针对局部遮挡情况描述的一样,当存在运动模糊时,单个图像分片(patch)的不完全采样可以用于慢速运动的“动作回放”序列。
聚焦和深度也影响二维下的模糊大小。将编码后的聚焦与编码后的曝光组合起来可以产生基于图像中的最大局部方差的可解码深度图。
超声和声纳
应当注意:我们的调制、采样和解码技术还用于其它领域,例如超声和声纳感测。其中,感测信号由于装置限制或因为声纳装置的移动而被低通滤波。通过使用时间采样码,可以减少高频分量的衰减。
聚焦
我们的高频采样技术也可用于导致输入图像中的拖影的其它装置。例如,透镜的焦距不准导致散焦(defocus)模糊图像。通过将高频图案放置在透镜前面,可以对像素模糊进行编码,以便在稍后的解码过程中恢复聚焦的锐利图像。
PSF计算
编码后的曝光可以使PSF估计更容易实现。由于平坦模糊的原因,在单帧内进行运动估计相对困难。因为编码后的曝光保留了更多的高频分量,因此可应用帧间光流处理。已知用于根据图像序列和视频来分析运动的多种技术。编码曝光摄相机可以极大地改善光流、PSF估计和图像稳定的结果。通过利用连续帧内的相关性,还能够实现新的渲染效果。相关性可用来改进背景建模,从而在解码操作期间减少背景场景中的干扰。
相机
在一个实现中,我们使用了外部触发的快门。内部实施可以根据全局分布的时块信号在传感器的像素级开始和停止入射光的积分。
在这种情况下,R、G和B像素可以使用利用了Bayer网格(即色彩传感器交织)的不同二进制码,以获得更精细的时空分辨率。这些码可以保持恒定,或者码长度可以基于帧间运动而自适应地选择。这些码还可以用来控制频闪发光闪光灯。因此,此处描述的技术可用于其中对象高速运动的应用中。频闪预闪光灯对场景分析和减少红眼可能是有效的。极短的闪光持续时间通常用来定格场景运动,但编码闪光序列提供了更强大的控制运动感测的能力。
然而,周围光线的存在改变了具有编码闪光序列的运动的PSF。结果是两个PSF的线性组合:由环境光引起的平坦模糊,以及由频闪光引起的编码模糊。如果PSF是正交编码的,则变得能够分别恢复平坦模糊和编码模糊。类似地,多相机、多照明结构中的编码闪光与编码曝光的组合可用于恢复运动侧影、自身阴影效果(self-shadowing)及遮挡次序。
图1A、1B和1C中的相机上可装备有用于手动控制的“运动旋钮”170。与自动聚焦***类似,相机也可具有“自动闪动”装置,其中相机电子器件可以自行确定最佳码序列长度和持续时间。对于图1C所示的本发明实施方式来说,旋钮170可用来手动控制闪光灯控制器142,以便设置编码闪光序列。超声传感器或辅助低分辨率相机可通过检测和测量对象运动来触发闪动。
分析
有益的是可以对根据本发明的实施方式的解卷积输出与常规方法进行比较。
噪声
我们的解码过程中的噪声主要是由高频分量放大引起的。保留编码后的PSF,但适度地衰减除了最低频率分量之外的所有频率分量。对于线性***Ax=b,假设噪声和方差σ2独立同分布,则x的协方差阵Cx由下式给出:
Cx=σ2(ATA)-1 (8)
对于52个时块的序列183,所得到的矩阵Cx接近于对角阵,并且对于范围从100到1000个像素的对象大小,最大对角项等于77。因此,噪声放大大约为18db。相比较而言,对于平坦模糊,Cx的最大值为1474.9,其噪声放大为41.6db。
我们的方法可以将图像去模糊到单个时块内的运动的程度。与利用单个时块(即T/m秒)的曝光捕捉到的图像进行比较。由于编码曝光的累积曝光时间大约为T/2,因此模糊区域中的SNR可能要好m/2那么多。然而,对于短暂曝光成像,关键性的优点是区域内没有运动模糊,因此其不需要去模糊。我们的***可以记录具有减少的噪声的锐利图像。
分辨率
二进制码选择对***性能具有较大影响。长码(即m较大)精细地对曝光时间进行细分,并且能够对大量模糊进行解码,但对少量模糊则效率很低。相反,短码具有每时块的更长持续时间,并且无法解决单个时块内的模糊。我们希望使比值k/m保持比每时块一个像素稍大,以实现对模糊的可能最好的采样。
发明效果
经由闪动曝光序列进行的去模糊具有多个优点。诸如在航天或断层成像术中使用的编码成像方法通常感测对人类观察者来说无意义的原始图像。幸运的是,在本发明的情况下,编码后的曝光图像即使未成功地解码也是有用的。与平坦模糊相比,图像在最坏的情况下以一半的强度模糊了一半。编码序列容易实现,因为与更复杂的连续不透明度控制相反,其需要二进制不透明度的交换。在数字相机中,可以利用快门或者在传感芯片自身上直接实现二进制切换处理。
本发明的实施方式提供了对相机的积分的时间码型的改变,从而能够实际上将图像去模糊。对于运动对象,在时域中所选择的闪动序列在空间域中保持了更高的频率。
尽管以优选实施方式为例描述了发明,但应当理解,可在本发明的精神和范围内做出各种其它变更和修正。因此,所附权利要求的目的是涵盖落入本发明的真实精神和范围内的所有这种变型和修正。
Claims (41)
1、一种用于减少由相机获取的场景的图像中的模糊的方法,该方法包括以下步骤:
在曝光时间期间根据时间编码码型对由相机图像传感器获取并积分的场景的光线进行时间调制,以生成编码后的输入图像;以及
根据所述编码码型的反转码型对所述编码后的输入图像进行解码,以产生模糊减少的解码后的输出图像。
2、根据权利要求1所述的方法,其中,所述模糊由相机运动引起。
3、根据权利要求1所述的方法,其中,所述模糊由对象运动引起。
4、根据权利要求1所述的方法,其中,所述模糊由相机运动和对象运动的组合引起。
5、根据权利要求1所述的方法,其中,所述调制是离散调制。
6、根据权利要求1所述的方法,其中,所述调制是连续调制。
7、根据权利要求1所述的方法,其中,所述调制是从包括以下调制的组中选择的,即这些调制为:幅度调制、频率调制、相位调制、脉宽调制、不透明度调制、偏振调制及它们的组合。
8、根据权利要求1所述的方法,其中,通过在所述曝光时间期间重复地打开和关闭相机快门而执行所述调制。
9、根据权利要求1所述的方法,其中,通过在所述曝光时间期间重复地改变相机快门的不透明度而执行所述调制。
10、根据权利要求1所述的方法,其中,通过在所述曝光时间期间由所述相机图像传感器重复地开始和停止积分而执行所述调制。
11、根据权利要求1所述的方法,其中,通过在所述曝光时间期间在保持相机快门打开的同时重复地打开和关闭用于对所述场景进行照明的闪光灯单元而执行所述调制。
12、根据权利要求1所述的方法,其中,通过在所述曝光时间期间重复地打开和关闭相机快门并且重复地打开和关闭闪光灯单元而执行所述调制。
13、根据权利要求1所述的方法,其中,所述相机图像传感器是固态传感器并且包括像素阵列。
14、根据权利要求1所述的方法,其中,所述相机图像传感器是单个光电传感器。
15、根据权利要求1所述的方法,其中,所述相机是被配置为生成输入图像序列和去模糊的输出图像序列的摄像机。
16、根据权利要求15所述的方法,其中,对所述序列内的不同图像应用不同的时间调制。
17、根据权利要求1所述的方法,其中,所述调制使得所得到的点扩散函数的傅立叶域内的覆盖范围最大化。
18、根据权利要求1所述的方法,其中,所述调制导致了所得到的点扩散函数的适定的可逆傅立叶变换。
19、根据权利要求1所述的方法,其中,通过在所述相机内操作的过程来执行所述解码。
20、根据权利要求17所述的方法,其中,所述点扩散函数是所述经调制的光和所述场景内的运动对象的空间运动二者的积分。
21、根据权利要求1所述的方法,其中,所述时间调制被选择为:使得保留所述场景内的运动对象的相对较高的空间频率,并且在所述解码期间恢复所述相对较高的空间频率。
22、根据权利要求1所述的方法,其中,根据相机快门的打开和关闭的伪随机序列进行所述调制。
23、根据权利要求1所述的方法,其中,通过解卷积过程执行所述解码。
24、根据权利要求1所述的方法,其中,通过使用了用于估计所述输出图像的最小二乘估计的线性代数过程来执行所述解码。
25、一种对包括运动对象的场景的图像进行去模糊的装置,该装置包括:
用于在曝光时间期间对由相机的传感器获取的包括运动对象的场景的光场进行时间调制以生成编码后的输入图像的装置,其中所述调制是根据所述光场的二进制开闭序列进行的;以及
用于对所述编码后的输入图像进行解码,以产生模糊减少的解码后的输出图像的装置。
26、根据权利要求25所述的装置,其中,所述用于调制的装置是所述相机的快门。
27、根据权利要求25所述的装置,其中,所述用于调制的装置是所述相机的不透明度滤波器。
28、根据权利要求25所述的装置,其中,所述用于调制的装置是所述相机的闪光灯单元。
29、根据权利要求25所述的装置,其中,在获取所述光场的同时所述用于调制的装置打开和关闭所述传感器。
30、根据权利要求25所述的装置,其中,所述用于调制的装置按以下方式对所述光场进行调制,该方式为使得所得到的点扩散函数在傅立叶域内具有最大覆盖范围。
31、根据权利要求25所述的装置,其中,所述输入图像是所述经调制的光场的时间积分与空间对象运动之间的卷积。
32、根据权利要求25所述的装置,其中,所述调制是连续调制。
33、根据权利要求25所述的装置,其中,所述调制是离散调制。
34、根据权利要求25所述的装置,其中,所述二进制开闭序列为:
1010000111000001010000110011110111010111001001100111。
35、根据权利要求25所述的装置,其中,将所述相机的运动恢复。
36、一种用于减少场景的图像中的模糊的方法,该方法包括以下步骤:
在曝光时间期间根据时间编码码型对由传感器获取并积分的场景的能量场进行时间调制,以生成编码后的输入图像;以及
根据所述编码码型的反转码型对所述编码后的输入图像进行解码,以产生模糊减少的解码后的输出图像。
37、根据权利要求36所述的方法,其中,所述能量场是电磁辐射。
38、根据权利要求36所述的方法,其中,所述能量场是声音辐射。
39、根据权利要求36所述的方法,其中,所述调制是连续调制。
40、根据权利要求36所述的方法,其中,所述调制是离散调制。
41、根据权利要求36所述的方法,其中,所述调制是从包括对所述场景与所述传感器之间的快门进行的以下调制的组中选择的,即对所述快门进行的这些调制为:幅度调制、频率调制、相位调制、脉宽调制、不透明度调制、偏振调制及它们的组合。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/430,233 US7756407B2 (en) | 2006-05-08 | 2006-05-08 | Method and apparatus for deblurring images |
US11/430,233 | 2006-05-08 | ||
PCT/JP2007/059801 WO2007129762A2 (en) | 2006-05-08 | 2007-05-02 | Method for reducing blur in an image of a scene and apparatus for deblurring an image of a scene |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101438318A true CN101438318A (zh) | 2009-05-20 |
CN101438318B CN101438318B (zh) | 2012-06-27 |
Family
ID=38661257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800167046A Expired - Fee Related CN101438318B (zh) | 2006-05-08 | 2007-05-02 | 减少场景图像中的模糊的方法和场景图像去模糊装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7756407B2 (zh) |
EP (1) | EP2016558A2 (zh) |
JP (1) | JP4679662B2 (zh) |
CN (1) | CN101438318B (zh) |
WO (1) | WO2007129762A2 (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102005030A (zh) * | 2009-08-27 | 2011-04-06 | 索尼公司 | 用于减少运动模糊的方法、***和计算机程序产品 |
CN102082914A (zh) * | 2009-11-30 | 2011-06-01 | 佳能株式会社 | 图像处理装置及图像处理方法 |
CN102547130A (zh) * | 2010-12-31 | 2012-07-04 | 华晶科技股份有限公司 | 影像拍摄装置及其影像拍摄方法 |
CN102576467A (zh) * | 2009-07-14 | 2012-07-11 | 皇家飞利浦电子股份有限公司 | 包括移变模糊补偿的图像重建 |
CN102687500A (zh) * | 2010-08-05 | 2012-09-19 | 松下电器产业株式会社 | 图像恢复装置以及图像恢复方法 |
CN102970488A (zh) * | 2011-08-31 | 2013-03-13 | 索尼公司 | 图像处理设备、图像处理方法以及程序 |
CN103947184A (zh) * | 2011-11-14 | 2014-07-23 | 三星电子株式会社 | 使用编码光的拍摄设备和图像处理设备及其方法 |
CN105301863A (zh) * | 2014-07-29 | 2016-02-03 | 深圳市墨克瑞光电子研究院 | 液晶透镜成像装置及液晶透镜成像方法 |
CN107529062A (zh) * | 2016-06-22 | 2017-12-29 | 汤姆逊许可公司 | 用于对代表光场内容的信号进行编码的方法和设备 |
CN107924573A (zh) * | 2015-08-31 | 2018-04-17 | 三菱电机株式会社 | 图像处理装置、图像处理方法和程序 |
CN110490832A (zh) * | 2019-08-23 | 2019-11-22 | 哈尔滨工业大学 | 一种基于正则化深度图像先验方法的磁共振图像重建方法 |
CN112424821A (zh) * | 2018-05-15 | 2021-02-26 | 菲力尔商业***公司 | 基于由旋转成像器捕获的图像的全景图像构建 |
CN113170027A (zh) * | 2018-12-18 | 2021-07-23 | 三菱电机株式会社 | 图像读取装置 |
Families Citing this family (93)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8045764B2 (en) | 2005-01-26 | 2011-10-25 | Honeywell International Inc. | Expedient encoding system |
US8064647B2 (en) * | 2006-03-03 | 2011-11-22 | Honeywell International Inc. | System for iris detection tracking and recognition at a distance |
US7593550B2 (en) | 2005-01-26 | 2009-09-22 | Honeywell International Inc. | Distance iris recognition |
US8050463B2 (en) | 2005-01-26 | 2011-11-01 | Honeywell International Inc. | Iris recognition system having image quality metrics |
US8090157B2 (en) | 2005-01-26 | 2012-01-03 | Honeywell International Inc. | Approaches and apparatus for eye detection in a digital image |
US8085993B2 (en) * | 2006-03-03 | 2011-12-27 | Honeywell International Inc. | Modular biometrics collection system architecture |
US8705808B2 (en) * | 2003-09-05 | 2014-04-22 | Honeywell International Inc. | Combined face and iris recognition system |
US8049812B2 (en) * | 2006-03-03 | 2011-11-01 | Honeywell International Inc. | Camera with auto focus capability |
US8098901B2 (en) | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
US8442276B2 (en) | 2006-03-03 | 2013-05-14 | Honeywell International Inc. | Invariant radial iris segmentation |
JP2006086933A (ja) * | 2004-09-17 | 2006-03-30 | Canon Inc | 撮像装置及び制御方法 |
CN101242787A (zh) * | 2005-08-09 | 2008-08-13 | 皇家飞利浦电子股份有限公司 | 用盲去卷积空间增强具有噪声的图像中的结构的***和方法 |
AU2007220010B2 (en) | 2006-03-03 | 2011-02-17 | Gentex Corporation | Single lens splitter camera |
US7580620B2 (en) * | 2006-05-08 | 2009-08-25 | Mitsubishi Electric Research Laboratories, Inc. | Method for deblurring images using optimized temporal coding patterns |
FR2903200B1 (fr) * | 2006-06-29 | 2008-12-19 | Thales Sa | Stabilisation hybride d'images pour camera video |
US8068140B2 (en) * | 2006-08-07 | 2011-11-29 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Still image stabilization suitable for compact camera environments |
US7961976B2 (en) * | 2006-09-01 | 2011-06-14 | Fujifilm Corporation | Image data restoration apparatus, imaging apparatus, image data restoration method and computer readable medium storing image data restoration program |
FR2907214B1 (fr) * | 2006-10-16 | 2009-01-16 | Imagine Optic Sa | "procede de correction d'un analyseur de front d'onde,et analyseur implementant ce procede" |
US7792423B2 (en) | 2007-02-06 | 2010-09-07 | Mitsubishi Electric Research Laboratories, Inc. | 4D light field cameras |
US8063889B2 (en) | 2007-04-25 | 2011-11-22 | Honeywell International Inc. | Biometric data collection system |
JP2009041968A (ja) * | 2007-08-07 | 2009-02-26 | Fujinon Corp | 復元処理を前提としたレンズの評価方法および装置、評価用補正光学系 |
US20090092283A1 (en) * | 2007-10-09 | 2009-04-09 | Honeywell International Inc. | Surveillance and monitoring system |
US8229294B2 (en) * | 2007-12-10 | 2012-07-24 | Mitsubishi Electric Research Laboratories, Inc. | Cameras with varying spatio-angular-temporal resolutions |
KR101348596B1 (ko) * | 2008-01-22 | 2014-01-08 | 삼성전자주식회사 | 임장감 생성 장치 및 방법 |
US7924317B2 (en) * | 2008-03-12 | 2011-04-12 | Aptina Imaging Corporation | Method and apparatus for reducing motion blur in digital images |
US8081224B2 (en) * | 2008-05-07 | 2011-12-20 | Aptina Imaging Corporation | Method and apparatus for image stabilization using multiple image captures |
US20090277962A1 (en) * | 2008-05-09 | 2009-11-12 | Homeywell International Inc. | Acquisition system for obtaining sharp barcode images despite motion |
US8436907B2 (en) | 2008-05-09 | 2013-05-07 | Honeywell International Inc. | Heterogeneous video capturing system |
US20090278928A1 (en) * | 2008-05-09 | 2009-11-12 | Honeywell International Inc. | Simulating a fluttering shutter from video data |
US9332191B2 (en) * | 2009-03-02 | 2016-05-03 | Honeywell International Inc. | Method and system for determining shutter fluttering sequence |
US8135233B2 (en) * | 2008-05-22 | 2012-03-13 | Aptina Imaging Corporation | Method and apparatus for the restoration of degraded multi-channel images |
WO2009153717A2 (en) * | 2008-06-20 | 2009-12-23 | Nxp B.V. | Digital image restoration |
US8781250B2 (en) | 2008-06-26 | 2014-07-15 | Microsoft Corporation | Image deconvolution using color priors |
US8090246B2 (en) | 2008-08-08 | 2012-01-03 | Honeywell International Inc. | Image acquisition system |
JP2010050745A (ja) * | 2008-08-21 | 2010-03-04 | Canon Inc | 画像処理装置およびその方法 |
JP5657559B2 (ja) * | 2008-11-26 | 2015-01-21 | ユニバーシティ オブ ヴァージニア パテント ファウンデーション | 糖尿病における血糖変動を追跡記録するための方法、システム及びコンピュータ・プログラム |
US8280119B2 (en) * | 2008-12-05 | 2012-10-02 | Honeywell International Inc. | Iris recognition system using quality metrics |
US8873810B2 (en) * | 2009-03-02 | 2014-10-28 | Honeywell International Inc. | Feature-based method and system for blur estimation in eye images |
GB2468380B (en) * | 2009-03-02 | 2011-05-04 | Honeywell Int Inc | A feature-based method and system for blur estimation in eye images |
US8229244B2 (en) * | 2009-03-30 | 2012-07-24 | Mitsubishi Electric Research Laboratories, Inc. | Multi-image deblurring |
US8630464B2 (en) * | 2009-06-15 | 2014-01-14 | Honeywell International Inc. | Adaptive iris matching using database indexing |
US8472681B2 (en) | 2009-06-15 | 2013-06-25 | Honeywell International Inc. | Iris and ocular recognition system using trace transforms |
JP5281495B2 (ja) * | 2009-06-18 | 2013-09-04 | キヤノン株式会社 | 画像処理装置およびその方法 |
US8743220B2 (en) | 2009-09-14 | 2014-06-03 | Cognex Corporation | System and method for acquiring a still image from a moving image |
US8542281B2 (en) * | 2009-09-14 | 2013-09-24 | Cognex Corporation | System and method for acquiring a still image from a moving image |
US8223259B2 (en) * | 2009-09-30 | 2012-07-17 | Mitsubishi Electric Research Laboratories, Inc. | Increasing temporal resolution of signals |
US7962031B2 (en) * | 2009-10-06 | 2011-06-14 | Apple Inc. | Pulsed control of camera flash |
US8294775B2 (en) * | 2009-10-22 | 2012-10-23 | Honeywell International Inc. | Fluttering illumination system and method for encoding the appearance of a moving object |
US8264553B2 (en) * | 2009-11-12 | 2012-09-11 | Microsoft Corporation | Hardware assisted image deblurring |
DE102009057724B4 (de) * | 2009-12-10 | 2019-08-01 | Airbus Defence and Space GmbH | Bilderfassungsvorrichtung und Verfahren zum Reduzieren von Bewegungsunschärfe |
JP5464656B2 (ja) * | 2010-01-12 | 2014-04-09 | Necカシオモバイルコミュニケーションズ株式会社 | 画質評価装置、端末装置、画質評価システム、画質評価方法及びプログラム |
JP5656705B2 (ja) * | 2010-06-01 | 2015-01-21 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法 |
JP5543280B2 (ja) | 2010-06-01 | 2014-07-09 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP5523231B2 (ja) * | 2010-07-16 | 2014-06-18 | オリンパス株式会社 | 撮像装置 |
US8742887B2 (en) | 2010-09-03 | 2014-06-03 | Honeywell International Inc. | Biometric visitor check system |
US8199226B2 (en) | 2010-09-21 | 2012-06-12 | Honeywell International Inc. | Methods and systems for capturing an image of a moving object |
JP5591090B2 (ja) * | 2010-12-13 | 2014-09-17 | キヤノン株式会社 | 画像処理装置およびその方法 |
US8405763B2 (en) * | 2010-12-23 | 2013-03-26 | Mitsubishi Electric Research Laboratories, Inc. | Video camera for reconstructing varying spatio-temporal resolution videos |
US9124797B2 (en) | 2011-06-28 | 2015-09-01 | Microsoft Technology Licensing, Llc | Image enhancement via lens simulation |
JP5773816B2 (ja) * | 2011-09-12 | 2015-09-02 | キヤノン株式会社 | 撮像装置 |
JP2015019119A (ja) | 2011-11-10 | 2015-01-29 | パナソニック株式会社 | 画ブレ補正装置 |
CN103947185B (zh) * | 2011-11-22 | 2017-07-04 | 松下电器产业株式会社 | 测定方法以及测定装置 |
US9160900B2 (en) | 2012-02-29 | 2015-10-13 | Canon Kabushiki Kaisha | Systems and methods for compressive light sensing using multiple spatial light modulators |
US9063344B1 (en) | 2012-03-21 | 2015-06-23 | The Boeing Company | Method and apparatus for deblurring an image |
US9137526B2 (en) | 2012-05-07 | 2015-09-15 | Microsoft Technology Licensing, Llc | Image enhancement via calibrated lens simulation |
KR101933454B1 (ko) * | 2012-09-25 | 2018-12-31 | 삼성전자주식회사 | 촬영 이미지 생성 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체 |
US9087405B2 (en) | 2013-12-16 | 2015-07-21 | Google Inc. | Depth map generation using bokeh detection |
WO2015136327A1 (en) * | 2014-03-12 | 2015-09-17 | Sony Corporation | Method, system and computer program product for debluring images |
CN104363369B (zh) * | 2014-11-17 | 2017-11-03 | 清华大学深圳研究生院 | 一种光场相机的图像恢复方法及装置 |
JP6443982B2 (ja) * | 2015-02-26 | 2018-12-26 | 国立大学法人 鹿児島大学 | 撮像装置、電子透かしの抽出方法、電子透かし及び開閉パターンの最適化方法 |
JP6521676B2 (ja) * | 2015-03-09 | 2019-05-29 | キヤノン株式会社 | 動き情報取得装置および動き情報取得方法 |
US10354364B2 (en) * | 2015-09-14 | 2019-07-16 | Intel Corporation | Automatic perspective control using vanishing points |
JP6789620B2 (ja) * | 2015-10-08 | 2020-11-25 | キヤノン株式会社 | 画像処理装置及びその制御方法、コンピュータプログラム |
TW201716933A (zh) * | 2015-11-06 | 2017-05-16 | 原相科技股份有限公司 | 具有補償失焦影像的光學導航裝置及其補償電路 |
US9779777B2 (en) * | 2015-12-16 | 2017-10-03 | Gopro, Inc. | Synchronization of frame rate to a detected cadence in a time lapse image sequence using sampling |
US9787900B2 (en) | 2015-12-16 | 2017-10-10 | Gopro, Inc. | Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence |
EP3678364B1 (en) | 2015-12-16 | 2023-06-14 | GoPro, Inc. | Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence |
US10638047B2 (en) | 2015-12-16 | 2020-04-28 | Gopro, Inc. | Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence |
DE102015122415A1 (de) * | 2015-12-21 | 2017-06-22 | Connaught Electronics Ltd. | Verfahren zum Erkennen einer bandbegrenzenden Fehlfunktion einer Kamera, Kamerasystem und Kraftfahrzeug |
RU2622877C1 (ru) * | 2016-01-20 | 2017-06-20 | федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ) | Устройство поиска средней линии границ объектов на размытых изображениях |
US9858653B2 (en) * | 2016-02-02 | 2018-01-02 | Motorola Mobility Llc | Deblurring an image |
US20170244482A1 (en) * | 2016-02-24 | 2017-08-24 | Qualcomm Incorporated | Light-based communication processing |
WO2017169656A1 (ja) * | 2016-03-31 | 2017-10-05 | パナソニックIpマネジメント株式会社 | 撮像装置 |
CN106651791B (zh) * | 2016-11-21 | 2023-07-07 | 云南电网有限责任公司电力科学研究院 | 一种单幅运动模糊图像恢复方法 |
JP6961392B2 (ja) * | 2017-05-24 | 2021-11-05 | キヤノン株式会社 | 固体撮像素子、撮像装置及び撮像方法 |
KR101993063B1 (ko) * | 2017-12-13 | 2019-06-26 | 국민대학교산학협력단 | 광학 카메라 통신을 이용하는 광원 검출 방법 및 장치 |
US11645747B2 (en) * | 2020-02-25 | 2023-05-09 | GE Precision Healthcare LLC | Methods and systems for digital mammography imaging |
US11570378B2 (en) | 2020-07-21 | 2023-01-31 | Gopro, Inc. | Methods and apparatus for metadata-based processing of media content |
KR20220029310A (ko) | 2020-08-31 | 2022-03-08 | 삼성전자주식회사 | 이미지 센서, 이미지 센서를 포함하는 이미지 획득 장치 및 그것의 동작 방법 |
KR20220078283A (ko) | 2020-12-03 | 2022-06-10 | 삼성전자주식회사 | 뉴럴 네트워크 프로세서를 구비하는 이미지 처리 장치 및 이의 동작 방법 |
CN112465872B (zh) * | 2020-12-10 | 2022-08-26 | 南昌航空大学 | 一种基于可学习遮挡掩模与二次变形优化的图像序列光流估计方法 |
US12035044B2 (en) * | 2021-10-01 | 2024-07-09 | Gopro, Inc. | Methods and apparatus for re-stabilizing video in post-processing |
CN114972349B (zh) * | 2022-08-01 | 2022-10-25 | 山东西曼克技术有限公司 | 基于图像处理的托辊运行状态检测方法及*** |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3512464A (en) | 1966-11-21 | 1970-05-19 | Conductron Corp | Device for removing the effect of blurring in photography |
US6778210B1 (en) * | 1999-07-15 | 2004-08-17 | Olympus Optical Co., Ltd. | Image pickup apparatus with blur compensation |
AU2003272202A1 (en) * | 2002-06-21 | 2004-01-06 | The Trustees Of Columbia University In The City Of New York | Systems and methods for de-blurring motion blurred images |
US20050259179A1 (en) * | 2004-05-24 | 2005-11-24 | Jerry Lynn Robertson | Electro-optical shutter |
JP4452825B2 (ja) * | 2004-08-05 | 2010-04-21 | 国立大学法人電気通信大学 | 静止画像形成方法及びその記録装置 |
US20070098383A1 (en) * | 2005-10-28 | 2007-05-03 | Stavely Donald J | Motion blur reduction and compensation |
-
2006
- 2006-05-08 US US11/430,233 patent/US7756407B2/en not_active Expired - Fee Related
-
2007
- 2007-05-02 EP EP07743236A patent/EP2016558A2/en not_active Withdrawn
- 2007-05-02 CN CN2007800167046A patent/CN101438318B/zh not_active Expired - Fee Related
- 2007-05-02 JP JP2009502423A patent/JP4679662B2/ja not_active Expired - Fee Related
- 2007-05-02 WO PCT/JP2007/059801 patent/WO2007129762A2/en active Application Filing
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102576467B (zh) * | 2009-07-14 | 2015-11-25 | 皇家飞利浦电子股份有限公司 | 包括移变模糊补偿的图像重建 |
CN102576467A (zh) * | 2009-07-14 | 2012-07-11 | 皇家飞利浦电子股份有限公司 | 包括移变模糊补偿的图像重建 |
CN102005030A (zh) * | 2009-08-27 | 2011-04-06 | 索尼公司 | 用于减少运动模糊的方法、***和计算机程序产品 |
CN102082914A (zh) * | 2009-11-30 | 2011-06-01 | 佳能株式会社 | 图像处理装置及图像处理方法 |
CN102082914B (zh) * | 2009-11-30 | 2014-01-08 | 佳能株式会社 | 图像处理装置及图像处理方法 |
CN102687500A (zh) * | 2010-08-05 | 2012-09-19 | 松下电器产业株式会社 | 图像恢复装置以及图像恢复方法 |
CN102687500B (zh) * | 2010-08-05 | 2016-04-06 | 松下电器(美国)知识产权公司 | 图像恢复装置以及图像恢复方法 |
CN102547130A (zh) * | 2010-12-31 | 2012-07-04 | 华晶科技股份有限公司 | 影像拍摄装置及其影像拍摄方法 |
CN102970488A (zh) * | 2011-08-31 | 2013-03-13 | 索尼公司 | 图像处理设备、图像处理方法以及程序 |
CN103947184A (zh) * | 2011-11-14 | 2014-07-23 | 三星电子株式会社 | 使用编码光的拍摄设备和图像处理设备及其方法 |
CN105301863A (zh) * | 2014-07-29 | 2016-02-03 | 深圳市墨克瑞光电子研究院 | 液晶透镜成像装置及液晶透镜成像方法 |
CN105301863B (zh) * | 2014-07-29 | 2018-03-30 | 深圳市墨克瑞光电子研究院 | 液晶透镜成像装置及液晶透镜成像方法 |
CN107924573B (zh) * | 2015-08-31 | 2021-05-11 | 三菱电机株式会社 | 图像处理装置、图像处理方法和存储介质 |
CN107924573A (zh) * | 2015-08-31 | 2018-04-17 | 三菱电机株式会社 | 图像处理装置、图像处理方法和程序 |
US11665369B2 (en) | 2016-06-22 | 2023-05-30 | Interdigital Ce Patent Holdings, Sas | Method and a device for encoding a signal representative of a light-field content |
CN107529062A (zh) * | 2016-06-22 | 2017-12-29 | 汤姆逊许可公司 | 用于对代表光场内容的信号进行编码的方法和设备 |
CN112424821A (zh) * | 2018-05-15 | 2021-02-26 | 菲力尔商业***公司 | 基于由旋转成像器捕获的图像的全景图像构建 |
CN112424821B (zh) * | 2018-05-15 | 2024-04-23 | 泰立戴恩菲力尔商业***公司 | 基于由旋转成像器捕获的图像的全景图像构建 |
CN113170027A (zh) * | 2018-12-18 | 2021-07-23 | 三菱电机株式会社 | 图像读取装置 |
CN113170027B (zh) * | 2018-12-18 | 2023-07-28 | 三菱电机株式会社 | 图像读取装置 |
US11750754B2 (en) | 2018-12-18 | 2023-09-05 | Mitsubishi Electric Corporation | Image reading device controlling exposure time by multiple opening and closing operations of electronic shutters |
CN110490832A (zh) * | 2019-08-23 | 2019-11-22 | 哈尔滨工业大学 | 一种基于正则化深度图像先验方法的磁共振图像重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101438318B (zh) | 2012-06-27 |
WO2007129762A2 (en) | 2007-11-15 |
US20070258707A1 (en) | 2007-11-08 |
JP4679662B2 (ja) | 2011-04-27 |
JP2009532928A (ja) | 2009-09-10 |
EP2016558A2 (en) | 2009-01-21 |
WO2007129762A3 (en) | 2008-05-02 |
US7756407B2 (en) | 2010-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101438318B (zh) | 减少场景图像中的模糊的方法和场景图像去模糊装置 | |
CN101406041B (zh) | 减少场景图像模糊的方法和场景图像去模糊方法 | |
CN100471235C (zh) | 具有亮度校正的数码相机、图像处理方法和装置 | |
US20210319606A1 (en) | Systems, methods, and media for high dynamic range quanta burst imaging | |
US7373019B2 (en) | System and method for providing multi-sensor super-resolution | |
Raskar et al. | Coded exposure photography: motion deblurring using fluttered shutter | |
Liu et al. | Efficient space-time sampling with pixel-wise coded exposure for high-speed imaging | |
Jinno et al. | Multiple exposure fusion for high dynamic range image acquisition | |
JP5328165B2 (ja) | シーンの4dライトフィールドを取得する装置及び方法 | |
JP5726057B2 (ja) | シーンの一連のフレームをビデオとして取得するカメラおよびその方法 | |
US20130010067A1 (en) | Camera and Method for Focus Based Depth Reconstruction of Dynamic Scenes | |
CN102369556B (zh) | 摄像装置 | |
CN102369722B (zh) | 摄像装置以及摄像方法、和用于所述摄像装置的图像处理方法 | |
CN103369233B (zh) | 用于通过利用自适应核来执行深度估计的***和方法 | |
Elwarfalli et al. | Fifnet: A convolutional neural network for motion-based multiframe super-resolution using fusion of interpolated frames | |
CN106663312B (zh) | 用于改善计算成像的***和方法 | |
JP2017208642A (ja) | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム | |
US20170026593A1 (en) | Image processing devices and image processing methods | |
Wehrwein | Computational photography: Coded exposure and coded aperture imaging | |
Okura et al. | Full spherical high dynamic range imaging from the sky | |
Macwan et al. | A survey on various techniques of super resolution imaging | |
Yang et al. | Multi-scale extreme exposure images fusion based on deep learning | |
Guo et al. | Efficient high dynamic range video using multi-exposure CNN flow | |
Nagahara et al. | Space-time-brightness sampling using an adaptive pixel-wise coded exposure | |
CN118447103A (zh) | 基于事件相机引导的直接光照和间接光照分离方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120627 Termination date: 20210502 |
|
CF01 | Termination of patent right due to non-payment of annual fee |