CN101543053B - 图像处理设备,成像设备,图像处理方法 - Google Patents
图像处理设备,成像设备,图像处理方法 Download PDFInfo
- Publication number
- CN101543053B CN101543053B CN200880000144XA CN200880000144A CN101543053B CN 101543053 B CN101543053 B CN 101543053B CN 200880000144X A CN200880000144X A CN 200880000144XA CN 200880000144 A CN200880000144 A CN 200880000144A CN 101543053 B CN101543053 B CN 101543053B
- Authority
- CN
- China
- Prior art keywords
- image
- motion vector
- motion
- movable information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 291
- 238000003672 processing method Methods 0.000 title claims description 12
- 230000033001 locomotion Effects 0.000 claims description 387
- 239000013598 vector Substances 0.000 claims description 247
- 238000003384 imaging method Methods 0.000 claims description 57
- 230000014509 gene expression Effects 0.000 claims description 54
- 238000001914 filtration Methods 0.000 claims description 42
- 238000012937 correction Methods 0.000 claims description 33
- 238000009499 grossing Methods 0.000 claims description 16
- 230000001915 proofreading effect Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 description 40
- 238000000034 method Methods 0.000 description 35
- 230000006870 function Effects 0.000 description 24
- 238000011282 treatment Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 230000001965 increasing effect Effects 0.000 description 18
- 230000002093 peripheral effect Effects 0.000 description 15
- 230000009191 jumping Effects 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 12
- 230000007850 degeneration Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000002203 pretreatment Methods 0.000 description 4
- 230000000750 progressive effect Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 210000002858 crystal cell Anatomy 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Adjustment Of Camera Lenses (AREA)
Abstract
一种对通过进行被摄物体的成像而获得的图像数据进行图像处理的图像处理设备(1),在所述图像数据中,由图像数据表示的图像的运动模糊度按照进行被摄物体的成像时的成像条件变化,所述图像处理设备包括运动信息校正装置(12),用于根据表示成像条件的成像信息,校正代表涉及所述图像的运动的运动信息;和运动模糊增加装置(13),用于通过利用由运动信息校正装置校正的运动信息,对图像数据进行图像处理,向图像增加运动模糊。
Description
相关申请的交叉引用
本发明要求2007年2月7日在日本专利局提交的日本专利申请NO.2007-028389的优先权,在此以引用方式将其全部内容并入本文。
技术领域
本发明涉及执行对活动图像增加运动模糊的图像处理的图像处理设备,成像设备,图像处理方法,和使计算机执行所述图像处理的程序。
背景技术
当显示设备被用于显示其中对由具有快门功能的成像设备以帧速率确定的期间来说,以短的有效曝光时间拍摄每帧的活动图像时,会产生看得见的图像退化,其中包括在图像中的活动对象的运动被不连续地显示,观察图像的观察者察觉不同的重叠图像。
这种基于不自然运动的活动图像退化通常被称为运动跳跃(motion jerkiness)(参考文献:ANSI T1.801.02-1996)。
下面利用图11中所示的活动图像成像设备500和活动图像再现设备600说明其中发生运动跳跃的具体例子。
活动图像成像设备500拍摄活动图像,利用诸如MPEG(运动图像专家组)之类的编码方法对活动图像编码,并把编码的图像数据记录在诸如DVD(数字通用光盘)之类的记录介质700上。具体地说,活动图像成像设备500具有下述配置。
换句话说,活动图像成像设备500包括收集来自被摄物体图像的光线的成像光学***510,接收成像光学***510接收的光线,并将其转换成图像信号的成像元件520,对在成像元件520中转换获得的 图像信号编码的编码处理单元530,通过传输线路把编码处理单元530编码的图像数据传给外部的传输处理单元540,和把编码处理单元530编码的图像数据记录在诸如DVD(数字通用光盘)之类的记录介质700上的记录处理单元550。
另外,成像光学***510包括调整从外部入射的光量的光圈机构511,和在成像元件520的受光面上收集其光量由光圈机构511调整的被摄物体光的光学透镜***512。
另一方面,活动图像再现设备600对编码的图像数据解码,并在显示器或类似物上显示输出,具体地说,具有下述配置。换句话说,活动图像再现设备600包括接收通过传输线路传送的编码图像数据的接收处理单元610,从记录介质700再现编码图像数据的再现处理单元620,对从接收处理单元610和再现处理单元620输出的编码图像数据解码的解码处理单元630,和显示在解码处理单元630中通过解码获得的图像信号的显示输出单元640,比如显示器。
例如,当在照明良好的外界拍摄活动图像时,活动图像成像设备500关闭光圈机构511,以限制入射到成像元件520上的光量,从而适当地控制曝光量。不过通常来说,当光圈机构511被过度关闭时,由于衍射现象的缘故,图像变得模糊。从而,在活动图像成像设备500中,除了利用光圈机构511调整光量之外,还通过增大快门速度来进行适当的曝光控制,快门速度代表每帧的有效曝光时间与依据帧速率确定的时期的比值。另外,在不具备光圈机构的运动成像设备中,通过改变快门速度来进行曝光控制。
在具有上述配置的活动图像成像设备500中,在野外,在成像时通过增大快门速度进行适当的曝光控制。与之相关联,产生由上述跳跃引起的图像退化。
换句话说,在活动图像成像设备500进行包括跳跃退化的成像的情况下,活动图像再现设备600直接对包含跳跃退化的图像数据解码,并通过显示输出单元640显示解码的数据。
如上所述,就其中按照具有能够控制快门速度的快门功能的成像 设备以较快的快门速度进行成像的方式,有效曝光时间相对于依据活动图像帧速率确定的时间较短的图像而论,当图像被显示为静止图像时,它具有高的清晰度,而当图像被显示为活动图像时,图像中的活动体的运动不平滑,以人类视觉特性为基准,图像看起来不自然。
发明内容
鉴于这样的情况,提出了本发明。本发明的目的是提供一种通过对由具有快门功能的成像设备拍摄的活动图像增加适当的运动模糊,降低跳跃退化的图像处理设备,成像设备,图像处理方法和程序。
作为解决上述问题的手段,按照本发明的图像处理设备是一种对通过进行被摄物体的成像而获得的图像数据进行图像处理的图像处理设备,在所述图像数据中,由图像数据表示的图像的运动模糊度按照进行被摄物体的成像时的成像条件变化,所述图像处理设备包括:运动信息校正装置,用于根据表示成像条件的成像信息,校正代表涉及所述图像的运动的运动信息;和运动模糊增加装置,用于通过利用由信息校正装置校正的运动信息,对图像数据进行图像处理,向图像增加运动模糊。另外,按照本发明的成像设备包括:成像装置,用于通过进行被摄物体的成像,输出图像数据,在所述图像数据中,由图像数据表示的图像的运动模糊度按照成像条件而变化,所述图像数据是通过进行成像而获得的;运动信息校正装置,用于根据表示成像条件的成像信息,校正表示涉及图像的运动的运动信息;和运动模糊增加装置,用于通过使用由运动信息校正装置校正的运动信息对图像数据进行图像处理,向图像增加运动模糊。
另外,按照本发明的图像处理方法是一种对通过进行被摄物体的成像而获得的图像数据进行图像处理的图像处理方法,在所述图像数据中,由图像数据表示的图像的运动模糊度按照进行被摄物体的成像时的成像条件变化,所述图像处理方法包括:运动信息校正步骤,用于根据表示成像条件的成像信息,校正代表涉及所述图像的运动的运动信息;和运动模糊增加步骤,用于通过利用在运动信息校正步骤中 校正的运动信息,对图像数据进行图像处理,向图像增加运动模糊。另外,按照本发明的程序是使计算机执行对通过进行被摄物体的成像而获得的图像数据进行图像处理的图像处理方法的程序,在所述图像数据中,由图像数据表示的图像的运动模糊度按照进行被摄物体的成像时的成像条件变化,所述图像处理方法包括:运动信息校正步骤,用于根据表示成像条件的成像信息,校正代表涉及所述图像的运动的运动信息;和运动模糊增加步骤,用于通过利用在运动信息校正步骤中校正的运动信息,对图像数据进行图像处理,向图像增加运动模糊。
根据实施例的下述说明,本发明的另一目的和本发明获得的具体优点变得更明显。
附图说明
图1是表示应用本发明的图像处理设备的配置的方框图。
图2是表示按照第一实施例的接收/再现设备的整个配置的方框图。
图3是表示运动向量生成处理单元的配置的方框图。
图4是图解说明由运动向量估计处理部分进行的处理过程的流程图。
图5是表示运动模糊增加处理单元的配置的方框图。
图6是表示按照运动向量蒙板处理部分的具体处理过程的示意图。
图7是表示涉及最佳快门速度计算/确定部分和运动向量校正部分的具体处理过程的示意图。
图8表示与被摄物体速度相应的最佳快门速度曲线。
图9图解说明滤波参数计算处理部分的处理细节。
图10是表示按照第二实施例的传输/记录设备的整个配置的方框图。
图11是表示活动成像设备和活动图像再现设备的配置的方框图。
具体实施方式
下面参考附图,说明实践本发明的最佳方式。
应用本发明的图像处理设备自适应地对包括跳跃退化,并且根据人类视觉特性看起来不自然的活动图像增加运动模糊,从而降低这种退化。这是由例如图1中所示的图像处理设备1实现的。
换句话说,图像处理设备1是对图像数据进行图像处理的处理设备,其中由图像数据表示的图像的运动模糊度按照进行被摄物体的成像时的成像条件而变化,图像处理设备1包括接收通过拍摄被摄物体的图像而获得的图像数据的图像接收单元11,校正运动信息的运动信息校正单元12,所述运动信息表示由图像接收单元11接收的图像数据的图像运动,和通过对图像接收单元11接收的图像数据进行图像处理,对图像增加运动模糊的运动模糊增加单元13。
运动信息校正单元12根据诸如快门速度之类的成像信息,校正表示图像数据的图像运动的运动信息,所述快门速度代表每一帧的有效曝光时间与依据图像接收单元11接收的图像数据的帧速率确定的时间的比值,并把校正后的运动信息提供给运动模糊增加单元13。
这里,成像信息可以是拍摄被摄物体的图像时,由成像设备设置的各种条件之中,改变图像数据所代表的图像的运动模糊度的任何成像条件信息,并不局限于代表上述快门速度的信息。
另外,运动信息并不局限于代表两帧之间的图像运动的信息,相反可以是当图像数据被视为活动图像时,表示与图像有关的运动的任何信息,比如表示两场之间的图像运动的信息。
运动模糊增加单元13通过利用运动信息校正单元12校正的运动信息,向图像数据增加运动模糊,并把所得到的数据输出到图像处理设备1之外。
在具有上述配置的图像处理设备1中,通过根据代表改变由图像数据表示的图像的运动模糊度的成像条件的成像信息,自适应地向图像数据增加运动模糊,向包括跳跃退化并且根据人类视觉特性看起来 不自然的活动图像增加运动模糊,从而降低跳跃退化。
下面,利用第一和第二实施例,说明上述图像处理设备1的具体处理细节。
第一实施例
首先,图2中所示的接收通过传输线路传送的图像数据,或者再现记录在诸如DVD之类记录介质200上的图像数据的接收/再现设备100将被描述成按照图像处理设备1适用于的第一实施例的图像处理设备。
如图2中所示,接收/再现设备100包括接收通过传输线路传送的编码图像数据的接收处理单元110,从记录介质200再现编码图像的再现处理单元120,把编码图像数据解码成解码图像数据DD的解码处理单元130,根据解码图像数据DD生成运动向量VD的运动向量生成处理单元140,向解码图像数据DD增加与运动向量相应的运动模糊的运动模糊增加处理单元150,使显示设备显示其中通过增加运动模糊,降低跳跃退化的活动图像的活动图像显示输出单元160,和使显示设备把解码图像显示成静止图像的静止图像显示输出单元170。
接收处理单元10和再现处理单元120都是接收根据图像的运动信息,比如MPEG标准,预言编码的图像数据,并把该图像数据提供给解码处理单元130的处理单元。
同时,作为从外部捕捉图像数据的功能,接收/再现设备100可具有接收处理单元110和再现处理单元120至少之一。
此外,除了从外部捕捉图像数据之外,作为涉及图像数据的成像信息,接收/再现设备100接收表示快门速度SSD的快门速度信息。同时,快门速度信息可被包括在图像数据的元数据中。
这里,如上所述,快门速度信息是表示改变由图像数据代表的图像的运动模糊度的成像条件的成像信息。具体地说,快门速度信息表示当用具有快门功能的成像设备获得图像数据时,每个单元图像的有效曝光时间与依据帧速率确定的时期的比值。
另外,快门功能由控制成像元件的有效曝光时间的电子快门,按照通过利用开/闭机构,在有效曝光时间内释放快门的方式,允许来自透镜的光线传到成像元件一侧的机械快门,通过控制液晶元件的透射率,在有效曝光时间内,允许来自透镜的光线传到成像元件一侧的液晶快门等等实现。
另外,假定由接收处理单元110和再现处理单元120作为活动图像接收的图像数据具有1秒的单位时间,并由每个单位时间60帧的图像组成。换句话说,下面将在假定图像数据由其中帧速率为60[fps:帧/秒]的渐进格式的单位图像组成的情况下说明本实施例。同时,图像数据并不局限于渐进格式,相反可由其中以场图像为单位进行处理的交织***组成。另外,帧速率并不仅仅局限于本实施例中使用的60[fps]。
解码处理单元130对从接收处理单元110或再现处理单元120接收的图像数据解码。同时,在解码的时候,和图像数据一起,解码处理单元130接收快门速度信息,作为关于图像数据的成像信息。由于快门速度信息数据量较小,因此不必按照图像数据包括快门速度信息的形式压缩图像数据。从而,在快门速度信息未被压缩的情况下,可能简单地分离快门速度信息和图像数据。另外,在图像数据包括作为元数据的快门速度信息的情况下,解码处理单元130也可解码快门速度信息。
此外,解码处理单元130把解码的图像数据DD提供给运动向量生成处理单元140。另外,解码处理单元130把解码的图像数据DD及其快门速度信息提供给运动模糊增加处理单元150。
另外,当解码处理单元130把解码图像数据DD处理成静止图像时,解码处理单元130只把解码的图像数据DD提供给静止图像显示输出单元170,不需要把解码的图像数据DD处理为活动图像。
根据从解码处理单元130供给的解码图像数据DD,运动向量生成处理单元140生成运动向量VD,作为解码图像数据DD的运动信息。这里,运动向量是表示两帧之间活动图像的活动位置和活动方向 的信息。在本实施例中,经历当前处理的帧图像被称为处理目标帧,为处理目标帧前面一帧的帧图像被称为在先帧。
另外,为了准确获得活动体的运动信息,可以像素为单位生成运动向量。不过,为了减小计算负载,按照本实施例的运动向量生成处理单元140以通过把帧图像分成多个区域而获得的像素块为单位,生成运动向量。
同时,按照MPEG标准等编码的图像数据包括运动向量,作为用于进行编码处理的运动信息。在本实施例中,也可以使用作为该编码信息的运动向量,运动向量的采用有助于减少处理。不过,作为编码信息的运动向量始终是用于对活动图像编码的信息,结合除运动向量之外的剩余信息等进行编码处理。从而,不可以认为运动向量如实地代表与在整个图像内,活动体的实际运动相应的值。
从而,在本实施例中,为了增加忠实于活动体的实际运动的运动模糊,运动向量生成处理单元140在后面说明的处理过程中,准确地检测与解码图像中的活动体的实际运动相应的运动向量,作为不同于进行编码处理的运动信息的新运动信息。
同时,如上所述,接收/再现设备100通过利用解码图像数据DD准确地检测运动向量,并且通过使用运动向量按适当的大小/方向向图像增加运动模糊能够降低跳跃退化。从而,就这点来说,不必总是根据表示改变由图像数据代表的图像的运动模糊度的成像条件的成像信息,校正运动向量。
具体地说,运动模糊增加处理单元150使用后面说明的处理过程,按照快门速度信息和从运动向量生成处理单元140供给的运动向量VD,向从解码处理单元130供给的解码图像数据DD增加运动模糊。
作为活动图像,活动图像显示输出单元160在诸如LCD之类的显示设备上输出已按照运动模糊增加处理单元150增加运动模糊的方式,降低跳跃退化的活动图像。
静止图像显示输出单元170把从解码处理单元130供给的解码图 像数据DD作为静止图像输出给诸如LCD之类的显示设备。
下面,说明运动向量生成处理单元140的配置和操作。
运动向量生成处理单元140是如上所述,以像素块为单位准确生成运动向量的部分。具体地说,如图3中所示,运动向量生成处理单元140包括从处理目标帧和在先帧检测运动向量的运动向量检测部分141,通过关于每个像素块,比较处理目标帧中的运动向量和在先帧中的运动向量,指定具有高度相关性的像素块的像素块指定处理部分142,根据像素块指定处理部分142指定的像素块中的运动向量,估计不同像素块中的运动向量的运动向量估计处理部分143,和对运动向量进行平滑处理的运动向量平滑处理部分144。
为运动向量检测部分141设置把从解码处理单元130供给的解码图像数据DD延迟一帧的延迟部分141a。运动向量检测部分141使用从解码处理单元130供给的解码图像数据DD作为处理目标帧,并以像素块为单位,从处理目标帧和被延迟部分141a延迟一帧的在先帧检测处理目标帧的运动向量。运动向量检测部分141把检测的运动向量提供给像素块指定处理部分142。
同时,在用软件实现运动向量检测部分141的处理的情况下,可利用公共块匹配方法以像素块为单位检测运动向量。
为像素块指定处理部分142设置把从运动向量检测部分141供给的运动向量延迟一帧的延迟部分142a。像素块指定处理部分142以像素块为单位,比较从运动向量检测部分141供给的处理目标帧的运动向量和被延迟部分14a延迟的在先帧的运动向量,如下所述,并根据比较结果指定具有高度相关性的像素块。
具体地说,当处理目标帧中的一个像素块的运动向量用(x,y)表示,在先帧中的像素块的对应运动向量用(x′,y′)表示,并且任意确定的相关性确定系数用α表示时,像素块指定处理部分142使用下面的表达式(1)来计算该像素块的向量相关系数σ。
[表达式1]
同时,相关性确定系数α具有为0<α<1的域,并且是随着α的值变大,向量相关系数σ的值被计算为1的系数。
像素块指定处理部分142根据上面的表达式(1)计算每个像素块的向量相关系数σ,并把其中向量相关系数σ为1的像素块指定为具有高相关性运动向量的像素块。
根据由像素块指定处理部分142指定的向量相关系数σ的值为1的像素块的运动向量,运动向量估计处理部分143估计其向量相关系数σ为0的像素块的运动向量。
换句话说,假定由像素块指定处理部分142指定为向量相关系数σ的值为1的像素块,运动向量估计处理部分143更新不同的像素块,即,其中向量相关系数σ的值为0,并且具有无效的运动向量的像素块的运动向量。
下面参考图4详细说明运动向量估计处理部分143的具体处理过程。
在步骤S1,运动向量估计处理部分143确定处理目录帧中经历当前处理的像素块(下面称为关心像素块)的向量相关系数α为1还是为0。换句话说,运动向量估计处理部分143确定该像素块的运动向量是否有效。另外,当该像素块的运动向量有效时,运动向量估计处理部分143终止该处理过程,而不更新运动向量的值,当该像素块的 运动向量无效时进入步骤S2。
在步骤S2,运动向量估计处理部分143关于关心像素块,确定在关心像素块周围是否存在具有有效向量的***像素块。具体地说,运动向量估计处理部分143关于作为***像素块,与关心像素块相邻的总共8个像素块,确定是否存在有效运动向量。当存在有效运动向量时,运动向量估计处理部分143进入步骤S3,当不存在有效运动向量时,运动向量估计处理部分143终止该处理过程,而不更新该关心像素块的运动向量。
这里,不利用位于更宽范围中的***像素块对其中不存在有效运动向量的关心像素块进行估计处理的原因如下所述。
第一个原因在于尽管通过利用位于更宽范围中的像素块,能够进行估计处理,不过如果实现该处理,那么对于该处理过程来说,为了作为固定时间处理而终止的话,用于临时保存被视为***像素块的图像数据的存储区被增大。
第二个原因在于在该处理过程中的后一阶段中,通过利用比上述总共8个相邻像素块更宽的范围中的***像素块,对关心像素块的运动向量进行平滑处理,能够适当地校正无效的运动向量。
在步骤S3,运动向量估计处理部分143仅仅根据具有有效运动向量的***块的运动向量,估计和更新该关心像素块的运动向量,并终止该过程。作为估计处理的一个例子,运动向量估计处理部分143输出并利用只接收具有有效运动向量的***像素块的运动向量的中值滤波器使关心像素块的运动向量平滑。
如上所述,运动向量估计处理部分143以像素块为单位,估计处理目标帧中的运动向量。另外,运动向量估计处理部分143把包括像素块指定处理部分142指定的运动向量在内的运动向量提供给运动向量平滑处理部分144。
运动向量平滑处理部分144对包括在待处理图像中的每个像素块的运动向量进行平滑处理。具体地说,运动向量平滑处理部分144接收平滑处理前的关心像素块的运动向量,和在比上述相邻像素块更 宽范围中的***像素块的运动向量作为输入I(x+i,y+j),并输出在以由下述表达式(2)表示的高斯函数为基础的平滑处理之后的关心像素块的运动向量J(x,y)。
[表达式2]
这里,r表示关心像素块和每个***像素块间的二维空间距离,σ2表示距离r的方差,t2表示运动向量的方差。换句话说,σ2和t2是作为表示平滑度的值的任意设置的参数。
运动向量平滑处理部分144对包括在处理目标帧中的每个像素块进行上述平滑处理,并把运动向量VD提供给运动模糊增加处理单元150。
这样,运动向量平滑处理部分144从包括在处理目标帧中的每个像素块中指定一个具有有效运动向量的像素块,并估计不同于有效运动向量的运动向量。从而,运动向量平滑处理部分144能够准确地生成与活动体的实际运动相应的运动向量。
同时,在运动向量生成处理单元140中,运动向量检测部分141检测的运动向量可被直接供给并在运动向量平滑处理部分144中变平滑,而不经过像素块指定处理部分142和运动向量估计处理部分143。即使在进行这种处理的情况下,与运动向量相比,能够生成与活动体的实际运动相应的准确运动向量作为上面所述的编码信息。
下面参考图5,详细说明运动模糊增加处理单元150的具体配置。
如图5中所示,运动模糊增加处理单元150包括产生指定向其增加运动模糊的图像区的运动向量蒙板(mask)信息的运动向量蒙板处理部分151,计算与运动向量相应的适当快门速度(下面称为最佳快门速度信息),并通过比较最佳快门速度信息与实际拍摄活动图像时的快门速度信息,执行后面说明的确定处理的最佳快门速度计算/确定部分152,根据最佳快门速度计算/确定部分152的确定结果,校正运动向 量的运动向量校正部分153,计算用于按照处理目标帧的每个像素增加运动模糊的滤波参数的滤波参数计算部分154,和对处理目标帧的每个像素的像素值进行运动模糊滤波处理的运动模糊增加滤波器155。
这里,可按像素为单位进行整个处理。不过,为了减小计算负载,以像素块为单位进行涉及运动向量蒙板处理部分151,最佳快门速度计算/确定部分152和运动向量校正部分153的处理。另外,由于滤波参数计算部分154和运动模糊增加滤波器155对应于向解码图像数据DD增加运动模糊的滤波处理,因此不是以像素块为单位,而是以像素为单位进行该处理。
为了在处理目标帧中指定向其增加运动模糊的图像区,运动向量蒙板处理部分151对从运动向量生成处理单元140供给的像素块单位运动向量VD进行图6中所示的蒙板处理,并把通过蒙板处理获得的像素块单位运动向量提供给最佳快门速度计算/确定部分152和运动向量校正部分153。
这里,需要向其增加运动模糊,并且其中易于发生跳跃退化的图像区尤其集中在屏幕中的活动体图像区和边缘周围的图像区中。
从而,运动向量蒙板处理部分151使用图6中所示的处理,以便仅仅输出位于其中易于发生跳跃,并且具有高的空间对比度的边缘周围的像素块的运动向量作为有效值。换句话说,在步骤S11中,对于从解码处理单元130供给的解码图像数据DD,以像素块为单位,运动向量蒙板处理部分151检测图像边缘,作为指定处理目标帧中具有高空间对比度的区域的处理。
另外,与步骤S11中的处理并行,在步骤S12中,运动向量蒙板处理部分151通过以像素块为单位计算帧间差异,检测活动体图像区,作为指定处理目标帧中的活动体区域的处理。
在步骤S13中,通过执行涉及上述步骤S11和/或S12的处理,运动向量蒙板处理部分151以像素块为单位,确定是否已检测作为其中易于发生跳跃的区域的每个像素块单位。另外,对于确定为其中易 于发生跳跃退化的区域的像素块,运动向量蒙板处理部分151把蒙板处理标记设为“1”。另外,对于确定为其中不易发生跳跃的区域的像素块,运动向量蒙板处理部分151把蒙板处理标记设为“0”。
在步骤S14,对于从运动向量生成处理单元140供给的运动向量VD,运动向量蒙板处理部分151确定运动向量VD是否是其中上述标记被设为“1”的像素块的运动向量VD。
对于其中所述标记为“1”的像素块的运动向量,运动向量蒙板处理部分151向后级的最佳快门速度计算/确定部分152和运动向量校正部分153输出该运动向量,而不改变其值。
另外,对于其中所述标记为“0”的像素块的运动向量,运动向量蒙板处理部分151执行把运动向量的值置为0或者使该值无效的蒙板处理,并把该运动向量输出给后级中的最佳快门速度计算/确定部分152和运动向量校正部分153。
下面利用图7,说明涉及最佳快门速度计算/确定部分152和运动向量校正部分153的处理过程。
在步骤S31,最佳快门速度计算/确定部分152根据图8中所示的评价指标,计算与处理目标帧中每个像素块的运动向量相应的最佳快门速度。
这里,图8是表示代表作为运动向量检测的活动体的移动速度的被摄物体速度,和与被摄物体速度相应的最佳快门速度曲线的图。另外,最佳快门速度是与被摄物体的移动速度相一致的快门速度,在该快门速度下,难以根据视觉特性感到跳跃退化,并且还难以感到因增加过多的运动模糊而造成的被摄物体细节不足和被摄物体不清楚的模糊退化。换句话说,当以比最佳快门速度快的快门速度拍摄被摄物体的图像时,能够确定在所摄图像中出现跳跃退化。另一方面,当以比最佳快门速度慢的快门速度拍摄被摄物体的图像时,能够确定在所摄图像中出现模糊退化。
因此,通过使每个像素块的运动向量与图8中的被摄物体速度相关联,最佳快门速度计算/确定部分152计算与每个像素的运动向量相 应的最佳快门速度。同时,由图8中的实线所示的最佳快门速度曲线SSO表示任意被摄物体速度和最佳快门速度之间的对应的例子,具体地说,是关于通过心理实验获得的实验结果的曲线。这里,根据最佳快门速度曲线SSO,图8中所示的运动模糊区A1被确定为过度包括以被摄物体的运动为基础的运动模糊的区域。类似地,根据最佳快门速度曲线SSO,跳跃区A2被确定为不具有任何以被摄物体的运动为基础的运动模糊,并且根据视觉特性发生跳跃退化的区域。
在通过直接利用由所述实线指示的最佳快门速度曲线SSO,确定与运动向量相应的最佳快门速度的情况下,通过预先以表格的形式以任意比例把与运动向量相应的最佳快门速度信息保存在存储介质上,可参照该记录介质。
另外,在本实施例中,通过使用近似由该实线指示的最佳快门速度曲线的函数,可以计算与运动向量相应的最佳快门速度。这种情况下,最佳快门速度计算/确定部分152通过利用由下面的表达式(3)表示的最佳快门速度曲线的近似函数,计算最佳快门速度SSD′,其中像素块的运动向量为v。
[表达式3]
同时,就上面的表达式(3)中的参数A、B、γ来说,可按照图8中所示的最佳快门速度曲线的曲线形状,选择和使用适当的值。作为快门速度曲线的一个具体例子,图8表示在表达式(3)中的参数之中,值A和B被固定,按照三个层次改变γ的情况下的曲线形状SS1-SS3。
当计算与运动向量相应的最佳快门速度SSD′时,在步骤S32中,通过比较最佳快门速度SSD′和从解码处理单元130供给的,实际用于成像的快门速度SSD,最佳快门速度计算/确定部分152确定是否以像素块为单位建立了与图8中所示的跳跃区A2的对应。
根据该确定结果,在经历当前处理的像素块中,当快门速度SSD快于最佳快门速度SSD′,并且对应于跳跃区A2时,运动向量校正部 分153进入步骤S33。另外,在经历当前处理的像素块中,当快门速度SSD慢于最佳快门速度SSD′,并且不对应于跳跃区A2时,运动向量校正部分153进入步骤S34。
在步骤S33,由于在待处理的像素块中出现跳跃退化,因此运动向量校正部分153执行把运动向量的值乘以函数fs(SSD)的处理,所述函数fs(SSD)的值随着快门速度SSD的增大而增大,并收敛于1。
同时,运动向量校正部分153可利用其中运动向量VD为变量的函数fs(VD),或者其中快门速度SSD和运动向量VD为变量的fs(SSD,VD)完成乘法处理,而不使用函数fs(SSD)。
在步骤S34,由于在待处理的像素块中未出现任何跳跃退化,因此运动向量校正部分153执行通过把运动向量的值乘以0,确定无效的蒙板处理。
这样,最佳快门速度计算/确定部分152通过考虑当实际拍摄待处理的活动图像时的快门速度SSD,确定是否出现跳跃退化。另外,由于运动向量校正部分153执行向确定为具有跳跃退化的像素块的运动向量增加适当的运动模糊的校正处理,因此能够进行运动模糊增加处理,以致根据视觉特性获得更自然的活动图像。
在本实施例中,快门速度信息被描述成表示改变由图像数据代表的图像的运动模糊度的成像条件的成像信息的一个例子。不过,可利用表示下述成像条件的成像信息,进行运动向量校正。
换句话说,在用具有通过限制入射到成像元件上的光量,控制曝光量的光圈机构的成像设备获得图像数据的情况下,在运动模糊增加处理单元150中,可根据作为成像信息的表示获得图像数据时的光圈值(aperture value)F的光圈信息,校正运动向量。具体地说,由在大光圈值F和深景深的条件下获得的图像数据表示的图像具有易于看见跳跃退化的特征,因为具有高空间对比度的图像区增大。于是,运动模糊增加处理单元150可执行把运动向量的值乘以其值随着光圈值F的增大而增大,并且收敛于1的函数的校正处理。
另外,在用具有按照陀螺仪检测的角速度校正拍摄的图像的模糊 的模糊校正机构的成像设备获得图像数据的情况下,运动模糊增加处理单元150可根据作为成像信息的表示获得图像数据时由陀螺仪检测的角速度的角速度信息,校正运动向量。具体地说,由在陀螺仪检测的角速度较大的成像条件下获得的图像数据表示的图像具有屏幕中的运动较大,并且易于看见跳跃退化的特征。于是,运动模糊增加处理单元150可执行把运动向量的值乘以其值随着陀螺仪检测的角速度的增大而增大,并且收敛于1的函数的校正处理。
另外,在用具有放大被摄物体的放大功能的成像设备获得图像数据的情况下,运动模糊增加处理单元150可根据作为成像信息的,表示在获得图像数据时,在成像设备中提供的放大功能的放大倍数的放大信息,校正运动向量。具体地说,由在具有大放大倍数的成像条件下获得的图像数据表示的图像具有屏幕中的运动较大,并且易于看见跳跃退化的特征。于是,运动模糊增加处理单元150可执行把运动向量的值乘以其值随着放大倍数的增大而增大,并且收敛于1的函数的校正处理。
同时,运动模糊增加处理单元150可通过组合如上所述的快门速度信息,光圈值信息,角速度信息和放大信息,校正运动向量。另外,成像信息并不局限于如上所述的快门速度信息,光圈值信息,角速度信息和放大信息。对运动向量的校正可利用其它信息来完成,如果所述其它信息代表改变由图像数据表示的图像运动模糊度的成像条件。
滤波参数计算部分154以像素为单位计算如下所示的滤波参数,以便向包括在处理目标帧中的每个像素增加运动模糊。
首先,滤波参数计算部分154使用具有有效运动向量信息的像素作为关心像素,并指定每个关心像素的运动向量上的一个像素(下面称为供参数计算之用的像素)。另外,滤波参数计算部分154计算与供参数计算之用的指定像素相对于关心像素的相对位置相应的滤波参数。
换句话说,如图9中所示,滤波参数计算部分154把其中起点S和终点E之间的中点被用作关心像素P0的位置的向量上的所有像素指定为供参数计算之用的像素。同时,如图9中所示,绝对值v是关 心像素的运动向量的绝对值。
随后,按照运动向量的绝对值v和关心像素P0的像素位置与由上述处理指定的供参数计算之用的像素P1的像素位置之间的距离d,滤波参数计算部分154根据下面的表达式(4)计算运动模糊增加强度σ。
[表达式4]
这里,表达式(4)被这样设置,以致通过取表达式中的强度σ的平方而获得的值变成后一级中的运动模糊增加滤波器155中的高斯函数中的方差。
另外,当关心像素P0为原点时,通过把供参数计算之用的每个像素P1在正交坐标平面x-y中的坐标点设为(x1,y1),滤波参数计算部分154根据下面的表达式(5)计算运动模糊增加角取向θ。
[表达式5]
这样,滤波参数计算部分154根据关心像素的运动向量,指定供参数计算之用的像素,设定供参数计算之用的每个指定像素的参数信息(σ,θ),并以处理目标帧为单位把参数信息提供给运动模糊增加滤波器155。
同时,在涉及滤波参数计算部分154的处理中,对于某一像素,可冗余指定供参数计算之用的像素。这种情况下,为了简化处理,从多条冗余指定的参数信息中,σ具有最大值的一条信息可被设为该像素的参数信息。另外,滤波参数计算部分154对供参数计算之用的每个像素的参数信息(σ,θ)进行诸如高斯滤波处理和中值滤波处理之类的平滑处理,从而能够增强从后一级的运动模糊增加滤波器155输出的活动图像的图像质量。
按照从滤波参数计算部分154供给的参数信息,运动模糊增加滤 波器155对从解码处理单元130供给的解码图像数据DD的待处理帧中的每个像素的像素值,执行处理目标帧中的下述空间滤波处理。在本实施例中,运动模糊增加滤波器155通过执行下述第一滤波处理和/或第二滤波处理,输出增加了运动模糊的图像。
首先说明第一滤波处理。在第一滤波处理中,运动模糊增加滤波器155接收在运动模糊增加滤波处理之前,向其增加运动模糊的像素的像素值,和位于该像素周围的***像素的像素值作为输入I(x+i,y+j),并输出在根据下面的表达式(6)中所示的高斯函数进行滤波处理之后获得的关心像素的像素值J(x,y)。
[表达式6]
同时,充当输入I(x+i,y+j)的***像素是按照增加运动向量的角取向来设置的。另外,r代表向其增加运动模糊的像素和***像素之间的距离。
在包括在处理目标帧中的所有像素之中,对于设置了参数信息(σ,θ)的每个像素,运动模糊增加滤波器155通过进行上述滤波处理,更新像素值。这样,运动模糊增加滤波器155能够向活动图像显示输出单元160提供跳跃退化被降低的活动图像。
顺便提及,位于关心像素周围的***像素可包括形成最初静止的区域的那些像素,即,形成背景区的那些像素。在向关心像素增加运动模糊时,最初不必考虑位于所述背景区中的***像素。关注这一点的处理方法是下面的第二种滤波处理。
换句话说,在第二种滤波处理中,当关心像素的运动向量的值为0或者无效时,在位于关心像素周围的***像素之中,在运动模糊增加滤波器155中,其运动向量为0或者无效的像素的像素值I(x+i0,y+j0),而不是关心像素的像素值I(x,y)被用于根据上面的表达式(6)计算关心像素的像素值J(x,y)。这样,运动模糊增加滤波器155输 出与第一种滤波处理相比,根据视觉特性自然降低跳跃退化的图像。
如上所述,按照接收/再现设备100,像素块指定处理部分142比较处理目标帧的运动向量和在先帧的运动向量,并根据比较结果指定具有有效运动向量的像素块,运动向量估计处理部分143估计与指定像素块的运动向量不同的像素块的运动向量,从而为整个图像区,产生更如实地表示实际运动的准确运动向量。从而,按照生成的运动向量,能够增加运动模糊,以致根据视觉特性形成更自然的活动图像。于是,按照接收/再现设备100,能够根据包括跳跃退化的活动图像数据,输出其中根据人类视觉特性更自然地降低跳跃退化的活动图像。
另外,按照接收/再现设备100,最佳快门速度计算/确定部分152根据拍摄活动图像时的快门速度信息,校正运动向量,从而控制由后一级的滤波参数计算部分154计算的运动模糊增强强度σ的值。这样,运动模糊增加滤波器155能够按照拍摄图像时的快门速度信息增加适当的运动模糊,并且能够输出其中根据人类视觉特性更自然地降低跳跃退化的图像。
同时,在按照本实施例的上述接收/再现设备100中,代替使用运动向量向每个单位图像增加运动模糊的空间滤波处理,可以利用其它运动信息向图像数据增加运动模糊。
例如,接收/再现设备100可通过在一帧之上重叠多帧的时间滤波处理,向活动图像增加运动模糊的处理。这种情况下,在接收/再现设备100根据帧间差异检测活动体图像区作为运动信息,并根据成像信息校正代表检测的活动体图像区的信息之后,接收/再现设备100使用该运动信息而不是运动向量来进行空间滤波处理,从而能够按照拍摄图像时的快门速度信息增加适当的运动模糊,并且能够输出其中根据人类视觉特性更自然地降低跳跃退化的图像。
同时,作为时间滤波处理的一个具体例子,根据以每秒240帧的帧速率拍摄的图像,输出帧速率为每秒60帧,并且对其增加运动模糊以降低所述跳跃退化的活动图像的图像处理设备早先已由本申请人提出申请,并且在本申请的优先权日还未被公开的专利文献(日本专 利申请No.2006-096792)中描述。
另外,构成接收/再现设备100的处理部分由用FPGA或类似物设计的硬件实现。另外,由每个处理单元执行的图像处理过程,一直到根据上述编码图像数据输出向其增加运动模糊的解码图像数据都可由计算机按照程序执行。
第二实施例
下面,作为按照图像处理设备1适用于的第二实施例的图像处理设备,将说明图10中所示的传输/记录设备300的配置,所述传输/记录设备300执行被摄物体的成像,并对拍摄的活动图像进行上述运动模糊增加处理,并执行对传输线路的传输处理,或者对诸如DVD之类记录介质400的记录处理。
类似于上面说明的第一实施例,将在假定图像数据由帧速率为60fps的渐进格式单位图像构成的情况下说明本实施例。同时,单位图像并不局限于渐进格式。活动图像的单位图像可由交织***形成。另外,帧速率并不仅仅局限于本实施例中使用的60[fps]。
如图10中所示,传输/记录设备300包括收集来自被摄物体图像的光的成像光学***310,接收成像光学***310收集的光,并把所述光转换成图像信号的成像元件320,根据图像信号生成运动向量的运动向量生成处理单元330,向图像信号增加运动模糊的运动模糊增加处理单元340,根据诸如MPEG之类的运动信息对图像信号进行预测编码的活动图像编码处理单元350,通过使用诸如JPEG之类的编码技术,对图像信号编码的静止图像编码处理单元360,通过传输线路向外部传送编码图像的传输处理单元370,和把编码图像数据记录在记录介质400上的记录处理单元380。
成像光学***310包括调整从外部入射的光量的光圈机构311,和在成像元件320的受光面上收集其数量由光圈机构调整的被摄物体光的光学透镜***312。
成像元件320在受光面接收由成像光学***310收集的光,并把光转换成图像信号。当图像信号被处理为活动图像时,成像元件320 把图像信号提供给运动模糊增加处理单元340和运动向量生成处理单元330。另外,当图像信号被处理为静止图像时,成像元件320把图像信号提供给静止图像编码处理单元360。
为了通过控制快门速度控制曝光量,包括如上所述的成像光学***310和成像元件32的传输/记录设备300具有由控制成像元件的有效曝光时间的电子快门,按照通过利用开/闭机构,在有效曝光时间内释放快门的方式,允许来自透镜的光线传到成像元件一侧的机械快门,通过控制液晶元件的透射率,在有效曝光时间内,允许来自透镜的光线传到成像元件一侧的液晶快门等等实现的快门功能。
另外,传输/记录设备300通过使用光圈机构311来调整光圈值F,控制曝光量。
此外,在传输/记录设备300中可以设置校正所拍摄图像中的模糊的上述模糊校正功能,和放大地拍摄被摄物体的图像的放大功能。
如上所述,传输/记录设备300通过调整表示改变由图像数据代表的图像的运动模糊度的成像条件的各种成像信息,拍摄被摄物体的图像,并向运动模糊增加处理单元340报告这些种类的成像信息。同时,可按照将其作为元数据包括在图像信号中的形式输出成像信息。
在下面的说明中,假定由于为了控制曝光而增大快门速度,关于从成像元件320输出的成像信号发生跳跃退化。
运动向量生成处理单元330使用下述处理,根据从成像元件320供给的图像数据生成每个处理目标帧的运动向量,并把运动向量提供给运动模糊增加处理单元340和活动图像编码处理单元350。
具体地说,运动向量生成处理单元330的配置类似于上述第一实施例中的运动向量生成处理单元140。借助这种配置,对于包括在处理目标帧中的每个像素块,能够生成准确的运动向量。同时,运动向量生成处理单元330的具体配置及其处理的描述将被省略。
另外,类似于第一实施例,在传输/记录设备300中,代替进行涉及运动向量生成处理单元330的处理,通过根据帧间差异检测活动体图像区作为运动信息,根据成像信息校正代表检测的活动体图像区 的信息,并进行时间滤波处理,能够按照拍摄图像时的快门速度信息增加适当的运动模糊。
对于从成像元件320供给的图像数据,运动模糊增加处理单元340使用下述处理按照对应于图像数据的成像信息和从运动向量生成处理单元330供给的运动向量,增加运动模糊。具体地说,运动模糊增加处理单元340的配置类似于上述第一实施例中的运动模糊增加处理单元150。借助这种配置,由于运动模糊是按照拍摄活动图像时的快门速度信息增加的,因此能够按照成像信息向活动图像增加适当的运动模糊。能够输出其中根据人类视觉特性更自然地降低跳跃退化的活动图像。同时,运动模糊增加处理单元340的具体配置及其处理的说明将被省略。
活动图像编码处理单元350利用诸如MPEG之类的编码技术对从运动模糊增加处理单元340供给的跳跃退化被降低的图像数据编码,并把编码的图像数据提供给传输处理单元370和记录处理单元380。同时,通过使用由运动向量生成处理单元330检测的运动向量,或者从自运动模糊增加处理单元340供给的图像数据中检测的运动向量,活动图像编码处理单元350生成编码运动向量信息。
静止图像编码处理单元360利用诸如JPEG之类的编码技术,对从成像元件320供给的静止图像数据编码,并把编码的静止图像数据提供给传输处理单元370和记录处理单元380。
传输处理单元370通过传输线路把编码图像数据传到外部。另外,记录处理单元380把编码图像数据记录在记录介质400上。同时,对于传输/记录设备300来说,作为输出图像数据的功能,具有传输处理单元370和记录处理单元380至少之一就已足够。
这样,传输/记录设备300能够如上所述对跳跃退化被降低的图像数据编码,并且能够进行传输处理或记录处理。
于是,再现从传输/记录设备300传来的传输数据和记录在记录介质400上的记录数据的再现设备仅仅通过进行现有的再现处理过程,而不进行运动模糊增加处理,就能够使显示设备显示跳跃退化被 降低的活动图像。
另外,在处理作为静止图像,从成像元件320输出的图像信号的情况下,传输/记录设备300通过静止图像编码处理单元360执行传输处理或记录处理。另外,当传输/记录设备300处理作为静止图像数据,从成像元件320输出的图像信号时,如果传输/记录设备300使运动模糊增加处理单元340的处理无效,那么传输/记录设备300可通过活动图像编码处理单元350进行传输处理或记录处理。
这样,只有当传输/记录设备300通过把从成像元件320输出的图像数据视为活动图像,进行图像处理时,运动模糊增加处理单元340才执行向图像数据增加运动模糊的处理。从而,在通过把图像数据视为静止图像,进行图像处理的情况下,可对具有高空间对比度的图像数据进行记录处理或传输处理。
另外,类似于第一实施例,构成传输/记录设备300的处理部分由用例如FPGA或类似物设计的硬件实现。另外,每个处理部件执行的图像处理过程,一直到向获得的图像信号增加运动模糊和进行记录处理或传输处理都可由计算机按照程序执行。
同时,本发明并不局限于参考附图说明的上述实施例。显然,可对本发明进行各种修改或者替换,而不脱离附加权利要求的范围和精神。
Claims (12)
1.一种对通过进行被摄物体的成像而获得的图像数据进行图像处理的图像处理设备,在所述图像数据中,由图像数据表示的图像的运动模糊度按照进行被摄物体的成像时的成像条件变化,所述图像处理设备包括:
运动信息校正装置,用于根据表示成像条件的成像信息,校正代表涉及所述图像的运动的运动信息;和
运动模糊增加装置,用于通过利用由运动信息校正装置校正的运动信息对图像数据进行图像处理,向图像增加运动模糊。
2.按照权利要求1所述的图像处理设备,其中成像信息是表示进行成像时的快门速度的信息。
3.按照权利要求1所述的图像处理设备,其中成像信息是表示进行成像时的光圈值的信息。
4.按照权利要求1所述的图像处理设备,还包括运动向量生成装置,用于从图像数据生成作为运动信息的运动向量,
其中运动信息校正装置通过使用成像信息,校正由运动向量生成装置生成的运动向量,
其中运动模糊增加装置通过利用由运动信息校正装置校正的运动向量,对图像数据进行空间滤波处理。
5.按照权利要求4所述的图像处理设备,其中运动向量生成装置包括:
运动向量检测装置,用于从图像数据中检测充当待处理图像的单位图像的运动向量;
像素块指定装置,用于通过以像素块为单位比较由运动向量检测装置检测的待处理图像的运动向量和在所述待处理图像之前处理的图像的运动向量,指定具有高相关性的像素块;和
运动向量估计装置,用于从由像素块指定装置指定的像素块的运动向量,估计与所指定像素块不同的像素块的运动向量。
6.按照权利要求4所述的图像处理设备,其中运动向量生成装置包括:
运动向量检测装置,用于从图像数据中检测充当待处理图像的单位图像的运动向量;和
运动向量平滑装置,用于使由运动向量检测装置检测的待处理图像的运动向量平滑。
7.按照权利要求4所述的图像处理设备,其中运动模糊增加装置包括:
滤波参数计算处理装置,用于指定供关于包括在待处理图像中的关心像素的参数计算之用的像素,所述供参数计算之用的像素位于由运动信息校正装置校正的运动向量上,和计算与从关心像素到所述供参数计算之用的像素的距离相应的滤波参数;和
运动模糊滤波器,用于对包括在待处理图像中的每个像素的像素值,进行与滤波参数相应的滤波处理。
8.按照权利要求1所述的图像处理设备,
其中通过利用运动信息对图像数据编码,
其中所述图像处理设备还包括通过利用运动信息对图像数据解码的解码装置,
其中运动信息校正装置根据成像信息,校正解码装置用于对图像数据解码的运动信息。
9.按照权利要求1所述的图像处理设备,
其中通过利用运动信息对图像数据编码,
其中所述图像处理设备还包括:
利用运动信息对图像数据解码的解码装置;和
运动信息生成装置,用于从解码装置解码的图像数据生成新的运动信息,
其中运动信息校正装置根据成像信息校正由运动信息生成装置生成的运动信息。
10.按照权利要求1所述的图像处理设备,其中只有当以图像数据作为活动图像进行图像处理时,运动模糊增加装置才向图像数据增加运动模糊。
11.一种成像设备,包括:
成像装置,用于通过进行被摄物体的成像,输出图像数据,在所述图像数据中,由图像数据表示的图像的运动模糊度按照成像条件而变化,所述图像数据是通过进行成像而获得的;
运动信息校正装置,用于根据表示成像条件的成像信息校正表示涉及图像的运动的运动信息;和
运动模糊增加装置,用于通过使用由运动信息校正装置校正的运动信息对图像数据进行图像处理,向图像增加运动模糊。
12.一种对通过进行被摄物体的成像而获得的图像数据进行图像处理的图像处理方法,在所述图像数据中,由图像数据表示的图像的运动模糊度按照进行被摄物体的成像时的成像条件变化,所述图像处理方法包括:
运动信息校正步骤,用于根据表示成像条件的成像信息校正代表涉及所述图像的运动的运动信息;和
运动模糊增加步骤,用于通过利用在运动信息校正步骤中校正的运动信息对图像数据进行图像处理,向图像增加运动模糊。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP028389/2007 | 2007-02-07 | ||
JP2007028389 | 2007-02-07 | ||
PCT/JP2008/052041 WO2008096818A1 (ja) | 2007-02-07 | 2008-02-07 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101543053A CN101543053A (zh) | 2009-09-23 |
CN101543053B true CN101543053B (zh) | 2011-07-06 |
Family
ID=39681722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200880000144XA Expired - Fee Related CN101543053B (zh) | 2007-02-07 | 2008-02-07 | 图像处理设备,成像设备,图像处理方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8063939B2 (zh) |
EP (1) | EP2111039B1 (zh) |
JP (1) | JP5045674B2 (zh) |
KR (1) | KR101426095B1 (zh) |
CN (1) | CN101543053B (zh) |
MY (1) | MY151708A (zh) |
WO (1) | WO2008096818A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009253675A (ja) * | 2008-04-07 | 2009-10-29 | Canon Inc | 再生装置および方法、プログラム |
JP2010015483A (ja) * | 2008-07-07 | 2010-01-21 | Sony Corp | 画像処理装置、画像処理方法、及びプログラム |
JP4674620B2 (ja) * | 2008-07-29 | 2011-04-20 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP4613990B2 (ja) | 2008-07-31 | 2011-01-19 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
JP5219771B2 (ja) * | 2008-12-15 | 2013-06-26 | キヤノン株式会社 | 映像処理装置および映像処理装置の制御方法 |
JP2010226314A (ja) * | 2009-03-23 | 2010-10-07 | Casio Computer Co Ltd | 動画処理装置、動画処理方法及び動画処理プログラム |
US20100295957A1 (en) | 2009-05-19 | 2010-11-25 | Sony Ericsson Mobile Communications Ab | Method of capturing digital images and image capturing apparatus |
JP5424835B2 (ja) * | 2009-11-30 | 2014-02-26 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP5428886B2 (ja) * | 2010-01-19 | 2014-02-26 | ソニー株式会社 | 情報処理装置、情報処理方法、及びそのプログラム |
JP2012003233A (ja) * | 2010-05-17 | 2012-01-05 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
KR101896026B1 (ko) * | 2011-11-08 | 2018-09-07 | 삼성전자주식회사 | 휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법 |
WO2013173670A2 (en) * | 2012-05-18 | 2013-11-21 | Thomson Licensing | Processing panoramic pictures |
WO2015124166A1 (en) * | 2014-02-18 | 2015-08-27 | Huawei Technologies Co., Ltd. | Method for obtaining a picture and multi-camera system |
CN104113698A (zh) * | 2014-08-06 | 2014-10-22 | 北京北纬通信科技股份有限公司 | 应用于图像捕获设备的模糊图像处理方法和*** |
JP6489879B2 (ja) * | 2015-03-09 | 2019-03-27 | キヤノン株式会社 | 画像再生装置及び画像再生方法 |
US11722771B2 (en) * | 2018-12-28 | 2023-08-08 | Canon Kabushiki Kaisha | Information processing apparatus, imaging apparatus, and information processing method each of which issues a notification of blur of an object, and control method for the imaging apparatus |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1349354A (zh) * | 1993-03-24 | 2002-05-15 | 索尼公司 | 运动矢量编码和解码方法及装置,图像信号编码和解码方法及装置 |
CN1765123A (zh) * | 2004-02-13 | 2006-04-26 | 索尼株式会社 | 图像处理装置、图像处理方法及程序 |
CN1765124A (zh) * | 2004-02-13 | 2006-04-26 | 索尼株式会社 | 图像处理装置、图像处理方法以及程序 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2297450B (en) * | 1995-01-18 | 1999-03-10 | Sony Uk Ltd | Video processing method and apparatus |
JP4083265B2 (ja) | 1997-10-07 | 2008-04-30 | 株式会社日立製作所 | 画像信号の方式変換方法および装置 |
US6665450B1 (en) * | 2000-09-08 | 2003-12-16 | Avid Technology, Inc. | Interpolation of a sequence of images using motion analysis |
CA2478671C (en) * | 2002-03-13 | 2011-09-13 | Imax Corporation | Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data |
EP1395061A1 (en) * | 2002-08-27 | 2004-03-03 | Mitsubishi Electric Information Technology Centre Europe B.V. | Method and apparatus for compensation of erroneous motion vectors in video data |
JP4269850B2 (ja) * | 2003-09-02 | 2009-05-27 | ソニー株式会社 | 撮像装置 |
JP5062968B2 (ja) * | 2004-08-11 | 2012-10-31 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2006096792A (ja) | 2004-09-28 | 2006-04-13 | Toyobo Co Ltd | コーティング剤とそれを用いた磁気記録媒体 |
JP2007028389A (ja) | 2005-07-20 | 2007-02-01 | Toshiba Corp | クロック生成回路及びクロック生成方法 |
JP4961800B2 (ja) | 2006-03-31 | 2012-06-27 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
-
2008
- 2008-02-07 JP JP2008539588A patent/JP5045674B2/ja not_active Expired - Fee Related
- 2008-02-07 MY MYPI20083979 patent/MY151708A/en unknown
- 2008-02-07 US US12/294,470 patent/US8063939B2/en not_active Expired - Fee Related
- 2008-02-07 CN CN200880000144XA patent/CN101543053B/zh not_active Expired - Fee Related
- 2008-02-07 WO PCT/JP2008/052041 patent/WO2008096818A1/ja active Application Filing
- 2008-02-07 KR KR1020087024345A patent/KR101426095B1/ko active IP Right Grant
- 2008-02-07 EP EP08710920.3A patent/EP2111039B1/en not_active Not-in-force
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1349354A (zh) * | 1993-03-24 | 2002-05-15 | 索尼公司 | 运动矢量编码和解码方法及装置,图像信号编码和解码方法及装置 |
CN1765123A (zh) * | 2004-02-13 | 2006-04-26 | 索尼株式会社 | 图像处理装置、图像处理方法及程序 |
CN1765124A (zh) * | 2004-02-13 | 2006-04-26 | 索尼株式会社 | 图像处理装置、图像处理方法以及程序 |
Non-Patent Citations (2)
Title |
---|
JP特开2005-80028A 2005.03.24 |
JP特开平11-112939A 1999.04.23 |
Also Published As
Publication number | Publication date |
---|---|
KR20090107911A (ko) | 2009-10-14 |
EP2111039A1 (en) | 2009-10-21 |
MY151708A (en) | 2014-06-30 |
JP5045674B2 (ja) | 2012-10-10 |
CN101543053A (zh) | 2009-09-23 |
WO2008096818A1 (ja) | 2008-08-14 |
US8063939B2 (en) | 2011-11-22 |
JPWO2008096818A1 (ja) | 2010-05-27 |
KR101426095B1 (ko) | 2014-08-01 |
EP2111039B1 (en) | 2017-10-25 |
US20100225772A1 (en) | 2010-09-09 |
EP2111039A4 (en) | 2016-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101543053B (zh) | 图像处理设备,成像设备,图像处理方法 | |
RU2689136C2 (ru) | Автоматизированное определение поведения системы или опыта пользователя посредством записи, совместного использования и обработки информации, ассоциированной с широкоугольным изображением | |
US8103134B2 (en) | Method and a handheld device for capturing motion | |
US10410061B2 (en) | Image capturing apparatus and method of operating the same | |
EP2704424A1 (en) | Photographing apparatus, method of controlling the same, and computer-readable recording medium | |
CN101931752B (zh) | 摄像装置、以及对焦方法 | |
US8570429B2 (en) | Image processing method and apparatus and digital photographing apparatus using the same | |
KR101643613B1 (ko) | 디지털 영상 처리 장치, 영상 처리 방법 및 이를 기록한 기록 매체 | |
CN108833804A (zh) | 成像方法、装置和电子设备 | |
US9743015B2 (en) | Image capturing apparatus and method of controlling the same | |
CN109167930A (zh) | 图像显示方法、装置、电子设备和计算机可读存储介质 | |
DE602007012949D1 (de) | Verminderung des Verwackelns von Bildern in digitale Kameras | |
CN109194855A (zh) | 成像方法、装置和电子设备 | |
JP2010114752A (ja) | 撮像装置及び撮像方法及びプログラム | |
US7489728B2 (en) | Apparatus and method for coding moving image | |
JP2006319578A (ja) | 奥行方向移動判定装置、その奥行方向移動判定装置を有する手ぶれ補正システム、およびその方法、プログラム、そのプログラムが記録された計算機に読み取り可能な記録媒体、および手ぶれ補正システムを備える電子機器。 | |
KR101538654B1 (ko) | 손 떨림 보정 동작을 제어하는 디지털 촬영장치 및 이의제어방법 | |
KR20080021519A (ko) | 화상 처리 장치 및 방법, 프로그램 및 촬상 장치 | |
JP2006262000A (ja) | 画像処理装置およびその処理方法 | |
US20100253798A1 (en) | Image processing apparatus, digital camera, and recording medium | |
JP2017143354A (ja) | 画像処理装置及び画像処理方法 | |
CN114207659A (zh) | 光场消息传递 | |
JP4893330B2 (ja) | 撮像装置 | |
JP2009118434A (ja) | ぶれ補正装置及び撮像装置 | |
JP2014120139A (ja) | 画像処理装置およびその制御方法、撮像装置、および表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110706 Termination date: 20220207 |