CN109565556A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN109565556A
CN109565556A CN201680088002.8A CN201680088002A CN109565556A CN 109565556 A CN109565556 A CN 109565556A CN 201680088002 A CN201680088002 A CN 201680088002A CN 109565556 A CN109565556 A CN 109565556A
Authority
CN
China
Prior art keywords
noise
variety
pixel
correction process
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680088002.8A
Other languages
English (en)
Other versions
CN109565556B (zh
Inventor
丸山裕辉
市川学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN109565556A publication Critical patent/CN109565556A/zh
Application granted granted Critical
Publication of CN109565556B publication Critical patent/CN109565556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7908—Suppression of interfering signals at the reproducing side, e.g. noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

提供一种图像处理装置、图像处理方法和程序，在图像数据中产生了多种噪声的情况下，能够防止因错误的校正处理顺序引起的画质劣化，并且实现高画质的图像。图像处理装置(20)包括按顺序执行多种校正处理的噪声校正部(22)，该顺序是根据多种噪声的特性和光在像素中被接收并被读取为像素值输出为止经过的过程而决定的。

Description

图像处理装置、图像处理方法和程序
技术领域
本发明涉及对具有多个像素的摄像元件中产生的噪声进行校正的图像处理装置、图像处理方法和程序。
背景技术
目前，已知一种对摄像装置中使用的摄像元件生成的图像数据，校正因摄像元件的使用条件而发生的混色和随机噪声的技术(参照专利文献1)。该技术中，通过按最佳的处理顺序进行用于校正混色的混色校正处理和用于降低随机噪声的随机噪声校正处理，来防止画质劣化。
现有技术文献
专利文献
专利文献1：日本专利第5425343号公报
发明内容
发明要解决的技术问题
然而，在图像数据所含的各种噪声中，例如存在因构成像素的光电二极管中的过大暗电流引起的噪声(白缺陷或像素缺陷)、由彩色滤光镜的透射率偏差引起的噪声(光谱灵敏度偏差噪声或灵敏度偏差噪声)、因从像素读取信号的读取电路的不良而引起的噪声(RTS噪声或闪烁缺陷)等。因此，像上述专利文献1那样仅校正混色和随机噪声，存在无法获得足够的画质的问题。
而即使了进行与可能发生的多种噪声分别对应的多种校正处理，在以随机顺序进行多种校正处理的情况下，因为没有考虑各校正处理彼此的影响，所以存在画质反而劣化的问题。
本发明是鉴于上述情况而作出的，其目的在于提供一种图像处理装置、图像处理方法和程序，在图像数据中产生了多种噪声的情况下，能够防止因错误的校正处理顺序引起的画质劣化，并且实现高画质的图像。
解决问题的技术手段
为了解决上述问题，实现技术目的，本发明的图像处理装置能够执行多种校正处理，所述多种校正处理用于分别校正由摄像元件生成的图像数据中包含的特性彼此不同的多种噪声，所述摄像元件包括接收光并生成与受光量相应的信号的多个像素，和将各像素的所述信号读取为像素值的多个读取电路，所述图像处理装置的特征在于，包括按顺序执行所述多种校正处理的噪声校正部，所述顺序是根据所述多种噪声的特性，和所述光在所述像素中被接收并被读取为所述像素值输出为止经过的过程而决定的。
本发明的图像处理装置的特征还在于，在上述方案中，所述噪声校正部基于所述多种噪声的特性，将所述多种校正处理分类为多个组，按根据该多个组和所述过程决定的顺序，执行所述多种校正处理。
本发明的图像处理装置的特征还在于，在上述方案中，所述多种噪声是在设置于所述像素的受光面上的光学***、所述像素和所述读取电路之中的任意处产生的噪声，所述噪声校正部按根据噪声在所述过程中的产生顺序的逆序而决定的顺序，执行包含在所述多个组的每一个组中的所述多种校正处理。
本发明的图像处理装置的特征还在于，在上述方案中，所述噪声校正部按根据所述噪声的噪声水平而决定的顺序，执行包含在所述多个组的每一个组中的所述多种校正处理。
本发明的图像处理装置的特征还在于，在上述方案中，所述噪声校正部按根据所述噪声的产生范围而决定的顺序，执行包含在所述多个组的每一个组中的所述多种校正处理。
本发明的图像处理装置的特征还在于，在上述方案中，所述噪声校正部使校正内容随特定条件而切换的校正处理的顺序位于其他校正处理之后，执行包含在所述多个组的每一个组中的所述多种校正处理。
本发明的图像处理装置的特征还在于，在上述方案中，所述噪声校正部，在因先执行的校正处理产生了与后执行的校正处理要校正的噪声类似的类似噪声的情况下，通过后执行的校正处理，对该类似噪声和其他噪声进行校正。
本发明的图像处理装置的特征还在于，在上述方案中，所述多种校正处理包括使用所述图像数据一边检测所述噪声一边进行校正的校正处理，所述噪声校正部分类为一边检测所述噪声一边进行校正的有检测的组，和除此以外的无检测的组，并且，按所述有检测的组、所述无检测的组的顺序，执行所述多种校正处理。
本发明的图像处理装置的特征还在于，在上述方案中，所述噪声校正部根据所述多种校正处理分别要校正的所述噪声的水平，将所述多种校正处理分类为所述多个组，并且，按所述噪声的水平从高到低的组的顺序，执行所述多种校正处理。
本发明的图像处理装置的特征还在于，在上述方案中，所述噪声校正部根据所述多种校正处理分别要校正的所述噪声的产生范围，将所述多种校正处理分类为所述多个组，并且，按所述产生范围从小到大的组的顺序，执行所述多种校正处理。
本发明的图像处理装置的特征还在于，在上述方案中，还包括噪声信息记录部，其记录与所述多种噪声分别相关的噪声信息。
本发明的图像处理方法由能够执行多种校正处理的图像处理装置执行，所述多种校正处理用于分别校正由摄像元件生成的图像数据中包含的特性彼此不同的多种噪声，所述摄像元件包括接收光并生成与受光量相应的信号的多个像素，和将各像素的所述信号读取为像素值的多个读取电路，所述图像处理方法的特征在于：包括按顺序执行所述多种校正处理的噪声校正步骤，所述顺序是根据所述多种噪声的特性，和所述光在所述像素中被接收并被读取为所述像素值输出为止经过的过程而决定的校正处理的顺序。
本发明的程序，其特征在于，使能够执行多种校正处理的图像处理装置执行噪声校正步骤，所述多种校正处理用于分别校正由摄像元件生成的图像数据中包含的特性彼此不同的多种噪声，所述摄像元件包括接收光并生成与受光量相应的信号的多个像素，和将各像素的所述信号读取为像素值的多个读取电路，在所述噪声校正步骤中按顺序执行所述多种校正处理，所述顺序是根据所述多种噪声的特性，和所述光在所述像素中被接收并被读取为所述像素值输出为止经过的过程而决定的。
发明效果
采用本发明能够得到这样的效果，即，在图像数据中产生了多种噪声的情况下，防止因错误的校正处理顺序引起的画质劣化，并且实现高画质的图像。
附图说明
图1是示意性地表示本发明实施方式1的摄像***的结构的框图。
图2是示意性地表示本发明实施方式1的摄像元件的主要部分的结构的概略图。
图3是表示本发明实施方式1的摄像元件中产生的各噪声的特性之一例的图。
图4是示意性地表示本发明实施方式1的摄像元件中因读取电路而引起的FD白缺陷的产生示例的图。
图5是示意性地表示本发明实施方式1的摄像元件中的白缺陷的产生示例的图。
图6是示意性地表示本发明实施方式1的摄像元件中的RTS噪声的产生示例的图。
图7是示意性地表示本发明实施方式1的摄像元件中的光谱灵敏度偏差的产生示例的图。
图8是示意性地表示本发明实施方式1的摄像元件中的缺陷像素和低饱和像素的产生示例的图。
图9是示意性地表示本发明实施方式1的噪声信息记录部所记录的噪声信息中所含的低饱和像素信息之一例的图。
图10是示意性地表示本发明实施方式1的噪声信息记录部所记录的噪声信息中所含的低饱和像素信息之一例的图。
图11是表示本发明实施方式1的图像处理装置执行的噪声处理之概要的流程图。
图12A是示意性地说明本发明实施方式1的噪声校正部进行的多种校正处理之顺序的决定方法的图。
图12B是示意性地说明本发明实施方式1的噪声校正部进行的多种校正处理之顺序的决定方法的图。
图12C是示意性地说明本发明实施方式1的噪声校正部进行的多种校正处理之顺序的决定方法的图。
图13是示意性地表示本发明实施方式1的噪声校正部的结构的图。
图14是表示本发明实施方式1的变形例的图像处理装置执行的噪声处理之概要的流程图。
图15A是示意性地说明本发明实施方式1的变形例的噪声校正部进行的多种校正处理之顺序的决定方法的图。
图15B是示意性地说明本发明实施方式1的变形例的噪声校正部进行的多种校正处理之顺序的决定方法的图。
图15C是示意性地说明本发明实施方式1的变形例的噪声校正部进行的多种校正处理之顺序的决定方法的图。
图16是示意性地表示本发明实施方式1的变形例的噪声校正部的结构的图。
图17是表示本发明实施方式2的图像处理装置执行的噪声处理之概要的流程图。
图18A是示意性地说明本发明实施方式2的噪声校正部进行的多种校正处理之顺序的决定方法的图。
图18B是示意性地说明本发明实施方式2的噪声校正部进行的多种校正处理之顺序的决定方法的图。
图18C是示意性地说明本发明实施方式2的噪声校正部进行的多种校正处理之顺序的决定方法的图。
图19是示意性地表示本发明实施方式2的噪声校正部的结构的图。
图20是表示本发明实施方式3的图像处理装置执行的噪声处理之概要的流程图。
图21A是示意性地说明本发明实施方式3的噪声校正部进行的多种校正处理之顺序的决定方法的图。
图21B是示意性地说明本发明实施方式3的噪声校正部进行的多种校正处理之顺序的决定方法的图。
图21C是示意性地说明本发明实施方式3的噪声校正部进行的多种校正处理之顺序的决定方法的图。
图22是示意性地表示本发明实施方式3的噪声校正部的结构的图。
具体实施方式
下面参照附图说明用于实施本发明的方式(下称“实施方式”)。不过，本发明并不限定于下面说明的实施方式。在附图的记载中，对于相同部分标注相同标记进行说明。
(实施方式1)
[摄像***的结构]
图1是示意性地表示本发明实施方式1的摄像***的结构的框图。图1所示的摄像***1包括摄像装置10、图像处理装置20和显示装置30。
[摄像装置的结构]
首先说明摄像装置10的结构。如图1所示，摄像装置10包括光学***101、光阑102、快门103、驱动器104、摄像元件105、模拟处理部106、A/D转换部107、操作部108、存储器I/F部109、记录介质110、易失性存储器111、非易失性存储器112、总线113、摄像控制部114和第一外部I/F部115。
光学***101使用多个透镜构成。光学***101例如使用聚焦透镜和变焦透镜构成。
光阑102通过限制经光学***101会聚的光的入射量来进行曝光调节。光阑102在摄像控制部114的控制下，限制经光学***101会聚的光的入射量。
快门103用于将摄像元件105的状态设定为曝光状态或遮光状态。快门103例如使用焦平面快门等构成。
驱动器104在后述的摄像控制部114的控制下对光学***101、光阑102和快门103进行驱动。例如，驱动器104通过使光学***101沿光轴O1移动，来改变摄像装置10的变焦倍率或调节对焦位置。
摄像元件105在后述的摄像控制部114的控制下，接收经光学***101会聚的光并将其转换为图像数据(电信号)输出。摄像元件105使用二维状地配置有多个像素的CMOS(Complementary Metal Oxide Semiconductor)等构成。在该各像素的正面配置有拜耳阵列的RGB滤光镜。不过摄像元件105不限于拜耳阵列，例如也可以采用Fovion这样的叠层型的形式。所使用的滤光镜不限定于RGB，能够应用补色滤光镜等任意的滤光镜。也可以是，另行配置能够以时分方式照射不同颜色的光的光源，使得能够在摄像元件105中不配置滤光镜，而是使用边改变照射的颜色边依次读取到的图像来构成彩色图像。
此处，对摄像元件105的结构进行详细说明。图2是示意性地表示摄像元件105的主要部分的结构的概略图。图2所示的摄像元件105表示的是为了提高像素的开口率来提高灵敏度，而由多个像素共用读取电路的例子。在下文中，作为摄像元件105之一例，说明对水平方向(横向)2像素×垂直方向(纵向)4像素这8个像素配置了1个读取电路的情况。在摄像元件105上，上述像素和读取电路是在水平方向和垂直方向上排列而配置的。并且，在摄像元件105中，配置有多个共用读取电路的多个像素(共用块)。
如图2所示，摄像元件105包括微透镜105a、彩色滤光镜105b、像素105c(光电二极管)、第一开关105d、传输线105e、FD(Floating Diffusion)部105f、放大器部105g、第二开关105h、控制线105i和传输线105j，其中，微透镜105a用于使光会聚，彩色滤光镜105b使用具有彼此不同的光谱透射率的多个滤光镜形成为规定的阵列图案，多个像素105c(光电二极管)接收从微透镜105a和彩色滤光镜105b透射的光进行光电转换而产生与曝光量对应的电荷，第一开关105d被分别设置于多个像素105c，根据摄像控制部114的控制而进行开闭，传输线105e传输从多个像素105c分别输出的信号(电荷)，FD部105f储存从多个像素105c分别输出的信号，放大器部105g对从FD部105f输出的信号进行放大，第二开关105h根据摄像控制部114的控制而进行开闭，控制线105i用于控制第二开关105h，传输线105j传输经放大器部105g放大的电信号。彩色滤光镜105b由使绿色波段的光透射的2个G滤光镜、使红色波段的光透射的R滤光镜、使蓝色波段的光透射的B滤光镜按拜耳阵列排列而形成。
在这样构成的摄像元件105中，在如箭头A所示读取与像素105c的曝光量对应的信号作为像素值的情况下，首先，使FD部105f成为复位状态，并且摄像控制部114仅使第一开关105d(1)导通，来将像素105c(1)中产生的电荷传输到FD部105f。之后，在摄像元件105中，摄像控制部114使第二开关105h导通，利用放大器部105g对储存在FD部105f中的电荷进行放大，并将其读取(输出)为像素值。接着，摄像元件105使FD部105f成为复位状态，并且摄像控制部114仅使第一开关105d(2)导通，来将像素105c(2)中产生的电荷传输到FD部105f。之后，在摄像元件105中，摄像控制部114使第二开关105h导通，利用放大器部105g对储存在FD部105f中的电荷进行放大，并将其读取为像素值。摄像元件105通过依次进行这样的读取动作，能够将与像素105c的曝光量对应的信号依次作为像素值输出。在本实施方式1中，FD部105f后的电路(包括FD部105f在内)起到从多个像素105c分别读取电荷或像素值的读取电路的作用。
回到图1，继续说明摄像装置10的结构。
模拟处理部106对从摄像元件105输入的模拟信号实施规定的模拟处理，将其输出到A/D转换部107。具体而言，模拟处理部106对从摄像元件105输入的模拟信号进行降噪处理和增益上调处理等。例如，模拟处理部106对模拟信号在降低了复位噪声等的基础上进行波形整形，并进行增益上调处理以达到目标亮度。
A/D转换部107对从模拟处理部106输入的模拟信号进行A/D转换而生成数字的图像数据(下文称“RAW图像数据”)，将其经总线113输出到易失性存储器111。A/D转换部107也可以直接将RAW图像数据输出到后述的摄像装置10的各部。也可以是，将上述的模拟处理部106和A/D转换部107设置在摄像元件105中，由摄像元件105直接输出数字的RAW图像数据。
操作部108对摄像装置10发出各种指示。具体而言，操作部108具有电源开关、快门释放开关、操作开关和动态图像开关等，其中，电源开关用于将摄像装置10的电源装置切换为开状态或关状态，快门释放开关用于发出拍摄静止图像的指示，操作开关用于切换摄像装置10的各种设定，动态图像开关用于发出拍摄动态图像的指示。
记录介质110使用从摄像装置10外部安装的存储卡构成，能够经存储器I/F部109以可拆装的方式安装在摄像装置10上。记录介质110可以在摄像控制部114的控制下，经存储器I/F部109对非易失性存储器112输出程序和各种信息。
易失性存储器111临时存储从A/D转换部107经总线113输入的图像数据。例如，易失性存储器111临时存储由摄像元件105经模拟处理部106、A/D转换部107和总线113按每一帧依次输出的图像数据。易失性存储器111使用SDRAM(Synchronous Dynamic RandomAccess Memory)等构成。
非易失性存储器112使用Flash存储器等构成。其记录用于使摄像装置10工作的各种程序、程序执行时使用的各种数据。非易失性存储器112包括程序记录部112a和噪声信息记录部112b，其中噪声信息记录部112b记录关于摄像元件105中的各种噪声的噪声信息。噪声信息包括RTS噪声信息、光谱灵敏度偏差信息、缺陷像素信息、低饱和像素信息。
此处，RTS噪声信息包括摄像元件105中的RTS噪声的RTS噪声位置信息、噪声水平信息和随机噪声模型。
光谱灵敏度偏差信息包括用于对构成摄像元件105的多个像素各自的光谱灵敏度的偏差进行校正的校正系数。与RTS噪声信息相比，光谱灵敏度偏差信息可以仅保持(仅包括)偏差较大的部分像素的校正系数。光谱灵敏度的偏差指的是，由设置在构成摄像元件105的多个像素各自的受光面上的光学***导致的、因制造过程而产生的噪声。此处，光学***是设置在像素的受光面上的微透镜、各种滤光镜(例如彩色滤光镜、红外截止滤光镜和低通滤光镜等)。
缺陷像素信息包括：与摄像元件105中的像素的位置对应的缺陷像素的位置信息(位置信息包括用于读取像素值的读取电路(放大器部105g的位置信息)和产生了缺陷像素的像素的位置信息中的任一者或两者)，和噪声水平信息。缺陷像素信息也可以包括关于白缺陷和FD白缺陷的信息。
低饱和像素信息包括：与摄像元件105中的像素的位置对应的低饱和像素的位置信息(位置信息包括用于读取像素值的读取电路(放大器部105g的位置信息)和产生了低饱和像素的像素的位置信息中的任一者或两者)，和噪声水平信息。不过，任一噪声信息都可以不包括噪声水平信息。
总线113是使用将摄像装置10的各构成部位连接的传输路径等构成的，将摄像装置10的内部产生的各种数据传输到摄像装置10的各构成部位。
摄像控制部114使用CPU(Central Processing Unit)等构成，根据来自操作部108的指示信号或快门释放信号，对构成摄像装置10的各部发出指示或进行数据传输等，从而综合控制摄像装置10的动作。例如，摄像控制部114在从操作部108输入了第二快门释放信号的情况下，进行使摄像装置10中的拍摄动作开始的控制。此处，摄像装置10中的拍摄动作指的是对摄像元件105输出的图像数据，由模拟处理部106和A/D转换部107实施规定的处理的动作。像这样实施了处理的图像数据，在摄像控制部114的控制下，经总线113和存储器I/F部109被记录在记录介质110中。
第一外部I/F部115将外部设备输入的信息经总线113输出到非易失性存储器112或易失性存储器111，并经总线113对外部设备输出易失性存储器111记录的信息、非易失性存储器112记录的信息和摄像元件105生成的图像数据。具体而言，第一外部I/F部115经总线113对图像处理装置20输出摄像元件105生成的图像数据。
[图像处理装置的结构]
接着说明图像处理装置20的结构。图像处理装置20包括第二外部I/F部21、噪声校正部22和图像处理部23。
第二外部I/F部21经摄像装置10的第一外部I/F部115获取由摄像元件105生成的RAW图像数据，将所获取的RAW图像数据输出至噪声校正部22。并且，第二外部I/F部21经摄像装置10的第一外部I/F部115获取非易失性存储器112的噪声信息记录部112b记录的噪声信息，将所获取的噪声信息输出至噪声校正部22。
噪声校正部22对从第二外部I/F部21输入的RAW图像数据进行用于校正噪声的噪声校正处理，将处理后的数据输出至图像处理部23。具体而言，噪声校正部22按顺序执行多种校正处理来校正RAW图像数据中产生的多种噪声，将校正后的数据输出至图像处理部23，其中，上述顺序是根据多种噪声的特性和光在透过滤光镜105b并在像素105c中被接收而被读取为像素值输出为止经过的过程(参照图2的箭头A)而决定的。噪声校正部22包括FD白缺陷校正部221、白缺陷校正部222、RTS噪声校正部223、光谱灵敏度偏差校正部224和低饱和像素校正部225。
FD白缺陷校正部221对第二外部I/F部21获取的RAW图像数据校正因FD不良引起的FD白缺陷，并将校正后的数据输出。FD白缺陷校正部221包括缺陷块检测部221a和缺陷块校正部221b。
缺陷块检测部221a基于第二外部I/F部21获取的RAW图像数据，使用共用块——其由共用读取电路的多个像素构成——内的像素的像素值，和该共用块外的像素的像素值，检测共用块内产生的像素值的偏置(offset)成分，将其检测结果输出至缺陷块校正部221b。具体而言，缺陷块检测部221a基于共用块内的像素的像素值和与该共用块内的像素相邻的共用块外的像素的像素值的差，来检测共用块内产生的像素值的偏置成分。并且，缺陷块检测部221a也可以基于第二外部I/F部21获取的RAW图像数据，使用共用块内的像素的像素值和该共用块外的像素的像素值，检测产生FD白缺陷的共用块(缺陷块)的位置，将检测结果输出至缺陷块校正部221b。
缺陷块校正部221b基于缺陷块检测部221a检测出的偏置成分，计算用于校正共用块内的像素的像素值的校正量，使用该校正量对共用块内的像素的像素值进行校正，输出校正后的数据。
白缺陷校正部222对第二外部I/F部21获取的RAW图像数据校正因PD不良引起的白缺陷，并将校正后的数据输出。具体而言，白缺陷校正部222基于噪声信息记录部112b记录的噪声信息中所含的白缺陷的位置信息，对RAW图像数据执行使用白缺陷的周边像素的像素值进行校正的白缺陷校正处理，并输出处理后的数据。白缺陷校正部222包括缺陷像素检测部222a和缺陷像素校正部222b。白缺陷校正部222也可以使用公知的技术(例如参照日本专利第4453332号公报)执行白缺陷校正处理。
缺陷像素检测部222a基于噪声信息记录部112b记录的噪声信息，检测RAW图像数据的缺陷像素并将其输出至缺陷像素校正部222b。例如，缺陷像素检测部222a基于噪声信息记录部112b记录的噪声信息中所含的白缺陷的位置信息检测RAW图像数据的缺陷像素，并将其输出至缺陷像素校正部222b。缺陷像素检测部222a也可以使用公知的技术检测缺陷像素。
缺陷像素校正部222b对缺陷像素检测部222a检测出的缺陷像素的像素值进行校正，输出校正后的数据。
RTS噪声校正部223基于摄像装置10的非易失性存储器112的噪声信息记录部112b记录的噪声信息中所含的RTS噪声信息，对RAW图像数据进行用于校正RTS噪声的RTS噪声校正处理，并输出处理后的数据。RTS噪声校正部223包括RTS噪声像素判断部223a、候选值计算部223b、代表值计算部223c、随机噪声量推算部223d和校正值计算部223e。RTS噪声校正部223可以使用周围的技术(例如参照日本特开2012-105063号公报)执行RTS噪声校正处理。
RTS噪声像素判断部223a经第二外部I/F部21、第一外部I/F部115和总线113获取摄像装置10的噪声信息记录部112b记录的噪声信息，判断所获取的RAW图像的像素中是否产生了RTS噪声，将判断结果输出至候选值计算部223b和代表值计算部223c。具体而言，在像素的位置被输入到RTS噪声像素判断部223a时，判断摄像装置10的噪声信息记录部112b中是否记录了与该像素对应的RTS噪声信息，如果已记录则输出RTS噪声信息(该信息表示存在RTS噪声)，而如果在摄像装置10的噪声信息记录部112b中没有记录，则将该像素视为没有产生RTS噪声的像素，不输出RTS噪声信息。
在RTS噪声像素判断部223a基于关注像素的RAW图像中的像素值和RTS噪声像素判断部223a的判断结果，判断为关注像素中产生了RTS噪声的情况下，在候选值计算部223b中，计算关注像素的像素值的校正量的多个候选值，并将关注像素的RAW图像中的像素值和计算出的多个候选值分别输出至代表值计算部223c、随机噪声量推算部223d和校正值计算部223e。
在代表值计算部223c中，在RTS噪声像素判断部223a判断为关注像素中产生了RTS噪声的情况下，基于关注像素周围的至少由RTS噪声像素判断部223a判断为没有产生RTS噪声的像素，和后述的随机噪声量推算部223d计算出的与关注像素对应的随机噪声量的参考值，来计算代表值，其中代表值相当于没有产生RTS噪声的情况下的像素值。代表值计算部223c将关注像素的RAW图像中的像素值、多个候选值和上述计算出的代表值输出至校正值计算部223e。
随机噪声量推算部223d基于摄像装置10的噪声信息记录部112b记录的噪声信息中所含的随机噪声模型，推算与像素值对应的随机噪声量，将推算结果输出至代表值计算部223c。即，当像素值被输入到随机噪声量推算部223d时，输出与该像素值对应的随机噪声量。
在校正值计算部223e中，在RTS噪声像素判断部223a判断为关注像素中可能产生了RTS噪声的像素的情况下，基于候选值计算部223b计算出的多个候选值对关注像素的像素值进行校正。具体而言，校正值计算部223e基于关注像素的RAW图像中的像素值、候选值计算部223b计算出的多个候选值和代表值计算部223c计算出的代表值，计算校正了RTS噪声的像素值，并输出该像素值。更具体而言，校正值计算部223e从候选值计算部223b计算出的多个候选值中，基于校正结果最接近代表值计算部223c计算出的代表值的候选值，对关注像素的像素值进行校正，输出校正后的像素值。而在RTS噪声像素判断部223a判断为关注像素中没有产生RTS噪声的像素的情况下，校正值计算部223e直接输出关注像素的RAW图像中的像素值。
光谱灵敏度偏差校正部224基于摄像装置10的非易失性存储器112的噪声信息记录部112b记录的噪声信息，对RAW图像进行用于校正各滤光镜的光谱灵敏度的偏差的光谱灵敏度偏差校正处理，并输出处理后的数据。光谱灵敏度偏差校正部224包括校正量计算部224a和像素值校正部224b。
校正量计算部224a基于关注像素周围的像素的像素值和噪声信息记录部112b记录的关注像素的校正系数，计算用于校正关注像素的像素值的校正量，并输出该校正量。或者，校正量计算部224a基于关注像素和周围的像素的像素值，计算用于校正关注像素的像素值的校正量。此处，周围的像素是与关注像素相邻的像素或位于关注像素附近的像素。与关注像素相邻的像素指的是以关注像素为基准位于左右上下方向的像素。而位于关注像素附近的像素指的是以关注像素为基准位于倾斜方向的像素，或与关注像素同色的、最靠近关注像素的像素。
像素值校正部224b使用校正量计算部224a计算出的校正量对关注像素的像素值进行校正，输出校正后的像素值。
低饱和像素校正部225基于噪声信息记录部112b记录的噪声信息，进行用于校正低饱和像素的低饱和像素校正处理，输出处理后的数据。
图像处理部23对通过噪声处理部22校正了噪声的图像数据进行规定的图像处理，将处理后的数据输出至显示装置30。此处，在规定的图像处理中至少进行基本的图像处理，其包括：光学黑体减除处理、白平衡调节处理、摄像元件采用拜耳阵列的情况下的图像数据的颜色同步处理、颜色矩阵运算处理、γ校正处理、颜色复现处理和边缘增强处理等。图像处理部23基于预先设定的各图像处理的参数，进行用于复现自然的图像的图像处理。此处，各图像处理的参数指的是对比度、锐度、彩度、白平衡和灰阶的值。
[显示装置的结构]
接着说明显示装置30的结构。显示装置30显示与从图像处理装置20输入的图像数据对应的图像。显示装置30例如使用液晶或有机EL(Electro Luminescence)等显示面板构成。
在上述结构的摄像***1中，图像处理装置20对摄像元件105生成的RAW图像数据的噪声进行校正，显示装置30显示与经图像处理装置20实施图像处理后的图像数据对应的图像。
[各噪声的特性]
接着说明摄像元件105中产生的各噪声的特性。图3是表示各噪声的特性之一览的图。
如图3所示，表T1中关联地记载了噪声名和噪声特性。具体而言，在表T1中，噪声名中记载了FD白缺陷、白缺陷、RTS噪声、光谱灵敏度偏差和低饱和像素这5种噪声。并且，表T1中针对各噪声关联地记载了关于产生部位、噪声的水平、产生范围、校正时检测的有无和表示校正内容是否因特定条件而切换的校正ON/OFF切换的信息。
此处，产生部位指的是摄像元件105中的作为噪声产生原因的部位。噪声的水平指的是因噪声而产生的像素值从正常值偏离的量的大小。产生范围指的是在产生了噪声的情况下受噪声影响的像素范围的大小(最小单位)。校正时检测的有无指的是记载了下述两种信息之任一个的信息，该两种信息其中之一表示在校正时一边检测产生噪声的像素一边进行校正(有检测)，其中之另一表示在校正时不检测产生噪声的像素就进行校正(无检测)。校正ON/OFF切换(校正的有/无切换)指的是表示校正内容是否因特定条件而切换的信息。图3以上述5种噪声为例进行说明，但当然也可以包括这5种以外的噪声例如黑缺陷等。并且，图3的表T1的特性仅为一例，可以根据摄像元件105的特性而改变。
[各噪声的产生示例]
接着说明各噪声的产生示例。在下文中，按图3所示的表T1的顺序说明各噪声的产生示例。
[FD白缺陷]
首先说明摄像元件105中因FD不良引起的FD白缺陷的产生示例。图4是示意性地表示摄像元件105中因FD不良引起的FD白缺陷的产生示例的图。在图4中，与上述图2同样地，表示了对横向2像素×纵向4像素这8个像素利用1个读取电路读取信号的共用块的情况。图4中细线L1形成的正方形表示各像素，白色的正方形表示正常像素P1。图4中粗线L2形成的框G1表示输出为正常值的共用块，而组(group)G2——其包括标有斜线的像素P2——表示因FD不良而产生了噪声的FD白缺陷(缺陷块)，其中FD是读取电路的一部分。
如图4所示，FD白缺陷是在读取电路包含不良FD的情况下，经该读取电路读取的各像素的像素值一致地比周围的像素值高或一致地比周围的像素值低的异常的共用块或像素。因此，产生了FD白缺陷的像素P2的像素值输出的是在正常值上加上一定的偏置量而得到的值。而且，共用块内的像素的偏置量是相同的。
[白缺陷]
接着说明摄像元件105中产生的白缺陷的产生示例。图5是示意性地表示摄像元件105中的白缺陷的产生示例的图。图5中，标有阴影线的像素P3表示白缺陷或黑缺陷中的任一种缺陷像素。
如图5所示，白缺陷(像素P3)表示像素值比正常像素P1的像素值高一定水平(level)的现象。该水平随曝光时间、温度和增益而变化。而黑缺陷与白缺陷相反，表示像素值比正常像素P1的像素值低一定水平的现象。
[RTS噪声]
接着说明摄像元件105中产生的RTS噪声的产生示例。图6是示意性地表示摄像元件105中的RTS噪声的产生示例的图。在图6中，与上述图2同样地，表示了对横向2像素×纵向4像素这8个像素利用1个读取电路读取信号的共用块的情况。图6中细线L1形成的正方形表示各像素，白色的正方形表示正常像素P1。图6中粗线L2形成的框G1表示输出为正常值的共用块，标有斜线的像素P4的组G4表示缺陷块。
如图6所示，产生了RTS噪声的像素P4以随机的周期闪烁。而且，共用块内的像素的最大偏置量是相同的。
[光谱灵敏度偏差]
接着说明摄像元件105中产生的光谱灵敏度偏差的产生示例。图7是示意性地表示摄像元件105中的光谱灵敏度偏差的产生示例的图。图7中用阴影线表示灵敏度不良的像素P5(暗点和亮点)。不过，即使是正常的图像P1，也会产生微小的光谱灵敏度偏差。
如图7所示，像素P5表示与正常像素P1相比，对光的灵敏度显著升高或者灵敏度显著降低的现象。因此，光谱灵敏度偏差的对象是灵敏度与正常像素P1之差较大的像素。另外，灵敏度不良像素表示的是与光谱灵敏度偏差同样的、灵敏度产生差异的现象，所以也可以通过光谱灵敏度偏差校正处理进行校正。
[低饱和像素]
接着说明摄像元件105中产生的低饱和像素的产生示例。图8是示意性地表示摄像元件中的缺陷像素和低饱和像素的产生示例的图。图8中，像素P6(标有阴影线)表示白缺陷或黑缺陷等缺陷像素，像素P7(标有阴影线)表示低饱和像素。
如图8所示，像素P7表示与正常的像素P1相比，在拍摄没有对比度的、明亮的平坦被摄体的情况下，尽管其他像素的像素值已达到最大值(例如12比特的情况下为4095)，但其呈现为未达到最大值的像素值的现象。
图9是示意性地表示噪声信息记录部112b记录的噪声信息中所含的低饱和像素信息之一例的图。图10是示意性地表示噪声信息中所含的低饱和像素信息之一例的图。图9中，像素P10、像素P11表示低饱和像素。
如图8～图10所示，在低饱和像素信息中，关联地记录了每个像素的位置信息和利用检测装置等预先检测出的饱和水平。作为其记录方法存在获取饱和水平映射图——其中对摄像元件105生成的RAW图像数据中的多个像素分别设定了饱和水平——的方法(参照图9)，和关联地获取低饱和像素的坐标(地址)和饱和水平的方法(参照图10)。在采用关联地获取低饱和像素的坐标(地址)和饱和水平的方法的情况下，记录低饱和像素的坐标及其饱和水平并记录低饱和像素以外的像素的饱和水平，在其中记录有要参照(查找)饱和水平的坐标的情况下使用对应的饱和水平，而在未记录有要参照饱和水平的坐标的情况下使用低饱和像素以外的像素的饱和水平。对于低饱和像素之外的像素，在其充分饱和的情况下，可以将像素值的最大值(例如12比特的情况下为4095)作为饱和水平。
图9和图10以与像素的位置对应的方式记录了饱和水平，但在饱和水平会因读取电路的一部分而下降的情况下，也可以采用与读取电路的位置对应的方式记录饱和水平(当然也可以利用图9和图10所示的方法记录饱和水平)。该情况下，可以在读取了所记录的信息之后，通过使共用读取电路的像素为相同的饱和水平等，来将所记录的信息转换为像素单位的饱和水平，并将转换后的信息作为低饱和像素信息。
对于各像素的饱和水平，优选在考虑了像素值的线性关系(linearity)和随机噪声等的基础上决定饱和水平。例如，可以从完全饱和等条件下曝光得到的图像的像素值减去基于其亮度的随机噪声量的值，将得到的值作为该像素的饱和水平。也可以将能够导致线性关系丧失的像素值作为饱和水平。当然，也可以在考虑了两者的基础上设定饱和水平。
[图像处理装置的处理]
接着说明图像处理装置20执行的处理。图11是表示图像处理装置20执行的噪声处理之概要的流程图。图12A～图12C是示意性地说明噪声校正部22进行的多种校正处理之顺序的决定方法的图。在图11和图12A～图12C中，各校正处理的说明所针对的是这样的情况，即，不将关注像素的周围像素中的其他噪声排除在外地，利用周围像素计算校正量或插值。
如图11所示，首先，噪声校正部22经第二外部I/F部21、第一外部I/F部115和总线113从噪声信息记录部112b获取噪声信息并从非易失性存储器112获取RAW图像数据，基于所获取的噪声信息，按照噪声的水平将多种校正处理分类为多个组(步骤S101)。具体而言，如图12A所示，噪声校正部22基于从噪声信息记录部112b获取的噪声信息(参照图3的表T1)，将噪声水平较高的校正处理的组分类为先实施校正处理的组。其理由在于，在不将其他噪声排除在外地，针对对象噪声计算校正量或插值的情况下，在周围像素中存在噪声水平比对象噪声高的噪声时，校正量或插值会因与理想值之间的偏差量增大而成为不合适的值，存在误校正的风险，而在周围存在噪声水平比对象噪声小的噪声的情况下，校正量或插值与理想值之间的偏差量则较小。因此，如图12A所示，噪声校正部22将多种校正处理分类为3个组(水平高、水平中和水平低)。进而，噪声校正部22根据噪声的水平，对3个组设定用于执行校正处理的顺序。具体而言，噪声校正部22按噪声水平从高到低来决定组的顺序(组1→组2→组3)。
接着，噪声校正部22对于各组内的校正处理，按照噪声的产生顺序的逆序来决定校正处理的顺序(步骤S102)。具体而言，如图12B和图12C所示，噪声校正部22基于从噪声信息记录部112b获取的噪声信息(参照图3的表T1)，对于各组内的校正处理，按照噪声的产生部位的逆序决定校正处理的顺序。之所以按照产生顺序的逆序来决定顺序，其原因在于，在噪声沿信号流通过四则运算附加在信号上的情况下，通过进行相反的四则运算能够进行恰当的校正。此外，噪声校正部22在步骤S101和步骤S102的处理中没能决定校正处理的顺序的情况下，也可以基于其他的噪声特性决定校正处理的顺序。
之后，噪声校正部22按上述步骤S102中决定的校正处理的顺序对RAW图像数据进行噪声校正(步骤S103)。具体而言，如图13所示，噪声校正部22按照白缺陷校正部222、低饱和像素校正部225、RTS噪声校正部223、FD白缺陷校正部221和光谱灵敏度偏差校正部224的顺序，对RAW图像数据执行校正处理，进行噪声校正。由此，即使在产生了多种噪声的情况下也能够进行高精度的校正，所以能够生成高画质的图像。在步骤S103之后，图像处理装置20结束本处理。
采用以上说明的本发明实施方式1，在图像数据中产生了多种噪声的情况下，能够防止因错误的校正处理顺序引起的画质劣化，并且实现高画质的图像。
(实施方式1的变形例)
接着说明本发明实施方式1的变形例。本实施方式1的变形例具有与上述实施方式1的摄像***1同样的结构，但图像处理装置执行的处理有所不同。具体而言，本实施方式1的变形例中，将对水平较低的噪声进行校正的校正处理的组先分类，来决定校正处理的顺序。下面对本实施方式1的变形例的图像处理装置执行的处理进行说明。对于与上述实施方式1的摄像***1相同的结构标注相同的标记并省略说明。
[图像处理装置的处理]
图14是表示本实施方式1的变形例的图像处理装置20执行的噪声处理之概要的流程图。图15A～图15C是示意性地说明噪声校正部22进行的多种校正处理之顺序的决定的图。在图14和图15A～图15C中，各校正处理的说明所针对的是这样的情况，即，将关注像素的周围像素中的其他噪声排除在外地，利用周围像素计算校正量或插值。
如图14所示，首先，噪声校正部22经第二外部I/F部21、第一外部I/F部115和总线113从噪声信息记录部112b获取噪声信息并从非易失性存储器112获取RAW图像数据，基于所获取的噪声信息，按照噪声的水平将多种校正处理分类为多个组(步骤S201)。具体而言，如图15A所示，噪声校正部22基于从噪声信息记录部112b获取的噪声信息(参照图3的表T1)，将噪声水平较低的校正处理的组分类为先实施校正处理的组。其理由在于，在将其他噪声排除在外地，针对对象噪声计算校正量或插值的情况下，当其他噪声的水平高时能够容易地检测出该其他噪声是噪声，能够恰当地排除该其他噪声。因此，噪声校正部22如图15A所示的那样，对于多种校正处理，将噪声水平较低的校正处理的组分类为先实施校正处理的组。
步骤S202和步骤S203分别对应于上述图11的步骤S102和步骤S103。具体而言，噪声校正部22对于各组内的校正处理，按照噪声的产生部位的逆序决定校正处理的顺序(图15B→图15C)。然后，如图16所示，噪声校正部22按照RTS噪声校正部223、FD白缺陷校正部221、光谱灵敏度偏差校正部224、低饱和像素校正部225和白缺陷校正部222的顺序，对RAW图像数据分别执行校正处理，进行噪声校正。在步骤S203之后，图像处理装置20结束本处理。
采用以上说明的本发明实施方式1的变形例，在图像数据中产生了多种噪声的情况下，能够防止因错误的校正处理顺序引起的画质劣化，并且实现高画质的图像。
(实施方式2)
接着说明本发明实施方式2。本实施方式2的摄像***具有与上述实施方式1的摄像***1相同的结构，但图像处理装置执行的处理有所不同。下面对本实施方式2的图像处理装置执行的处理进行说明。对于与上述实施方式1的摄像***1相同的结构标注相同的标记并省略说明。
[图像处理装置的处理]
图17是表示本发明实施方式2的图像处理装置执行的噪声处理之概要的流程图。图18A～图18C是示意性地说明本发明实施方式2的噪声校正部进行的多种校正处理之顺序的决定方法的图。
如图17所示，首先，噪声校正部22经第二外部I/F部21、第一外部I/F部115和总线113从噪声信息记录部112b获取噪声信息并从非易失性存储器112获取RAW图像数据，基于所获取的噪声信息，按照噪声的产生范围将多种校正处理分类为多个组(步骤S301)。具体而言，如图18A所示，噪声校正部22基于从噪声信息记录部112b获取的噪声信息(参照图3的表T1)，将噪声的产生范围小的校正处理的组分类为先实施校正处理的组。其理由在于，因为任何校正都是基于周围像素进行的，所以校正的结果是，校正后的像素的像素值存在接近实施了LPF处理的值的趋势。于是，在从产生范围较广的噪声的校正处理开始实施的情况下，存在使周围像素中的噪声扩大的风险。因此，噪声校正部22采用这样的顺序，即，对噪声的产生范围小的校正处理的组先实施校正处理。
步骤S302和步骤S303分别对应于上述图12的步骤S102和步骤S103。具体而言，噪声校正部22对于各组内的校正处理，按照噪声的产生部位的逆序决定校正处理的顺序(图18B→图18C)。然后，如图19所示，噪声校正部22按照白缺陷校正部222、低饱和像素校正部225、RTS噪声校正部223、FD白缺陷校正部221和光谱灵敏度偏差校正部224的顺序，对RAW图像数据分别执行校正处理，进行噪声校正。在步骤S303之后，图像处理装置20结束本处理。
采用以上说明的本发明实施方式2，在图像数据中产生了多种噪声的情况下，能够防止因错误的校正处理顺序引起的画质劣化，并且实现高画质的图像。
(实施方式3)
接着说明本发明实施方式3。本实施方式3的摄像***具有与上述实施方式1的摄像***1相同的结构，但图像处理装置执行的处理有所不同。下面对本实施方式3的图像处理装置执行的处理进行说明。对于与上述实施方式1的摄像***1相同的结构标注相同的标记并省略说明。
[图像处理装置的处理]
图20是表示本发明实施方式3的图像处理装置执行的噪声处理之概要的流程图。图21A～图21C是示意性地说明本发明实施方式3的噪声校正部进行的多种校正处理之顺序的决定方法的图。
如图20所示，首先，噪声校正部22经第二外部I/F部21、第一外部I/F部115和总线113从噪声信息记录部112b获取噪声信息并从非易失性存储器112获取RAW图像数据，基于所获取的噪声信息，按照校正时检测的有无，将多种校正处理分类为多个组(步骤S401)。具体而言，如图21A所示，噪声校正部22基于从噪声信息记录部112b获取的噪声信息(参照图3的表T1)，分类成校正时有检测的组和校正时无检测的组，将校正时有检测的组分类为先实施校正处理的组。在无检测的校正的情况下，出厂值基于在最适合检测各噪声的条件下拍摄的图像数据进行检测作业，获取噪声信息(位置和噪声的水平)。因此，无检测的校正所要校正的噪声不太可能会在新的像素中后产生噪声，所以该方法是有效的。而有检测的校正所要校正的噪声可能会在新的像素中后产生噪声，对这些噪声也需要进行校正，所以校正时边检测边校正的方法是有效的。噪声校正部22在任一种校正下校正对象噪声时，都要在还考虑了周围像素是否存在其他噪声以及出厂时获取的其他噪声的位置信息的基础上进行校正。该情况下，噪声校正部22通过先实施有检测的校正处理，能够不受后产生的噪声的影响地对多种噪声进行校正。
步骤S402对应于上述图12的步骤S102。具体而言，噪声校正部22对于各组内的校正处理，按照产生顺序的逆序来决定顺序(图21B)。在步骤S402之后，图像处理装置20转移至步骤S403。
接着，噪声校正部22基于噪声信息决定顺序，使得校正的ON/OFF随特定条件而切换的校正处理被后实施(步骤S403)。具体而言，噪声校正部22以低饱和像素校正处理在光谱灵敏度偏差校正处理之后实施的方式决定顺序(图21B→图21C)。低饱和像素校正处理在像素值接近饱和的高亮度场景下需要实施校正，但在低或中亮度的情况下不需要实施校正。像这样，在校正的ON/OFF随特定条件而切换的情况下，于低饱和像素处理之后实施的校正处理最好在考虑了校正的ON/OFF的基础上进行校正。该情况下，由于后实施的校正处理需要考虑校正的ON/OFF，所以处理变得复杂，存在处理规模增大的风险。从而，对于校正的ON/OFF随特定条件而切换的校正处理，优选后实施该处理。
之后，噪声校正部22按上述步骤S403中决定的校正处理的顺序对噪声进行校正(步骤S404)。具体而言，如图22所示，噪声校正部22按照FD白缺陷校正部221、白缺陷校正部222、RTS噪声校正部223、光谱灵敏度偏差校正部224和低饱和像素校正部225的顺序，对RAW图像数据执行校正处理，进行噪声校正。由此，即使在产生了多种噪声的情况下也能够进行高精度的校正，所以能够生成高画质的图像。
采用以上说明的本发明实施方式3，在图像数据中发生多种噪声的情况下，能够防止错误的校正处理顺序引起的画质劣化，并且实现高画质的图像。
本发明实施方式3也可以是，在因先执行的校正处理导致产生了与后执行的校正处理要校正的噪声类似的类似噪声的情况下，噪声校正部22通过后执行的校正处理，对类似噪声和其他噪声进行校正。具体而言，在噪声校正部22中，在白缺陷的周围存在低饱和像素的情况下，在进行了白缺陷校正处理后，白缺陷变化为与低饱和像素类似的噪声，所以在后执行的校正处理中对这样的噪声进行校正。
(其他实施方式)
本发明不限于上述实施方式，能够在本发明技术思想的范围内进行各种变形和应用。例如，除了应用于本发明的说明中使用的摄像装置以外，能够应用于可拍摄被摄体的任意设备，例如移动电话和智能手机中的设有摄像元件的便携设备、摄像机、内窥镜、监视相机、显微镜这样的通过光学设备拍摄被摄体的摄像装置。
在本说明书的上述各动作流程图的说明中，为方便起见使用了“首先”、“接着”、“接下来”、“之后”等用语对动作进行说明，但并不意味着必须按该顺序实施动作。
上述实施方式中的图像处理装置进行的各处理的方法、即各流程图所示的处理，都能够预先记录成可使CPU等控制部执行处理的程序。除此以外，也能够保存在存储卡(ROM卡、RAM卡等)、磁盘(软盘(注册商标)、硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等外部存储装置的存储介质中进行分发。从而，CPU等控制部能够读取存储在该外部存储装置的存储介质中的程序，并利用该读取的程序对动作进行控制来执行上述处理。
本发明不限于上述实施方式和变形例本身，在实施阶段能够在不脱离发明主旨的范围内将构成要素变形并具体化。通过将上述实施方式中公开的多个构成要素适当组合能够形成各种发明。例如，可以从上述实施方式和变形例中记载的全部构成要素中删除某些构成要素。也可以将各实施方式和变形例中说明的构成要素适当地组合。
在说明书或附图中，对于至少一次曾使用过更广义或同义的不同用语的用语，在说明书或附图的任意部分都能够置换为该不同的用语。这样，能够在不脱离发明的主旨的范围内进行各种变形和应用。
附图标记说明
1 摄像***
10 摄像装置
20 图像处理装置
21 第二外部I/F部
22 噪声校正部
23 图像处理部
30 显示装置
101 光学***
102 光阑
103 快门
104 驱动器
105 摄像元件
105a 微透镜
105b 彩色滤光镜
105c 像素
105d 第一开关
105e 垂直传输线
105f FD部
105h 第二开关
105i 控制线
105j 传输线
106 模拟处理部
107 A/D转换部
108 操作部
109 存储器I/F部
110 记录介质
111 易失性存储器
112 非易失性存储器
112a 程序记录部
112b 噪声信息记录部
113 总线
114 摄像控制部
115 第一外部I/F部
221 FD白缺陷校正部
221a 缺陷块检测部
221b 缺陷块校正部
222 白缺陷校正部
223 RTS噪声校正部
223a RTS噪声像素判断部
223b 候选值计算部
223c 代表值计算部
223d 随机噪声量推算部
223e 校正值计算部
224 光谱灵敏度偏差校正部
224a 校正量计算部
224b 像素校正部
225 低饱和像素校正部

Claims (13)

1.一种能够执行多种校正处理的图像处理装置，所述多种校正处理用于分别校正由摄像元件生成的图像数据中包含的特性彼此不同的多种噪声，所述摄像元件包括接收光并生成与受光量相应的信号的多个像素，和将各像素的所述信号读取为像素值的多个读取电路，
所述图像处理装置的特征在于：
包括按顺序执行所述多种校正处理的噪声校正部，
所述顺序是根据所述多种噪声的特性，和所述光在所述像素中被接收并被读取为所述像素值输出为止经过的过程而决定的。
2.如权利要求1所述的图像处理装置，其特征在于：
所述噪声校正部基于所述多种噪声的特性，将所述多种校正处理分类为多个组，按根据该多个组和所述过程决定的顺序，执行所述多种校正处理。
3.如权利要求2所述的图像处理装置，其特征在于：
所述多种噪声是在设置于所述像素的受光面上的光学***、所述像素和所述读取电路之中的任意处产生的噪声，
所述噪声校正部按根据噪声在所述过程中的产生顺序的逆序而决定的顺序，执行包含在所述多个组的每一个组中的所述多种校正处理。
4.如权利要求2所述的图像处理装置，其特征在于：
所述噪声校正部按根据所述噪声的噪声水平而决定的顺序，执行包含在所述多个组的每一个组中的所述多种校正处理。
5.如权利要求2所述的图像处理装置，其特征在于：
所述噪声校正部按根据所述噪声的产生范围而决定的顺序，执行包含在所述多个组的每一个组中的所述多种校正处理。
6.如权利要求2所述的图像处理装置，其特征在于：
所述噪声校正部使校正内容随特定条件而切换的校正处理的顺序位于其他校正处理之后，执行包含在所述多个组的每一个组中的所述多种校正处理。
7.如权利要求2所述的图像处理装置，其特征在于：
所述噪声校正部，在因先执行的校正处理产生了与后执行的校正处理要校正的噪声类似的类似噪声的情况下，通过后执行的校正处理，对该类似噪声和其他噪声进行校正。
8.如权利要求2所述的图像处理装置，其特征在于：
所述多种校正处理包括使用所述图像数据一边检测所述噪声一边进行校正的校正处理，
所述噪声校正部分类为一边检测所述噪声一边进行校正的有检测的组，和除此以外的无检测的组，并且，
按所述有检测的组、所述无检测的组的顺序，执行所述多种校正处理。
9.如权利要求2所述的图像处理装置，其特征在于：
所述噪声校正部根据所述多种校正处理分别要校正的所述噪声的水平，将所述多种校正处理分类为所述多个组，并且，
按所述噪声的水平从高到低的组的顺序，执行所述多种校正处理。
10.如权利要求2所述的图像处理装置，其特征在于：
所述噪声校正部根据所述多种校正处理分别要校正的所述噪声的产生范围，将所述多种校正处理分类为所述多个组，并且，
按所述产生范围从小到大的组的顺序，执行所述多种校正处理。
11.如权利要求1～10中任一项所述的图像处理装置，其特征在于：
还包括噪声信息记录部，其记录与所述多种噪声分别相关的噪声信息。
12.一种由能够执行多种校正处理的图像处理装置执行的图像处理方法，所述多种校正处理用于分别校正由摄像元件生成的图像数据中包含的特性彼此不同的多种噪声，所述摄像元件包括接收光并生成与受光量相应的信号的多个像素，和将各像素的所述信号读取为像素值的多个读取电路，
所述图像处理方法的特征在于：
包括按顺序执行所述多种校正处理的噪声校正步骤，
所述顺序是根据所述多种噪声的特性，和所述光在所述像素中被接收并被读取为所述像素值输出为止经过的过程而决定的校正处理的顺序。
13.一种程序，其特征在于：
使能够执行多种校正处理的图像处理装置执行噪声校正步骤，
其中，所述多种校正处理用于分别校正由摄像元件生成的图像数据中包含的特性彼此不同的多种噪声，所述摄像元件包括接收光并生成与受光量相应的信号的多个像素，和将各像素的所述信号读取为像素值的多个读取电路，
在所述噪声校正步骤中按顺序执行所述多种校正处理，
所述顺序是根据所述多种噪声的特性，和所述光在所述像素中被接收并被读取为所述像素值输出为止经过的过程而决定的。
CN201680088002.8A 2016-08-02 2016-08-02 图像处理装置、图像处理方法和存储介质 Active CN109565556B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/072640 WO2018025323A1 (ja) 2016-08-02 2016-08-02 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN109565556A true CN109565556A (zh) 2019-04-02
CN109565556B CN109565556B (zh) 2021-02-09

Family

ID=61073347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680088002.8A Active CN109565556B (zh) 2016-08-02 2016-08-02 图像处理装置、图像处理方法和存储介质

Country Status (4)

Country Link
US (1) US10630924B2 (zh)
JP (1) JP6762365B2 (zh)
CN (1) CN109565556B (zh)
WO (1) WO2018025323A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6889720B2 (ja) * 2016-07-29 2021-06-18 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
CN109479100B (zh) * 2016-07-29 2021-02-09 奥林巴斯株式会社 图像处理装置、图像处理方法和程序
TWI698129B (zh) * 2019-03-08 2020-07-01 瑞昱半導體股份有限公司 影像處理方法及其電子裝置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333435A (ja) * 2002-03-08 2003-11-21 Canon Inc 補正処理装置、撮像装置、補正処理方法、補正処理コンピュータプログラム
WO2006043563A1 (ja) * 2004-10-22 2006-04-27 Sanyo Electric Co., Ltd ノイズ除去装置
CN104243770A (zh) * 2013-06-19 2014-12-24 日立产业控制解决方案有限公司 图像信号处理装置、摄像装置及图像处理程序
US20150312499A1 (en) * 2014-04-29 2015-10-29 Semiconductor Components Industries, Llc Imaging systems and methods for mitigating pixel data quantization error
CN105787902A (zh) * 2016-03-22 2016-07-20 天津大学 利用分块排序检测噪声的图像降噪方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7301572B2 (en) 2002-03-08 2007-11-27 Canon Kabushiki Kaisha Pixel correction processing apparatus, image processing apparatus, pixel correction processing method, program, and storage medium
JP2011059911A (ja) * 2009-09-09 2011-03-24 Renesas Electronics Corp 画像処理装置
JP5425343B2 (ja) 2011-06-30 2014-02-26 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP6284332B2 (ja) * 2013-10-02 2018-02-28 オリンパス株式会社 画像処理装置、画像処理方法、および撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333435A (ja) * 2002-03-08 2003-11-21 Canon Inc 補正処理装置、撮像装置、補正処理方法、補正処理コンピュータプログラム
WO2006043563A1 (ja) * 2004-10-22 2006-04-27 Sanyo Electric Co., Ltd ノイズ除去装置
CN104243770A (zh) * 2013-06-19 2014-12-24 日立产业控制解决方案有限公司 图像信号处理装置、摄像装置及图像处理程序
US20150312499A1 (en) * 2014-04-29 2015-10-29 Semiconductor Components Industries, Llc Imaging systems and methods for mitigating pixel data quantization error
CN105787902A (zh) * 2016-03-22 2016-07-20 天津大学 利用分块排序检测噪声的图像降噪方法

Also Published As

Publication number Publication date
CN109565556B (zh) 2021-02-09
US20190174081A1 (en) 2019-06-06
JP6762365B2 (ja) 2020-09-30
WO2018025323A1 (ja) 2018-02-08
US10630924B2 (en) 2020-04-21
JPWO2018025323A1 (ja) 2019-05-23

Similar Documents

Publication Publication Date Title
CN102823236B (zh) 成像装置以及图像处理方法
US8890942B2 (en) Camera module, image processing apparatus, and image processing method
US8023014B2 (en) Method and apparatus for compensating image sensor lens shading
US10630920B2 (en) Image processing apparatus
CN104025574B (zh) 摄像装置及图像处理方法
US8284278B2 (en) Image processing apparatus, imaging apparatus, method of correction coefficient calculation, and storage medium storing image processing program
CN104885446A (zh) 像素校正方法及摄像装置
US8564688B2 (en) Methods, systems and apparatuses for white balance calibration
CN103379343A (zh) 图像处理装置、图像处理方法和程序
JP2000092397A (ja) 固体撮像素子の画素欠陥検出装置
JP2009049858A (ja) 撮像装置
CN104517984A (zh) 固体摄像装置、固体摄像装置制造方法和电子设备
TW201304530A (zh) 影像處理設備及影像處理設備之控制方法
CN109565556A (zh) 图像处理装置、图像处理方法和程序
CN104919352B (zh) 摄像装置和图像校正方法以及图像处理装置和图像处理方法
CN104641276A (zh) 摄像装置及信号处理方法
JP2014135564A (ja) 撮像装置および画像処理装置
CN107734231A (zh) 一种基于滤光的成像***动态范围扩展方法
CN105144697A (zh) 摄像装置、照相机***以及图像处理方法
TWI722934B (zh) 具有自我測試黑色位準校正之影像感測器
US10791289B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
JP2013219452A (ja) 色信号処理回路、色信号処理方法、色再現評価方法、撮像装置、電子機器、及び、試験装置
TWI449412B (zh) 影像資料補正方法
JP5121498B2 (ja) 撮像装置及び画像データの補正方法
JP2015176114A (ja) 撮像装置および撮像装置の制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant