CN109804619B - 图像处理装置、图像处理方法和摄影装置 - Google Patents
图像处理装置、图像处理方法和摄影装置 Download PDFInfo
- Publication number
- CN109804619B CN109804619B CN201780062159.8A CN201780062159A CN109804619B CN 109804619 B CN109804619 B CN 109804619B CN 201780062159 A CN201780062159 A CN 201780062159A CN 109804619 B CN109804619 B CN 109804619B
- Authority
- CN
- China
- Prior art keywords
- component
- image
- luminance
- detail
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 107
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000001914 filtration Methods 0.000 claims abstract description 39
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 32
- 238000000926 separation method Methods 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 15
- 239000002131 composite material Substances 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000004321 preservation Methods 0.000 claims description 2
- 101100493897 Arabidopsis thaliana BGLU30 gene Proteins 0.000 description 27
- 101100422614 Arabidopsis thaliana STR15 gene Proteins 0.000 description 24
- 101100141327 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) RNR3 gene Proteins 0.000 description 24
- 101150112501 din1 gene Proteins 0.000 description 24
- 238000010586 diagram Methods 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000012417 linear regression Methods 0.000 description 5
- 101100063435 Caenorhabditis elegans din-1 gene Proteins 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
- H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
图像处理装置(100)具有分离不可视细节成分(D1)的不可视图像滤波分离部(101)、分离可视基础成分(D2A)和可视细节成分(D2B)的可视图像滤波分离部(102a)、分离可视亮度基础成分(D3A)和可视颜色基础成分(D3B)的基础亮度颜色分离部(102b)、分离可视亮度细节成分(D4)的细节亮度颜色分离部(102c)、生成合成亮度细节成分(D5)的细节合成部(103)、生成合成亮度成分(D6)的合成亮度成分生成部(104)以及生成合成图像(DOUT)的亮度颜色合成部(105)。
Description
技术领域
本发明涉及根据通过接收来自摄影对象的第1波段的光而取得的第1图像和通过接收来自相同摄影对象的第2波段的光而取得的第2图像生成视觉辨认性较高的合成图像的图像处理装置、图像处理方法和摄影装置。
背景技术
存在如下的图像统合技术：根据场景(摄影对象的状态或摄影对象的周边状况等)选择可视图像和红外图像或RGB图像和窄带图像等这样的图像特征不同的多种图像进行统合(合成)，由此生成视觉辨认性较高的图像。例如，近红外图像在产生霞时或高动态范围环境下发挥较高的视觉辨认性，通过来自卫星或无人机的摄像而得到的窄带图像适合活用于海洋和植被区域的监视。此外，市售有大量如下的监视装置：具有近红外光源等照射不可见光的照射装置和取得信号电平较高且噪声电平较低的图像的摄像机，适合于夜间的监视场景。将这种图像特征不同的图像中的任意一方与可视图像进行合成，由此，即使在拍摄到仅通过可视图像很难进行判别的场景的情况下，也能够容易地判别应该关注的物体或对象。
在专利文献1中记载有如下的图像处理方法：利用第2图像的边缘成分，可靠地增强在不同条件下拍摄同一对象而得到的第1图像和第2图像中的显示用的第1图像中包含的边缘。
现有技术文献
专利文献
专利文献1：日本特开2014-241584号公报(权利要求1、图2、第0127段)
发明内容
发明要解决的课题
但是，在专利文献1记载的图像处理方法中，存在在低照度条件下可视图像包含噪声这样的课题。具体而言，专利文献1的技术涉及可视图像的亮度成分中包含的噪声，能够通过边缘量的调整来抑制噪声，但是，可视图像的颜色成分中包含的噪声(以下称作颜色噪声)被直接合成，因此，没有充分抑制颜色噪声，无法生成视觉辨认性较高的图像(图像数据)。
因此，本发明的目的在于，提供如下的图像处理装置、图像处理方法和摄影装置：即使在拍摄到图像中包含颜色噪声的场景的情况下，也能够生成减少了颜色噪声的影响的、视觉辨认性较高的合成图像。
用于解决课题的手段
本发明的一个方式的图像处理装置根据具有同一视野的通过接收第1波段的光而取得的第1图像和通过接收与所述第1波段不同的第2波段的光而取得的第2图像生成合成图像，其中，所述图像处理装置具有：第1图像分离部，其从所述第1图像分离从所述第1图像的基础成分即第1基础成分分离出的亮度成分即第1亮度基础成分、从所述第1基础成分分离出的颜色成分即第1颜色基础成分以及从所述第1图像的细节成分即第1细节成分分离出的亮度成分即第1亮度细节成分；第2图像分离部，其从所述第2图像分离所述第2图像的细节成分即第2细节成分；细节合成部，其生成取通过对所述第1亮度细节成分进行增益调整而得到的第1增益调整成分与通过对所述第2细节成分进行增益调整而得到的第2增益调整成分的算术平均而得到的值，作为合成亮度细节成分；合成亮度成分生成部，其对所述合成亮度细节成分和所述第1亮度基础成分进行合成，由此生成合成亮度成分；以及亮度颜色合成部，其对所述合成亮度成分和所述第1颜色基础成分进行合成，由此生成所述合成图像。
本发明的另一个方式的摄影装置具有：上述图像处理装置；以及图像传感器，其具有检测红外光的红外像素、检测红色光的红色像素、检测绿色光的绿色像素以及检测蓝色光的蓝色像素，取得所述不可视图像和所述可视图像。
本发明的另一个方式的图像处理方法根据具有同一视野的通过接收第1波段的光而取得的第1图像和通过接收与所述第1波段不同的第2波段的光而取得的第2图像生成合成图像，其中，所述图像处理方法具有以下步骤：第1图像分离步骤，从所述第1图像分离从所述第1图像的基础成分即第1基础成分分离出的亮度成分即第1亮度基础成分、从所述第1基础成分分离出的颜色成分即第1颜色基础成分以及从所述第1图像的细节成分即第1细节成分分离出的亮度成分即第1亮度细节成分；第2图像分离步骤，从所述第2图像分离所述第2图像的细节成分即第2细节成分；细节合成步骤，生成取通过对所述第1亮度细节成分进行增益调整而得到的第1增益调整成分与通过对所述第2细节成分进行增益调整而得到的第2增益调整成分的算术平均而得到的值，作为合成亮度细节成分；合成亮度成分生成步骤，对所述合成亮度细节成分和所述第1亮度基础成分进行合成，由此生成合成亮度成分；以及亮度颜色合成步骤，对所述合成亮度成分和所述第1颜色基础成分进行合成，由此生成合成图像。
发明效果
根据本发明，即使在拍摄到可视图像中包含颜色噪声的场景的情况下，也能够生成减少了颜色噪声的影响的、视觉辨认性较高的合成图像。
附图说明
图1是示出本发明的实施方式1的图像处理装置的概略结构的框图。
图2的(a)是示出实施方式1中的不可视图像滤波分离部的概略结构的一例的框图，(b)是示出实施方式1中的可视图像滤波分离部的概略结构的一例的框图。
图3是示出实施方式1中的细节合成部的概略结构的框图。
图4是示出实施方式1的图像处理装置的动作的流程图。
图5是示出本发明的实施方式2的图像处理装置的概略结构的框图。
图6是示出实施方式2的图像处理装置的动作的流程图。
图7是示出本发明的实施方式3的摄影装置的概略结构的框图。
图8是示出变形例的结构的硬件结构图。
具体实施方式
下面，参照附图对实施方式的图像处理装置、图像处理方法和摄影装置进行说明。
实施方式的图像处理装置和图像处理方法根据摄影装置(受光元件)接收第1波段的光而取得的第1图像(例如可视图像、RGB图像等)和摄影装置(受光元件)接收与第1波段不同的第2波段的光而取得的第2图像(例如不可视图像、白色图像等)，生成视觉辨认性优良的合成图像。
在以下的说明中，可视图像是指能够拍摄肉眼可见的光线(可见光)的摄影装置进行拍摄而生成的图像(图像数据)。不可视图像是可视图像以外的图像，是指能够拍摄肉眼不可见的光线(不可见光)的摄影装置进行拍摄而生成的图像(图像数据)。一般而言，可见光是指大约400nm～700nm的波段的光，例如包含红色(R)、绿色(G)、蓝色(B)波段的光。此外，不可见光是指可见光的频带以外的频带的光，例如包含紫外光(一般为大约400nm以下的波段的光)或红外光(一般为大约700nm以上的波段的光)。
此外，在以下的实施方式中，图像数据被分离成细节成分和细节成分以外的成分即基础成分进行处理。细节成分是各像素的像素值(信号值)与周边像素相比小幅变化的成分，也被称作高频成分。基础成分是各像素的像素值与周边像素相比不是小幅变化的成分，也被称作低频成分。即，细节成分表示图像中的像素值的细微变化，基础成分表示图像中的像素值的一定范围的统一变化。细节成分例如是来自被摄体的反射光成分，基础成分例如是照明光成分。
此外，以下说明的图像处理装置的发明还能够理解成图像处理方法的发明。
《1》实施方式1
《1-1》结构
首先，对实施方式1的图像处理装置100的各结构要素的概略进行说明。图1是示出本发明的实施方式1的图像处理装置100的概略结构的框图。如图1所示，实施方式1的图像处理装置100具有作为第2图像分离部(不可视图像分离部)的不可视图像滤波分离部101、作为第1图像分离部的可视图像分离部102、细节合成部103、合成亮度成分生成部104以及亮度颜色合成部105。可视图像分离部102具有可视图像滤波分离部102a、基础亮度颜色分离部102b以及细节亮度颜色分离部102c。
如图1所示，对图像处理装置100输入作为图像数据的不可视图像(第2图像)DIN1和可视图像(第1图像)DIN2。优选通过具有同一视野的摄影单元取得不可视图像DIN1和可视图像DIN2。具有同一视野是指拍摄不可视图像DIN1的摄影单元和拍摄可视图像DIN2的摄影单元具有同一摄影区域(摄影范围)，不是要求拍摄不可视图像DIN1的摄影单元的摄影区域和拍摄可视图像DIN2的摄影单元的摄影区域完全一致。
不可视图像DIN1和可视图像DIN2例如能够直接使用从并列的不可视图像摄像机和可视图像摄像机取得的图像。此外，关于不可视图像DIN1和可视图像DIN2，还能够对从并列的不可视图像摄像机和可视图像摄像机取得的图像进行位置对齐调整，使用位置对齐调整后的图像。
例如，能够通过具有检测红外光的不可视图像DIN1检测用的红外像素、检测可见光的可视图像DIN2检测用的RGB像素(检测红色光的红色像素、检测绿色光的绿色像素以及检测蓝色光的蓝色像素)的图像传感器取得不可视图像DIN1和可视图像DIN2。此外，代替不可视图像DIN1和可视图像DIN2，例如能够使用具有检测白色光的白色像素(W像素)和RGB像素的图像传感器取得2种图像。
如图1所示，不可视图像滤波分离部101对不可视图像DIN1进行滤波处理，由此生成不可视图像DIN1的细节成分(第2细节成分)即不可视细节成分D1。可视图像滤波分离部102a对可视图像DIN2进行滤波处理，由此生成可视图像的基础成分(第1基础成分)即可视基础成分D2A和可视图像的细节成分(第1细节成分)即可视细节成分D2B。
如图1所示，基础亮度颜色分离部102b将可视基础成分D2A分离成作为第1亮度基础成分的可视亮度基础成分(可视基础成分中的亮度成分)D3A和作为第1颜色基础成分的可视颜色基础成分(可视基础成分中的颜色成分)D3B。细节亮度颜色分离部102c从可视细节成分D2B提取可视亮度细节成分(可视细节成分中的亮度成分)D4。
如图1所示，细节合成部103对不可视细节成分D1和可视亮度细节成分D4进行合成，由此生成合成亮度细节成分D5。合成亮度成分生成部104对合成亮度细节成分D5和可视亮度基础成分D3A进行合成，由此生成合成亮度成分D6。亮度颜色合成部105对合成亮度成分D6和可视颜色基础成分D3B进行合成，由此生成合成图像DOUT并进行输出。
接着，对实施方式1的图像处理装置100的各结构要素的详细情况进行说明。图2的(a)是示出实施方式1中的不可视图像滤波分离部101的概略结构的一例的框图，图2的(b)是示出实施方式1中的可视图像滤波分离部102a的概略结构的一例的框图。如图2的(a)所示，不可视图像滤波分离部101具有不可视图像滤波处理部111和不可视图像差分处理部112。
不可视图像滤波处理部111接收不可视图像DIN1，对接收到的不可视图像DIN1进行平滑化用的滤波处理，由此生成平滑化的不可视基础成分D11。不可视图像差分处理部112接收平滑化的不可视基础成分D11和不可视图像DIN1，生成不可视基础成分D11与不可视图像DIN1的差分即不可视细节成分D1。
在不可视图像滤波处理部111中进行滤波处理的滤波器例如是箱式滤波器或高斯滤波器等平滑滤波器或者双边滤波器或引导滤波器等边缘保存平滑滤波器。
如图2的(b)所示，可视图像滤波分离部102a具有可视图像滤波处理部121和可视图像差分处理部122。可视图像滤波处理部121接收可视图像DIN2，对接收到的可视图像DIN2进行平滑化用的滤波处理，由此生成平滑化的可视基础成分D2A。可视图像差分处理部122接收平滑化的可视基础成分D2A和可视图像DIN2，生成可视基础成分D2A与可视图像DIN2的差分即可视细节成分D2B。优选按照每个通道(例如按照R信号、G信号和B信号)进行可视图像滤波分离部102a中的滤波处理。
如图1所示，基础亮度颜色分离部102b从可视图像滤波分离部102a接收可视基础成分D2A，将接收到的可视基础成分D2A分离成亮度成分即可视亮度基础成分D3A和颜色成分即可视颜色基础成分D3B。基础亮度颜色分离部102b在可视图像为RGB图像的情况下，将RGB图像转换成由色相、饱和度和明亮度构成的HSV(Hue、Saturation、Lightness：色相、饱和度、明亮度)形式、由亮度和颜色成分构成的YUV形式以及由亮度和颜色成分构成的YCbCr形式中的任意一方。基础亮度颜色分离部102b输出作为可视亮度基础成分D3A的H(色相)通道或Y(亮度)通道、作为可视颜色基础成分D3B的其余颜色通道、色相、饱和度通道等。
细节亮度颜色分离部102c从可视图像滤波分离部102a接收可视细节成分D2B，提取亮度成分即可视亮度细节成分D4。细节亮度颜色分离部102c利用与基础亮度颜色分离部102b相同的手法，输出H通道或Y通道等作为可视亮度细节成分D4。
另一方面，细节亮度颜色分离部102c不从可视细节成分D2B提取或分离可视颜色细节成分。可视颜色细节成分是成为低照度条件下的颜色噪声的原因的成分，因此，通过不使用可视颜色细节成分，能够生成减少了低照度条件下的颜色噪声的影响的、视觉辨认性较高的合成图像DOUT。
图3是示出实施方式1中的细节合成部103的概略结构的框图。如图3所示，实施方式1中的细节合成部103具有增益调整部103a、103b和加法处理部103c。细节合成部103对从不可视图像滤波分离部101接收到的不可视细节成分D1和从细节亮度颜色分离部102c接收到的可视亮度细节成分D4进行合成，由此生成合成亮度细节成分D5。
增益调整部103a从不可视图像滤波分离部101接收不可视细节成分D1，对不可视细节成分D1进行增益调整(放大或减少)，由此输出作为第2增益调整成分的增益调整成分D41。增益调整部103b从细节亮度颜色分离部102c接收可视亮度细节成分D4，对可视亮度细节成分D4进行增益调整(放大或减少)，由此输出作为第1增益调整成分的增益调整成分D42。
加法处理部103c从增益调整部103a、103b接收增益调整成分D41和增益调整成分D42，输出取两者的加权平均(算术平均)而得到的值D5。增益调整部103a、103b取得的增益可以是固定值，也可以根据场景、应用或图像特性进行调整。
在细节合成部103中，单独对不可视细节成分D1和可视亮度细节成分D4进行增益调整，由此，能够进行与应用的种类对应的增益调整，能够容易地应对多个应用。具体而言，例如，在希望实施基于红外光照射的暗部校正的情况下，可认为可视图像DIN2包含大量的噪声，因此，可视亮度细节成分D4的增益设定较小的值，不可视细节成分D1的增益设定1以上的值。
此外，在希望实施利用红外光的大气透射性的霞校正的情况下，可视亮度细节成分D4的增益设定接近1的值，不可视细节成分D1的增益设定1以上的值。如果为了提高视觉辨认性而较大地设定增益，则增强处理发挥作用，因此，优选根据应用的种类或摄像设备的特性等单独进行设定。
这里的增益能够通过标量值的简单累积而求出，此外，也可以通过伽马转换等幂乘运算而求出。
合成亮度成分生成部104对从细节合成部103接收到的合成亮度细节成分D5和从基础亮度颜色分离部102b接收到的可视亮度基础成分D3A进行合成，由此输出合成亮度成分D6。关于合成亮度成分生成部104进行合成的方法，例如存在取简单的算术平均的方法、按照不同区域选择视觉辨认性较高的成分的方法。
亮度颜色合成部105对从合成亮度成分生成部104接收到的合成亮度成分D6和从基础亮度颜色分离部102b接收到的可视颜色基础成分D3B进行合成，由此输出合成图像DOUT。亮度颜色合成部105进行的亮度成分和颜色成分的合成方法为与由基础亮度颜色分离部102b和细节亮度颜色分离部102c进行的转换方法对应的方法，例如，如果在基础亮度颜色分离部102b和细节亮度颜色分离部102c中进行从RGB到YUV的转换，则在亮度颜色合成部105中进行从YUV到RGB的转换。另一方面，如果在基础亮度颜色分离部102b和细节亮度颜色分离部102c中进行从YUV到RGB的转换，则在亮度颜色合成部105中进行从RGB到YUV的转换。
《1-2》动作
接着，对使用引导滤波器的滤波处理进行说明。在设引导滤波器的输出即基础成分为q，输入图像为I的情况下，q和I使用线性回归系数
【数学式1】
利用式(1)这种线性关系来表示。
【数学式2】
这里，在设以输入图像I的某个像素x为中心的局部区域为Ω的情况下，线性回归系数
【数学式3】
如式(2)那样表示。
【数学式4】
接着，对线性回归系数的导出方法进行说明。与输入图像I的分散varI的像素位置x对应的像素值利用式(3)来表示。
【数学式5】
接着，仅对分散值极少的区域进行平滑化处理，保存其他区域的纹理，因此，根据式(4)对分散varI(x)进行灰度转换，得到线性回归系数a(x)。另外，eps是决定边缘保存程度的常数参数。
【数学式6】
此外，根据式(5)导出系数b。
【数学式7】
根据通过式(4)、式(5)得到的线性回归系数a(x)和b(x)，导出引导滤波器输出值q。如图2的(a)所示，q对应于不可视基础成分D11。
如图2的(a)所示，根据不可视图像DIN1与不可视基础成分D11的差分求出不可视细节成分D1。
在上文中，作为不可视图像滤波分离部101进行的处理，举出使用平滑滤波器的例子，但是不限于此，也可以使用拉普拉斯滤波器等高通滤波器直接输出细节成分。
接着，对实施方式1的图像处理装置100的动作进行说明。图4是示出实施方式1的图像处理装置100的动作的流程图。如图4所示，图像处理装置100的动作开始后，在步骤S1中，不可视图像DIN1和可视图像DIN2被输入到图像处理装置100。
在接下来的步骤S2中，可视图像DIN2被输入到可视图像滤波分离部102a，对可视图像DIN2进行滤波处理。
在接下来的步骤S4中，对可视基础成分D2A和可视细节成分D2B进行亮度颜色分离处理。
与步骤S2、S4的处理并行地，在步骤S3中，不可视图像DIN1被输入到不可视图像滤波分离部101，对不可视图像DIN1进行滤波处理。
在接下来的步骤S5中，对不可视细节成分D1和可视亮度细节成分D4进行合成(细节合成)，由此得到合成亮度细节成分D5。
在接下来的步骤S6中，对合成亮度细节成分D5和可视亮度基础成分D3A进行合成(成分合成)，由此得到合成亮度成分D6。
最后，在步骤S7中，对合成亮度成分D6和可视颜色基础成分D3B进行合成(亮度颜色合成)，由此得到合成图像DOUT。
《1-3》效果
根据实施方式1的图像处理装置100，对可视图像进行滤波处理和亮度颜色分离处理，构成为在合成中不使用作为颜色噪声的原因的可视颜色细节成分。由此，即使在拍摄到可视图像包含颜色噪声的场景(例如低照度条件下)的情况下，也能够取得减少了颜色噪声的影响的、视觉辨认性较高的合成图像DOUT。
根据实施方式1的图像处理装置100，细节合成部103具有增益调整部103a、103b和加法处理部103c，对增益调整后的不可视细节成分D1与可视亮度细节成分D4进行加权平均(算术平均)，由此生成合成亮度细节成分D5。由此，能够在各种场景下取得视觉辨认性更高的图像。
根据实施方式1的图像处理装置100，不可视图像滤波分离部101和可视图像滤波分离部102a中的滤波处理仅由简单的滤波运算处理、加法和减法处理构成。由此，能够以较少的计算成本实现图像处理。
根据实施方式1的图像处理装置100，以简单且计算成本较低的结构进行适合于实时处理的高速图像处理。由此，即使在拍摄到以往仅通过可视图像很难进行判别的场景的情况下，也能够容易地判别应该关注的物体和对象。
在本实施方式中，举出针对图像处理装置100的输入成为可视图像和不可视图像的情况作为例子，但是，只要是视觉辨认性较高的图像和视觉辨认性较低的图像的组合即可，不限于上述输入的组合，能够得到同等的效果。例如，视觉辨认性较高的图像是长时间曝光图像，视觉辨认性较低的图像是短时间曝光图像。或者，视觉辨认性较高的图像是白天拍摄到的亮环境图像，视觉辨认性较低的图像是夜晚拍摄到的暗环境图像。
《2》实施方式2
《2-1》结构
图5是示出本发明的实施方式2的图像处理装置200的概略结构的框图。在图5中，对与图1(实施方式1)所示的结构要素相同或对应的结构要素标注与图1所示的标号相同的标号。如图5所示，实施方式2的图像处理装置200与实施方式1的不同之处在于可视图像分离部202的结构。具体而言，实施方式2中的可视图像分离部202具有作为第1图像亮度颜色分离部的亮度颜色分离部202a、作为第1亮度成分分离部的滤波分离部202b和作为第1颜色成分分离部的滤波处理部202c。
在实施方式1的图像处理装置100中，对可视图像DIN2进行滤波处理后，对分离出的成分(可视基础成分D2A和可视细节成分D2B)进行亮度颜色分离处理。与此相对，在实施方式2的图像处理装置200中，首先对可视图像DIN2进行亮度颜色分离处理，在进行亮度颜色分离处理后，对分离出的亮度成分和颜色成分进行滤波处理。
亮度颜色分离部202a接收可视图像DIN2，将接收到的可视图像DIN2分离成亮度成分即可视亮度成分D8A和颜色成分即可视颜色成分D8B。亮度颜色分离部202a中的分离处理是与实施方式1中的基础亮度颜色分离部102b和细节亮度颜色分离部102c相同的处理。
滤波分离部202b从亮度颜色分离部202a接收可视亮度成分D8A，将接收到的可视亮度成分D8A分离成基础成分即可视亮度基础成分D9A和细节成分即可视亮度细节成分D9B并进行输出。滤波分离部202b中的分离处理是与实施方式1的不可视图像滤波分离部101和可视图像滤波分离部102a相同的处理。
滤波处理部202c从亮度颜色分离部202a接收可视颜色成分D8B，对接收到的可视颜色成分D8B进行基于滤波处理的平滑化，输出平滑化的可视颜色基础成分D10。优选在滤波处理中，除了箱式滤波器或高斯滤波器等平滑滤波器以外，还使用双边滤波器或引导滤波器等边缘保存平滑滤波器。
实施方式2中的细节合成部103、合成亮度成分生成部104和亮度颜色合成部105的结构与实施方式1相同。
《2-2》动作
接着，对实施方式2的图像处理装置200的动作进行说明。图6是示出实施方式2的图像处理装置200的动作的流程图。如图6所示，图像处理装置200的动作开始后，在步骤S11中，不可视图像DIN1和可视图像DIN2被输入到图像处理装置200。
在接下来的步骤S12中，对可视图像DIN2进行亮度颜色分离处理。
在接下来的步骤S14中，对可视亮度成分D8A和可视颜色成分D8B进行滤波处理。
与步骤S12、S14的处理并行地，在接下来的步骤S13中，不可视图像DIN1被输入到不可视图像滤波分离部101，由此对不可视图像DIN1进行滤波处理。
在接下来的步骤S15中，对不可视细节成分D1和可视亮度细节成分D4进行合成(细节合成)，由此得到合成亮度细节成分D5。
在接下来的步骤S16中，对合成亮度细节成分D5和可视亮度基础成分D3A进行合成(成分合成)，由此得到合成亮度成分D6。
在最后的步骤S17中，对合成亮度成分D6和可视颜色基础成分D3B进行合成(亮度颜色合成)，由此得到合成图像DOUT。
《2-3》效果
根据实施方式2的图像处理装置200，能够得到与实施方式1的图像处理装置100相同的效果。
根据实施方式2的图像处理装置200，在对可视图像DIN2进行亮度颜色分离处理后进行滤波处理，因此，能够使亮度颜色分离处理的次数为1次，与实施方式1的图像处理装置100相比，能够进一步减少计算量。
《3》实施方式3
图7是示出本发明的实施方式3的摄影装置300的概略结构的框图。如图7所示，摄影装置300具有实施方式1的图像处理装置100(或实施方式2的图像处理装置200)、第1图像传感器301和第2图像传感器302。
作为第1图像传感器301和第2图像传感器302，例如能够采用CCD(ChargedCoupled Device：电荷耦合器件)图像传感器、CMOS(Complementary MetalOxideSemiconductor：互补金属氧化物半导体)图像传感器等。
第1图像传感器301拍摄摄影对象，由此取得不可视图像DIN1，对图像处理装置100输入不可视图像DIN1。第2图像传感器302拍摄摄影对象，由此取得可视图像DIN2，对图像处理装置100输入可视图像DIN2。优选第1图像传感器301和第2图像传感器302接近且并列配置，以具有同一视野。
在第1图像传感器301取得的不可视图像DIN1和第2图像传感器302取得的可视图像DIN2具有同一视野的情况下，能够在合成中直接使用不可视图像DIN1和可视图像DIN2。此外，在不可视图像DIN1的区域和可视图像DIN2的区域不同的情况下，在进行这2个图像的位置对齐处理后，能够用于这些图像的合成处理，能够取得具有较高视觉辨认性的摄影图像。
《4》变形例
以上根据特定的实施方式说明了本发明，但是，这些实施方式只不过是例示，本发明不受这些实施方式限定。
图8是示出上述实施方式1、2的图像处理装置100、200的变形例的结构的硬件结构图。图像处理装置100、200能够由半导体集成电路构成，但是，如图8所示，也可以使用存储作为软件的程序的作为存储装置的存储器91以及执行存储器91中存储的程序的作为信息处理部的处理器92(例如通过计算机)实现。另外，也可以通过图8所示的存储器91和执行程序的处理器92实现图像处理装置100、200的一部分。
在上述实施方式的说明中的不可视图像中，除了通过红外光取得的红外图像以外，还能够应用通过紫外光取得的紫外光图像和雷达图像等。
在上述实施方式的说明中，组合了可视图像和不可视图像，但是，除了可视图像和不可视图像的组合以外，还能够应用RGB图像和窄带图像(包含可视频带)的组合。
例如，在利用监视摄像机或车载摄像机照射近红外光源等特定谱的光源并进行拍摄的情况下，在进行通过光源照射而使噪声较少的特定谱图像和包含颜色信息的可视图像的合成时，本发明特别有效。
标号说明
100、200：图像处理装置；101：不可视图像分离部(不可视图像滤波分离部、第2图像分离部)；102、202：可视图像分离部(第1图像分离部)；102a：可视图像滤波分离部(第1图像滤波分离部)；102b：基础亮度颜色分离部；102c：细节亮度颜色分离部；103：细节合成部；103a、103b：增益调整部；103c：加法处理部；104：合成亮度成分生成部；105：亮度颜色合成部；111：不可视图像滤波处理部(第2图像滤波处理部)；112：不可视图像差分处理部(第2图像差分处理部)；121：可视图像滤波处理部(第1图像滤波处理部)；122：可视图像差分处理部(第1图像差分处理部)；202a：亮度颜色分离部；202b：滤波分离部；202c：滤波处理部；300：摄影装置；301：第1图像传感器；302：第2图像传感器；DIN1：不可视图像(第2图像)；DIN2：可视图像(第1图像)；DOUT：合成图像。
Claims (7)
1.一种图像处理装置，其根据具有同一视野的通过接收第1波段的光即可见光而取得的第1图像和通过接收与所述第1波段不同的第2波段的光即不可见光而取得的第2图像生成合成图像，其中，所述图像处理装置具有：
第1图像分离部，其从所述第1图像分离从所述第1图像的基础成分即第1基础成分分离出的亮度成分即第1亮度基础成分、从所述第1基础成分分离出的颜色成分即第1颜色基础成分以及从所述第1图像的细节成分即第1细节成分分离出的亮度成分即第1亮度细节成分；
第2图像分离部，其从所述第2图像分离所述第2图像的细节成分即第2细节成分；
细节合成部，其生成取第2增益调整成分与第1增益调整成分的算术平均而得到的值，作为合成亮度细节成分，其中，所述第2增益调整成分是通过对所述第2细节成分进行增益调整而得到的，所述第1增益调整成分是通过以比所述第2细节成分的增益小的增益对所述第1亮度细节成分进行增益调整而得到的；
合成亮度成分生成部，其对所述合成亮度细节成分和所述第1亮度基础成分进行合成，由此生成合成亮度成分；以及
亮度颜色合成部，其对所述合成亮度成分和所述第1颜色基础成分进行合成，由此生成所述合成图像。
2.根据权利要求1所述的图像处理装置，其中，
所述第1图像分离部具有：
第1图像滤波分离部，其对所述第1图像进行边缘保存平滑滤波处理而生成平滑化的所述第1基础成分，并且根据所述第1基础成分与所述第1图像的差分生成所述第1细节成分；
基础亮度颜色分离部，其从所述第1基础成分分离所述第1基础成分的亮度成分即第1亮度基础成分和所述第1基础成分的颜色成分即第1颜色基础成分；以及
细节亮度颜色分离部，其从所述第1细节成分分离所述第1细节成分的亮度成分即第1亮度细节成分。
3.根据权利要求1所述的图像处理装置，其中，
所述第1图像分离部具有：
第1图像亮度颜色分离部，其从所述第1图像分离所述第1图像的亮度成分即第1亮度成分和所述第1图像的颜色成分即第1颜色成分；
第1亮度成分分离部，其从所述第1亮度成分分离所述第1亮度成分的基础成分即第1亮度基础成分和所述第1亮度成分的细节成分即第1亮度细节成分；以及
第1颜色成分分离部，其从所述第1颜色成分分离所述第1颜色成分的基础成分即第1颜色基础成分。
4.根据权利要求1～3中的任意一项所述的图像处理装置，其中，
所述第2图像分离部具有第2图像滤波分离部，该第2图像滤波分离部对所述第2图像进行边缘保存平滑滤波处理而生成平滑化的第2基础成分，根据所述第2基础成分与所述第2图像的差分生成所述第2细节成分。
5.一种摄影装置，其中，所述摄影装置具有：
权利要求1～4中的任意一项所述的图像处理装置；
第1图像传感器，其取得所述第2图像；以及
第2图像传感器，其与所述第1图像传感器并列配置，该第2图像传感器取得所述第1图像。
6.根据权利要求5所述的摄影装置，其中，
所述摄影装置对由所述第1图像传感器取得的所述第2图像和由所述第2图像传感器取得的所述第1图像进行位置对齐调整。
7.一种图像处理方法，根据具有同一视野的通过接收第1波段的光即可见光而取得的第1图像和通过接收与所述第1波段不同的第2波段的光即不可见光而取得的第2图像生成合成图像，其中，所述图像处理方法具有以下步骤：
第1图像分离步骤，从所述第1图像分离从所述第1图像的基础成分即第1基础成分分离出的亮度成分即第1亮度基础成分、从所述第1基础成分分离出的颜色成分即第1颜色基础成分以及从所述第1图像的细节成分即第1细节成分分离出的亮度成分即第1亮度细节成分；
第2图像分离步骤，从所述第2图像分离所述第2图像的细节成分即第2细节成分；
细节合成步骤，生成取第2增益调整成分与第1增益调整成分的算术平均而得到的值，作为合成亮度细节成分，其中，所述第2增益调整成分是通过对所述第2细节成分进行增益调整而得到的，所述第1增益调整成分是通过以比所述第2细节成分的增益小的增益对所述第1亮度细节成分进行增益调整而得到的；
合成亮度成分生成步骤，对所述合成亮度细节成分和所述第1亮度基础成分进行合成，由此生成合成亮度成分；以及
亮度颜色合成步骤，对所述合成亮度成分和所述第1颜色基础成分进行合成，由此生成所述合成图像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016202175 | 2016-10-14 | ||
| JP2016-202175 | 2016-10-14 | ||
| PCT/JP2017/029441 WO2018070100A1 (ja) | 2016-10-14 | 2017-08-16 | 画像処理装置、画像処理方法、及び撮影装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109804619A CN109804619A (zh) | 2019-05-24 |
| CN109804619B true CN109804619B (zh) | 2021-01-15 |
Family
ID=61905505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780062159.8A Active CN109804619B (zh) | 2016-10-14 | 2017-08-16 | 图像处理装置、图像处理方法和摄影装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10699395B2 (zh) |
| JP (1) | JP6351903B1 (zh) |
| CN (1) | CN109804619B (zh) |
| DE (1) | DE112017005193T5 (zh) |
| WO (1) | WO2018070100A1 (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107918929B (zh) * | 2016-10-08 | 2019-06-21 | 杭州海康威视数字技术股份有限公司 | 一种图像融合方法、装置及*** |
| CN108125673B (zh) * | 2016-12-01 | 2023-03-14 | 松下知识产权经营株式会社 | 生物体信息检测装置 |
| TWI651519B (zh) * | 2017-12-26 | 2019-02-21 | 國家中山科學研究院 | 溫度量測校正方法、電子系統及校正迴歸係數表的產生方法 |
| CN112335233B (zh) * | 2018-07-20 | 2022-07-12 | 夜光彩色科技股份有限公司 | 图像生成装置以及摄像装置 |
| JP6896177B2 (ja) * | 2018-08-10 | 2021-06-30 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
| KR102142934B1 (ko) * | 2018-08-31 | 2020-08-11 | 인천대학교 산학협력단 | 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법 |
| EP3847616A4 (en) * | 2018-09-06 | 2022-05-18 | Carmel Haifa University Economic Corporation Ltd. | MODEL-FREE PHYSICS-BASED RECONSTRUCTION OF IMAGES CAPTURED IN SCATTERING MEDIA |
| CN110248105B (zh) * | 2018-12-10 | 2020-12-08 | 浙江大华技术股份有限公司 | 一种图像处理方法、摄像机及计算机存储介质 |
| US10892287B2 (en) | 2019-01-18 | 2021-01-12 | Cista System Corp. | Image sensor with image receiver and automatic image switching |
| CN109905587B (zh) * | 2019-04-12 | 2019-12-13 | 武汉鸿瑞达信息技术有限公司 | 一种可过滤强光或偏色光的成像拍摄***和方法 |
| US20230076534A1 (en) * | 2020-05-27 | 2023-03-09 | BeijingXiaomi Mobile Software Co., Ltd., Nanjing Branch | Image processing method and device, camera component, electronic device and storage medium |
| WO2022168517A1 (ja) * | 2021-02-03 | 2022-08-11 | ソニーグループ株式会社 | 画像処理装置及び画像処理方法 |
| CN116051386B (zh) * | 2022-05-30 | 2023-10-20 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101940478A (zh) * | 2009-07-02 | 2011-01-12 | 株式会社东芝 | ***x射线摄影装置、图像处理装置以及图像处理方法 |
| CN103929628A (zh) * | 2013-01-10 | 2014-07-16 | 株式会社日立制作所 | 摄像装置 |
| CN105243727A (zh) * | 2014-07-03 | 2016-01-13 | 精工爱普生株式会社 | 图像处理设备、图像处理方法以及程序 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6897355B2 (en) * | 2000-03-27 | 2005-05-24 | Ball Horticultural Company | Interspecific Lobelia plant |
| WO2005072431A2 (en) * | 2004-01-27 | 2005-08-11 | Sarnoff Corporation | A method and apparatus for combining a plurality of images |
| JP4534756B2 (ja) * | 2004-12-22 | 2010-09-01 | ソニー株式会社 | 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体 |
| JP4984634B2 (ja) * | 2005-07-21 | 2012-07-25 | ソニー株式会社 | 物理情報取得方法および物理情報取得装置 |
| JP4714096B2 (ja) | 2006-06-30 | 2011-06-29 | パナソニック株式会社 | 撮像装置 |
| CN101394485B (zh) * | 2007-09-20 | 2011-05-04 | 华为技术有限公司 | 图像生成方法、装置及图像合成设备 |
| JP2010103740A (ja) * | 2008-10-23 | 2010-05-06 | Panasonic Corp | デジタルカメラ |
| US20130083157A1 (en) * | 2010-06-07 | 2013-04-04 | Konica Minolta Advanced Layers, Inc. | Imaging Device |
| JP2014216734A (ja) * | 2013-04-24 | 2014-11-17 | 日立マクセル株式会社 | 撮像装置及び撮像システム |
| JP2014241584A (ja) * | 2013-05-14 | 2014-12-25 | パナソニックＩｐマネジメント株式会社 | 画像処理方法、及び画像処理システム |
| JP6450107B2 (ja) | 2014-08-05 | 2019-01-09 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
| JP2016082390A (ja) * | 2014-10-16 | 2016-05-16 | ソニー株式会社 | 信号処理装置 |
| JP6560563B2 (ja) | 2015-01-16 | 2019-08-14 | キヤノン株式会社 | 画像処理装置及び画像処理方法、コンピュータプログラム |
| US9875524B2 (en) | 2015-01-16 | 2018-01-23 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable storage medium |
-
2017
- 2017-08-16 US US16/328,668 patent/US10699395B2/en active Active
- 2017-08-16 DE DE112017005193.2T patent/DE112017005193T5/de active Pending
- 2017-08-16 CN CN201780062159.8A patent/CN109804619B/zh active Active
- 2017-08-16 JP JP2018503685A patent/JP6351903B1/ja active Active
- 2017-08-16 WO PCT/JP2017/029441 patent/WO2018070100A1/ja active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101940478A (zh) * | 2009-07-02 | 2011-01-12 | 株式会社东芝 | ***x射线摄影装置、图像处理装置以及图像处理方法 |
| CN103929628A (zh) * | 2013-01-10 | 2014-07-16 | 株式会社日立制作所 | 摄像装置 |
| CN105243727A (zh) * | 2014-07-03 | 2016-01-13 | 精工爱普生株式会社 | 图像处理设备、图像处理方法以及程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018070100A1 (ja) | 2018-04-19 |
| US20190228512A1 (en) | 2019-07-25 |
| US10699395B2 (en) | 2020-06-30 |
| DE112017005193T5 (de) | 2019-07-04 |
| JPWO2018070100A1 (ja) | 2018-10-11 |
| CN109804619A (zh) | 2019-05-24 |
| JP6351903B1 (ja) | 2018-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109804619B (zh) | 图像处理装置、图像处理方法和摄影装置 | |
| US9681026B2 (en) | System and method for lens shading compensation | |
| CN104683767B (zh) | 透雾图像生成方法及装置 | |
| US11625815B2 (en) | Image processor and method | |
| JP4208909B2 (ja) | 画像処理装置と撮影装置 | |
| US20140340515A1 (en) | Image processing method and system | |
| US8169500B2 (en) | Dynamic range compression apparatus, dynamic range compression method, computer-readable recording medium, integrated circuit, and imaging apparatus | |
| US20090091645A1 (en) | Multi-exposure pattern for enhancing dynamic range of images | |
| US20070047803A1 (en) | Image processing device with automatic white balance | |
| US10699393B2 (en) | Image processing apparatus and image processing method | |
| JP6352547B2 (ja) | 画像処理装置及び画像処理方法 | |
| EP2404209A1 (en) | Temporally aligned exposure bracketing for high dynamic range imaging | |
| WO2017089832A1 (en) | Method and system for generating an output image from a plurality of corresponding input image channels | |
| US10755399B2 (en) | Image processing device, image processing method, and image processing program | |
| Kao | High dynamic range imaging by fusing multiple raw images and tone reproduction | |
| Bilcu | Multiframe auto white balance | |
| WO2015098243A1 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
| US9860456B1 (en) | Bayer-clear image fusion for dual camera | |
| JP6900395B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体 | |
| Kumar et al. | New digital camera sensor architecture for low light imaging | |
| EP3688977B1 (en) | Generating a monochrome image | |
| JP2017063362A (ja) | 撮像装置および撮像方法 | |
| Varjo et al. | Comparison of near infrared and visible image fusion methods | |
| CN107734246B (zh) | 一种图像处理方法、装置及相关电路 | |
| CN112335233B (zh) | 图像生成装置以及摄像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |