CN107534727A - 图像处理装置、摄像装置、图像处理方法及图像处理程序 - Google Patents

图像处理装置、摄像装置、图像处理方法及图像处理程序 Download PDF

Info

Publication number
CN107534727A
CN107534727A CN201680022432.XA CN201680022432A CN107534727A CN 107534727 A CN107534727 A CN 107534727A CN 201680022432 A CN201680022432 A CN 201680022432A CN 107534727 A CN107534727 A CN 107534727A
Authority
CN
China
Prior art keywords
point
restoration disposal
infrared light
near infrared
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680022432.XA
Other languages
English (en)
Other versions
CN107534727B (zh
Inventor
林健吉
田中淳
田中淳一
成濑洋介
杉本雅彦
入江公祐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN107534727A publication Critical patent/CN107534727A/zh
Application granted granted Critical
Publication of CN107534727B publication Critical patent/CN107534727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/007—Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明提供一种能够分别良好地进行可见光图像的点像复原处理和针对近红外光图像的点像复原处理的图像处理装置、摄像装置、图像处理方法及图像处理程序。本发明的方式中，分别使用基于针对光学***的可见光的第1点扩散函数的第1点像复原滤波器和基于针对光学***的近红外光的第2点扩散函数的第2点像复原滤波器而对表示可见光图像的亮度数据Y及表示近红外光图像的IR数据进行点像复原处理。尤其使基于针对照射近红外光而拍摄的IR数据的点像复原处理的复原强度即第2增益β比基于针对亮度数据Y的点像复原处理的复原强度即第1增益α强而对IR数据适当进行点像复原处理。

Description

图像处理装置、摄像装置、图像处理方法及图像处理程序
技术领域
本发明涉及一种图像处理装置、摄像装置、图像处理方法及图像处理程序，尤其涉及一种对可见光图像及近红外光图像进行基于点扩散函数的点像复原处理的技术。
背景技术
在经由光学***而拍摄的被摄体像中有时可发现因由光学***引起的衍射或像差等的影响而点被摄体具有微小的扩散的点扩散现象。表示针对光学***的点光源的响应的函数被称为点扩散函数(PSF：Point Spread Function)，且作为决定摄像图像的分辨率劣化(模糊)的特性而被熟知。
对因点扩散现象而画质劣化的摄像图像进行基于PSF的点像复原处理，由此能够恢复(复原)已劣化的摄像图像的画质。该点像复原处理为预先求出由透镜(光学***)的像差等引起的劣化特性(点像特性)，并通过使用了基于该点像特性的点像复原滤波器的图像处理而取消或减少摄像图像的点扩散的处理。
作为搭载能够进行白天的可见光图像的拍摄和夜间的近红外光图像的拍摄的昼夜功能的摄像机而有监控摄像机等，但关于具有昼夜功能的监控摄像机，白天将红外截止滤波器***到透镜的成像光路，并进行仅在可见光具有灵敏度的拍摄(彩色摄影)，另一方面，在夜间使红外截止滤波器从成像光路退避，并且作为辅助光而发出(点亮)近红外光，并进行在可见光至近红外光的波长频带具有灵敏度的拍摄(黑白摄像)。
当对通过搭载有上述昼夜功能的监控摄像机进行了拍摄的可见光图像及近红外光图像应用点像复原处理时，透镜的像差在可见光和近红外光中不同，因此存在若使用相同的点像复原滤波器，则无法良好地进行可见光图像及近红外光图像中的至少一个图像的点像复原处理。
专利文献1中记载有进行指纹认证、静脉认证及虹膜认证的多种认证的生物认证装置。该生物体认证装置使用具有光波面调制元件的景深扩张光学***，并且在指纹认证时的指纹摄像中照射可见光或适合使指纹浮现的紫外光，在静脉认证时的静脉摄像中照射适合透射皮肤的同时使血管浮现的红外光，且在虹膜认证时的虹膜摄像中照射可见光或红外光。然后，通过光波面调制元件，并通过分散有光像的分散图像(模糊图像)与对应于由光波面调制元件引起的分散的变换系数的卷积(卷积运算)而将分散图像复原为没有分散的图像。在该复原处理中，通过对拍摄对象(指纹、静脉或虹膜)照射的光的波长而使与由光波面调制元件引起的分散对应的变换系数可变。
专利文献2中记载有一种摄像装置，其中，当为可见光摄像机摄影模式时，将红外截止滤波器***到光学***而进行拍摄，当为黑暗中摄影模式及生物特征认证模式时，使红外截止滤波器从光学***退避而进行拍摄，并且当为生物特征认证模式时，选择用于进行近距离摄影用图像再生的第1逆函数而进行基于第1逆函数的图像滤波处理，且当为可见光摄像机摄影模式及黑暗中摄影模式时，选择用于进行远距离摄影用图像再生的第2逆函数而进行基于第2逆函数的图像滤波处理。
专利文献3中记载有，可以将低通滤波器或红外截止滤波器等光学元件放入光学***，但在使用会对低通滤波器等光学传递函数(OTF：Optical Transfe r Function)的特性赋予影响的元件的情况下，在制作点像复原滤波器时需要进行考虑的见解。
以往技术文献
专利文献
专利文献1：日本特开2008-113704号公报
专利文献2：日本特开2011-128238号公报
专利文献3：日本特开2014-064304号公报
发明内容
发明要解决的技术课题
当对通过搭载有昼夜功能的监控摄像机进行拍摄的可见光图像及近红外光图像应用点像复原处理时，透镜的像差在可见光和近红外光中不同，因此优选切换使用于可见光图像的点像复原处理中的可见光用点像复原滤波器和使用于近红外光图像的点像复原处理的近红外光用点像复原滤波器。
专利文献1中有分别对使用具有光波面调制元件的景深扩张光学***而拍摄的可见光图像及近红外光图像的分散图像进行复原时，通过所照射的光的波长而改变与因光波面调制元件引起的分散对应的变换系数的记载，但没有与对可见光图像及近红外光图像进行点像复原处理时的复原强度有关的记载。
在此，复原强度是指将因拍摄而劣化的图像复原到无劣化的原图像的强度，且复原强度越强，则进行越接近原图像的点像复原处理。另外，当对已劣化的图像进行复原强度较强的点像复原处理时，若已劣化的图像的信噪比(S/N比：signal-to-noise ratio)较低，则成为产生伪像的过度校正，而有时反倒产生画质劣化这一弊端。另一方面，当进行复原强度较弱的点像复原处理时，能够避免如上述那样的弊端，但未能够进行充分的点像复原，而存在残留模糊的问题。
专利文献2中所记载的发明中，通过生物特征认证模式(进行近距离摄像的模式)和可见光摄像机摄影模式及黑暗中摄影模式(进行远距离摄像的模式)而切换基于第1逆函数的图像滤波处理和基于第2逆函数的图像滤波处理，但不会通过进行可见光图像的拍摄的可见光摄像机摄影模式和进行近红外光图像的拍摄的黑暗中摄影模式及生物特征认证模式来切换基于第1逆函数的图像滤波处理和基于第2逆函数的图像滤波处理。另外，根据被摄体距离而选择使用于图像滤波处理的逆函数(点像复原滤波器)的技术为公知技术。并且，专利文献2中没有与基于第1逆函数或第2逆函数的滤波处理(点像复原处理)的复原强度有关的记载。
专利文献3中有在对光学***的OTF的特性赋予影响的元件(红外截止滤波器等)被放入到光学***的情况下，制作点像复原滤波器时需要进行考虑的记载，但没有从光学***去除红外截止滤波器或将其放入光学***的记载，没有在红外截止滤波器被***到光学***的情况下与使红外截止滤波器从光学***退避的情况下生成各自的点像复原滤波器的记载，而且没有与点像复原处理的复原强度有关的记载。
本发明是鉴于这种情况而完成的，其目的在于提供一种能够分别良好地进行针对可见光图像的点像复原处理和针对近红外光图像的点像复原处理的图像处理装置、摄像装置、图像处理方法及图像处理程序。
用于解决技术课题的手段
为了实现上述目的而本发明的一方式所涉及的图像处理装置具备：图像获取部，获取表示利用光学***以在可见光波长频带具有灵敏度的方式拍摄的可见光图像的第1图像数据和包括利用光学***以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的第2图像数据；第1点像复原处理部，对所获取的第1图像数据进行使用了基于针对光学***的可见光的第1点扩散函数的第1点像复原滤波器的第1点像复原处理；及第2点像复原处理部，对所获取的第2图像数据进行使用了基于针对光学***的近红外光的第2点扩散函数的第2点像复原滤波器的第2点像复原处理，其中，使基于针对照射近红外光而拍摄的第2图像数据的第2点像复原处理的复原强度比基于由第1点像复原处理部进行的第1点像复原处理的复原强度强。
根据本发明的一方式，分别使用针对基于光学***的可见光的第1点扩散函数的第1点像复原滤波器(可见光用第1点像复原滤波器)和基于针对光学***的近红外光的第2点扩散函数的第2点像复原滤波器(近红外光用第2点像复原滤波器)而对表示可见光图像的第1图像数据及包括近红外光图像的第2图像数据进行点像复原处理，因此能够分别良好地进行第1图像数据及第2图像数据的点像复原处理，尤其使基于针对照射近红外光而拍摄的第2图像数据的第2点像复原处理的复原强度比由第1点像复原处理部进行的复原强度强。照射近红外光而拍摄的第2图像数据因近红外光的照射而S/N比变高，因此即使增强基于针对第2图像数据的第2点像复原处理的复原强度也不会成为过度校正，并且能够将因拍摄而劣化的近红外光图像复原到画质良好的近红外光图像。
本发明的另一方式所涉及的图像处理装置具备：图像获取部，获取利用红外截止滤波器被***到成像光路的光学***而拍摄的第1图像数据和利用使红外截止滤波器从成像光路退避的光学***而拍摄的第2图像数据；第1点像复原处理部，对所获取的第1图像数据进行使用了基于针对光学***的可见光的第1点扩散函数的第1点像复原滤波器的第1点像复原处理；及第2点像复原处理部，对所获取的第2图像数据进行使用了基于针对光学***的近红外光的第2点扩散函数的第2点像复原滤波器的第2点像复原处理，其中，使基于针对照射近红外光而拍摄的第2图像数据的第2点像复原处理的复原强度比基于由第1点像复原处理部进行的第1点像复原处理的复原强度强。
本发明的又一方式所涉及的图像处理装置中，优选第2点像复原处理部使基于针对在未照射近红外光的情况下拍摄的第2图像数据的第2点像复原处理的复原强度比基于由第1点像复原处理部进行的针对第1图像数据的第1点像复原处理的复原强度弱。
关于在未照射近红外光的情况下拍摄的第2图像数据，其S/N比降低，因此若增强基于针对第2图像数据的第2点像复原处理的复原强度，则成为过度校正，而反倒成为画质降低的原因。于是，根据本发明的又一方式，当为在未照射近红外光的情况下拍摄的第2图像数据时，削弱基于针对第2图像数据的第2点像复原处理的复原强度，从而防止过度校正导致的画质劣化。
本发明的又一方式所涉及的图像处理装置中，优选具备判别部，该判别部判别所获取的第2图像数据是否为在未从近红外光发光部照射近红外光的情况下拍摄，并且在混合有可见光和近红外光的光源下拍摄的第2图像数据，若由判别部判别为所获取的第2图像数据是在未照射近红外光的情况下拍摄，并且包含可见光成分和近红外光成分的第2图像数据，则第2点像复原处理部使基于第2点像复原处理的复原强度比在未照射近红外光的情况下拍摄，并且不包含可见光成分的基于针对第2图像数据的第2点像复原处理的复原强度强。
在从白天向夜间切换时(黄昏状态)或从夜间向白天切换时(黎明状态)，存在混合有可见光与近红外光的时间。在这种黄昏或黎明状态下，在未从近红外光发光部照射近红外光的情况下拍摄的第2图像数据中包含可见光成分和近红外光成分。而且，包含可见光成分和近红外光成分的第2图像数据比像夜间那样在未照射近红外光的情况下进行拍摄，并且不包含可见光成分的第2图像数据(仅包含近红外光成分的图像数据)亮，因此S/N比较大。于是，使基于针对包含可见光成分的近红外光成分的第2图像数据的第2点像复原处理的复原强度比基于针对仅包含近红外光成分的第2图像数据的第2点像复原处理的复原强度强。该情况下，包含可见光成分和近红外光成分的第2图像数据在即使增强基于针对第2图像数据的第2点像复原处理的复原强度也不会成为过度校正，并且能够将因拍摄而劣化的近红外光图像复原到画质良好的近红外光图像。
本发明的又一方式所涉及的图像处理装置中，优选第2点像复原处理部具有对基于第2点像复原处理的第2图像数据的复原率进行调整的复原率控制部，复原率控制部使照射近红外光而拍摄的第2图像数据的复原率比基于第1点像复原处理的第1图像数据的复原率大。其原因在于，照射近红外光而拍摄的第2图像数据因近红外光的照射而S/N比变高，因此即使增强基于针对第2图像数据的第2点像复原处理的复原强度也不会成为过度校正，并且能够将因拍摄而劣化的近红外光图像复原到画质良好的近红外光图像。另外，能够通过复原率控制部而对基于第2点像复原处理的第2图像数据的复原率进行调整，且在使照射近红外光而拍摄的第2图像数据的复原率比基于第1点像复原处理的第1图像数据的复原率大时，能够设为所希望大小的复原率。
本发明的又一方式所涉及的图像处理装置中，优选第2点像复原处理部具有对基于第2点像复原处理的第2图像数据的复原率进行调整的复原率控制部，复原率控制部使在未照射近红外光的情况下拍摄的第2图像数据的复原率比基于第1点像复原处理的第1图像数据的复原率小。
关于在未照射近红外光的情况下拍摄的第2图像数据，其S/N比降低，因此若增强基于针对第2图像数据的第2点像复原处理的复原强度，则成为过度校正，而反倒成为画质降低的原因。于是，当为在未照射近红外光的情况下拍摄的第2图像数据时，使在未照射近红外光的情况下拍摄的第2图像数据的复原率小于基于第1点像复原处理的第1图像数据的复原率，从而防止过度校正导致的画质劣化。
本发明的又一方式所涉及的图像处理装置中，优选第1图像数据包括第1颜色数据和用于得到亮度数据的贡献率比第1颜色数据低的两种颜色以上的第2颜色数据，第1点像复原处理部对根据第1图像数据而生成的亮度数据进行使用了与亮度数据对应的第1点像复原滤波器的第1点像复原处理。第1点像复原处理部对根据第1图像数据而生成的亮度数据(视觉性效果较大的亮度数据)进行使用了与亮度数据对应的第1点像复原滤波器的第1点像复原处理，因此与按第1颜色数据及两种颜色以上的第2颜色数据的每一颜色数据进行点像复原处理的情况相比，能够减轻点像复原处理的运算负载。
本发明的又一方式所涉及的图像处理装置中，优选第1图像数据包括第1颜色数据和用于得到亮度数据的贡献率比第1颜色数据低的两种颜色以上的第2颜色数据，第1点像复原处理部对第1颜色数据及两种颜色以上的各第2颜色数据进行使用了分别与第1颜色数据及两种颜色以上的各第2颜色数据对应的第1点像复原滤波器的第1点像复原处理。第1点像复原处理部对第1颜色数据及两种颜色以上的各第2颜色数据进行使用了分别与第1颜色数据及两种颜色以上的各第2颜色数据对应的第1点像复原滤波器的第1点像复原处理，因此，能够进行精度高的点像复原处理，且还能够进行倍率色差的校正。
本发明的又一方式所涉及的摄像装置具备上述图像处理装置和红外截止滤波器被***到成像光路或能够使其从成像光路退避的光学***，图像获取部为如下摄像部：利用红外截止滤波器被***到成像光路的光学***而对被摄体进行拍摄，并获取表示被摄体的可见光图像的第1图像数据，且利用使红外截止滤波器从成像光路退避的光学***而对被摄体进行拍摄，并获取表示被摄体的近红外光图像的第2图像数据，摄像部具有调整基于光学***的被摄体的聚焦位置的聚焦调整部，聚焦调整部相对于利用红外截止滤波器被***到成像光路的光学***而拍摄的被摄体调整了聚焦位置。摄像装置例如为固定于定点的监控摄像机时，优选相对于使用红外截止滤波器被***到成像光路的光学***而拍摄(可见光拍摄)的被摄体，通过聚焦调整部而调整聚焦位置。其原因在于拍摄已对焦的画质较高的可见光图像。该情况下，使用使红外截止滤波器从成像光路退避的光学***而拍摄(红外拍摄)的被摄体的聚焦位置因红外截止滤波器的退避或波长的不同(色差)而从通过聚焦调整部进行调整的聚焦位置偏离(成为非聚焦状态)。在这种非聚焦状态下拍摄的近红外光图像比可见光图像模糊。于是，为了提高近红外光图像的清晰度改善效果而增强基于针对表示近红外光图像的第2图像数据的第2点像复原处理的复原强度。
本发明的又一方式所涉及的摄像装置中，优选还具备在对近红外光图像进行拍摄时发出近红外光来作为辅助光的近红外光发光部。
本发明的又一方式所涉及的图像处理方法包括如下步骤：获取表示利用光学***以在可见光波长频带具有灵敏度的方式拍摄的可见光图像的第1图像数据和包括利用光学***以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的第2图像数据；对所获取的第1图像数据进行使用了基于针对光学***的可见光的第1点扩散函数的第1点像复原滤波器的第1点像复原处理；及对所获取的第2图像数据进行使用了基于针对光学***的近红外光的第2点扩散函数的第2点像复原滤波器的第2点像复原处理，其中，使基于针对照射近红外光而拍摄的第2图像数据的第2点像复原处理的复原强度比基于第1点像复原处理的复原强度强。
本发明的又一方式所涉及的图像处理方法中，优选进行第2点像复原处理的步骤中，使基于针对在未照射近红外光的情况下进行拍摄的第2图像数据的第2点像复原处理的复原强度比基于针对第1图像数据的第1点像复原处理的复原强度弱。
本发明的又一方式所涉及的图像处理程序使计算机执行如下步骤：获取表示利用光学***以在可见光波长频带具有灵敏度的方式拍摄的可见光图像的第1图像数据和包括利用光学***以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的第2图像数据；对所获取的第1图像数据进行使用了基于针对光学***的可见光的第1点扩散函数的第1点像复原滤波器的第1点像复原处理；及对所获取的第2图像数据进行使用了基于针对光学***的近红外光的第2点扩散函数的第2点像复原滤波器的第2点像复原处理，其中，使基于针对照射近红外光而拍摄的第2图像数据的第2点像复原处理的复原强度比基于第1点像复原处理的复原强度强。
本发明的又一方式所涉及的图像处理程序中，优选进行第2点像复原处理的步骤中，使基于针对在未照射近红外光的情况下拍摄的第2图像数据的第2点像复原处理的复原强度比基于针对第1图像数据的第1点像复原处理的复原强度弱。将记录有这些图像处理程序的能够计算机读取的非暂时性有形介质(a non-transitory computer-readabletangible medium)也包含于本发明的方式中。
发明效果
根据本发明，分别使用可见光用第1点像复原滤波器和近红外光用第2点像复原滤波器而对表示可见光图像的第1图像数据及包括近红外光图像的第2图像数据进行点像复原处理，因此能够分别良好地进行第1图像数据及第2图像数据的点像复原处理，尤其使基于针对照射近红外光而拍摄的第2图像数据的第2点像复原处理的复原强度比由第1点像复原处理部进行的复原强度强，由此能够将已劣化的近红外光图像复原到画质良好的近红外光图像。
附图说明
图1为表示摄像装置的功能结构例的框图，且为表示在白天拍摄可见光图像(动态图像)的情况的图。
图2为表示摄像装置的功能结构例的框图，且为表示拍摄黄昏及夜间的近红外光图像(动态图像)的情况的图。
图3为表示850nm类型的近红外LED和940nm类型的近红外LED的分光特性的图表。
图4为表示拜耳排列的基本排列图案的图和表示RGB的各彩色滤波器的分光透射率特性的图。
图5为表示摄像机控制器的结构例的框图。
图6为表示固定在定点的摄像装置的摄像部和在摄像部的焦点调整后实际拍摄的测试图的可见光图像的图。
图7为表示摄像机控制器内的图像处理部的第1实施方式的框图。
图8为表示第1实施方式的点像复原处理部的框图。
图9为表示图像处理方法的第1实施方式的流程图。
图10为表示图像处理方法的第2实施方式的流程图。
图11为表示第2实施方式的点像复原处理部的框图。
图12为表示第3实施方式的点像复原处理部的框图。
图13为表示摄像机控制器内的图像处理部的第2实施方式的框图。
图14为表示具备EDoF光学***的摄像模块的一方式的框图。
图15为表示EDoF光学***的一例的图。
图16为表示经由EDoF光学***而获取的图像的复原例的图。
具体实施方式
以下，按照附图对本发明所涉及的图像处理装置、摄像装置、图像处理方法及图像处理程序的实施方式进行说明。以下的实施方式中，作为一例而将本发明应用于用作能够与计算机(PC：Personal Computer)连接的监控摄像机的摄像装置的情况进行说明。
图1及图2为分别表示与计算机连接的摄像装置10的功能结构例的框图。另外，在图1中示出有关通过摄像装置10而拍摄白天的可见光图像(动态图像)的情况，且在图2示出有关通过摄像装置10而拍摄黄昏及夜间的近红外光图像(动态图像)的情况。
图1及图2所示的摄像装置10为搭载有昼夜功能的监控摄像机，并具有拍摄可见光图像的可见光图像拍摄模式和拍摄近红外光图像的近红外光图像拍摄模式。
如图1及图2所示，摄像装置10主要由透镜单元12、近红外光发光部15、滤波装置24、成像元件(图像获取部)26、摄像机控制器28及输入输出接口32构成，其中，透镜单元12、近红外光发光部15、滤波装置24及成像元件(图像获取部)26构成摄像部。
透镜单元12具备透镜16、光圈17等光学***和控制该光学***的光学***操作部18。光学***操作部18包括调整透镜16的聚焦位置的手动操作部及通过从摄像机控制器28附加的控制信号而驱动光圈17的光圈驱动部。
近红外光发光部15具备近红外光发光二极管(近红外LED(LED：Light EmittingDiode))，且如图2所示，在近红外光图像拍摄模式时根据从摄像机控制器28附加的点亮指示而连续发出(照射)近红外光来作为辅助光。如图3所示，近红外LED中存在具有850nm类型的分光特性的近红外LED和具有940nm类型的分光特性的近红外LED，且均能够用作近红外光发光部15的光源。
滤波装置24通过使具备红外截止滤波器20的滑动板向与光轴正交的方向移动或使具备红外截止滤波器20的转台旋转，将红外截止滤波器20***成像光路或使其从成像光路退避，且根据从摄像机控制器28附加的指令而在可见光图像拍摄模式时将红外截止滤波器20***成像光路(图1)，在近红外光图像拍摄模式时使红外线截止滤波器20从成像光路退避(图2)。
成像元件26由CMOS(Complementary Metal-Oxide Semiconductor(互补金属氧化半导体))型彩色图像传感器构成。另外，成像元件26并不限定于C MOS型，还可以是XY地址型或CCD(Charge Coupled Device(电荷耦合元件))型图像传感器。
成像元件26具有以矩阵状配置的多个像素，各像素包含微透镜、红(R)、绿(G)或蓝(B)彩色滤波器及光电转换部(光电二极管等)而构成。RGB的彩色滤波器具有规定图案的滤波器排列(拜耳排列、X-Trans(注册商标)排列等)，图4(A)表示拜耳排列的基本排列图案。
图4(B)表示RGB的各彩色滤波器的分光透射率特性。如图4(B)所示，具有RGB的各彩色滤波器的像素(以下称为R像素、G像素及B像素)对具有850nm类型或940nm类型的分光特性的近红外LED的近红外光(图3参照)具有大致相同的灵敏度。从而，在近红外光图像拍摄模式中，成像元件26的R像素、G像素及B像素分别作为近红外光像素(IR(infrared)像素)而发挥功能。
即，在以可见光图像拍摄模式进行拍摄时，从成像元件26输出表示可见光图像的第1图像数据即与RGB的彩色滤波器的滤波器排列对应的马赛克数据(红(R)、绿(G)、蓝(B)马赛克状颜色数据(RGB数据))，且在以近红外光图像拍摄模式进行拍摄时，从成像元件26输出表示近红外光图像的第2图像数据即表示一个画面量的黑白图像的近红外光图像数据(IR数据)。
关于摄像机控制器28的详细内容将在后面叙述，但其具有作为总括控制摄像装置10的各部的设备控制部34的功能和作为进行从成像元件26发送过来的图像数据(表示在可见光图像拍摄模式时拍摄的可见光图像的第1图像数据或包括在近红外光图像拍摄模式时拍摄的近红外光图像的第2图像数据)的图像处理的图像处理部(图像处理装置)35的功能。
在摄像机控制器28中，经图像处理的图像数据存储于设置在摄像装置10的存储部(未图示)和/或经由输入输出接口32而被发送到计算机60等。从摄像机控制器28输出的图像数据的格式并无特别限定，为动态图像时可设为MP EG(Moving Picture Experts Group(运动图像专家组))、H.264等格式，为静态图像时可设为JPEG(Joint PhotographicExperts Group(联合图像专家组))、TIFF(Tagged Image File Format(标记图像文件格式))等格式。并且，可输出并不进行基于图像处理部35的图像处理的原始数据(RAW数据)。而且，摄像机控制器28可以如所谓的Exif(Exchangeable Image File F ormat(可交换图像文件格式))使标题信息(拍摄日期和时间、机种、像素数、光圈值等)、主图像数据及缩略图图像数据等多个关联数据彼此对应来作为一个图像文件而构成，并输出该图像文件。
计算机60经由摄像装置10的输入输出接口32及计算机输入输出部62而与摄像装置10连接，并接收从摄像装置10发送过来的图像数据等数据类。计算机控制器64总括控制计算机60，对来自摄像装置10的图像数据进行图像处理，并控制与经由互联网70等网络线路而与计算机输入输出部62连接的服务器80等的通信。计算机60具有显示器66，计算机控制器64中的处理内容等根据需要而显示于显示器66。用户通过确认显示器66的显示的同时操作键盘等输入机构(省略图示)，能够向计算机控制器64输入数据或命令。由此，用户能够控制计算机60、与计算机60连接的设备类(摄像装置10、服务器80)。
服务器80具有服务器输入输出部82及服务器控制器84。服务器输入输出部82构成与计算机60等外部设备类的收发连接部，并经由互联网70等网络线路而与计算机60的计算机输入输出部62连接。服务器控制器84根据来自计算机60的控制指示信号，与计算机控制器64协动，且在与计算机控制器64之间根据需要而进行数据类的收发，将数据类下载到计算机60，并进行运算处理而将该运算结果发送到计算机60。
各控制器(摄像机控制器28、计算机控制器64、服务器控制器84)具有控制处理中所需要的线路类，例如具备中央处理装置(CPU(Central Processin g Unit)等)或存储器等。并且，摄像装置10、计算机60及服务器80之间的通信可以是有线也可以是无线。并且，可以将计算机60及服务器80一体构成，并且，也可以省略计算机60和/或服务器80。而且，可以使摄像装置10具有与服务器80的通信功能，且在摄像装置10与服务器80之间直接进行数据类的收发。进而，还可以从摄像装置10向计算机60或服务器80发送RAW数据，且由计算机60或服务器80的图像处理部(图像处理装置)作为摄像机控制器28内的图像处理部35(图5)而发挥功能，并进行所输入的RAW数据的图像处理。
本例的摄像装置10为搭载有昼夜功能的监控摄像机，且固定于定点而使用。此时，设置摄像装置10时，通过光学***操作部18而调整透镜16的聚焦位置，且进行对焦于被摄体的聚焦调整，并且还根据需要进行变焦倍率的调整(变焦调整)。
图6(A)为表示固定在定点的摄像装置10的摄像部(透镜单元12、滤波装置24及成像元件26)的图，且图6(B)表示在摄像部的焦点调整后实际拍摄的测试图19的图像(可见光图像)的图。
图6(A)中，使聚焦环13旋转的聚焦杆11(聚焦调整部)及使变焦环23旋转的变焦杆21相当于透镜单元12的光学***操作部18(图1)。
聚焦调整及变焦调整在可见光图像拍摄模式时进行。即，将红外截止滤波器20***到成像光路，并且在基于荧光灯等的可见光的人工光源31或太阳光的照明下进行拍摄，且在观察所拍摄的图像的同时进行聚焦调整及变焦调整。
即，如图6(A)所示，以聚焦位置51与成像元件26的受光面上的位置一致的方式，在观察实际拍摄的测试图19的图像(图6(B))的同时通过聚焦杆11而使聚焦环13旋转，并调整透镜16的聚焦位置。
若如此对透镜单元12进行聚焦调整，则在近红外光图像拍摄模式时拍摄的近红外图像根据红外截止滤波器20的退避或可见光与近红外光的波长的不同而近红外光图像的聚焦位置从成像元件26的受光面上的位置偏离。即，在近红外光图像拍摄模式时拍摄的近红外图像的像面位置偏移，而容易变成散焦状态，与可见光图像相比容易模糊。
[图像处理装置]
＜图像处理装置的第1实施方式＞
图7为表示图5所示的摄像机控制器28内的图像处理部35的第1实施方式的框图。
图7所示的第1实施方式的图像处理部35由偏移校正处理部41、增益校正处理部42、去马赛克处理部43、包括伽马校正处理部的第1灰度校正处理部45、第2灰度校正处理部46、亮度及色差转换处理部47及点像复原处理部48构成。
偏移校正处理部41按点顺序输入从成像元件26获取的图像处理前的RA W数据(马赛克状RGB数据或IR数据)。另外，RAW数据例如为按每一RG B具有12比特(0～4095)的比特长的数据(每1像素为2字节的数据)。并且，本例的RAW数据为连续拍摄的动态图像数据。
偏移校正处理部41为对所输入的RAW数据中所包含的暗电流成分进行校正的处理部，且通过从RAW数据减去从成像元件26上的遮光像素得到的光学黑体的信号值而进行RAW数据的偏移校正。
经偏移校正的RAW数据被附加于增益校正处理部42。当RAW数据为RG B数据时，增益校正处理部42作为调整白平衡(WB：White Balance)的WB校正处理部而发挥功能，且将按RGB的每一颜色设定的WB增益分别乘以RG B数据而进行RGB数据的白平衡校正。WB增益例如设为根据RGB数据而自动判定光源种类，或者选择基于手动的光源种类而选择适合所判定或选择的光源种类的WB增益，但WB增益的设定方法并不限定于此，能够通过其他公知的方法而设定。
并且，当RAW数据为IR数据时，增益校正处理部42作为校正针对近红外光的R像素、G像素及B像素的灵敏度差的灵敏度校正处理部而发挥功能，且将从R像素、G像素及B像素输出的各IR数据的累积平均值设为1:1:1的增益分别乘以与R像素、G像素及B像素对应的IR数据，并校正IR数据。另外，在R像素、G像素及B像素中，没有针对近红外光的灵敏度差的情况下，不需要进行基于增益校正处理部42的灵敏度差的校正。
去马赛克处理部43为进行从与单板式成像元件26的彩色滤波器排列对应的马赛克图像按每一像素计算所有的颜色信息的去马赛克处理(还称为“同步处理”)的部分，例如为包括RGB这3种颜色的彩色滤波器的成像元件时，从包括RGB的马赛克图像按每一像素计算RGB所有的颜色信息。即，去马赛克处理部43根据马赛克数据(点顺序的RGB数据)生成被同步的RGB3面的图像数据。另外，对于IR数据，不进行基于去马赛克处理部43的去马赛克处理。
经去马赛克处理的RGB数据被附加于第1灰度校正处理部45。第1灰度校正处理部45为对RGB数据进行非线性灰度校正的部分，例如对所输入的R GB数据进行基于对数化处理的伽马校正处理，并以图像通过显示器装置自然再现的方式对RGB数据进行非线性处理。
本例中，第1灰度校正处理部45对12比特(0～4095)的RGB数据，进行与伽马特性对应的伽马校正而生成8比特(0～255)的RGB的颜色数据(1字节的数据)。第1灰度校正处理部45例如能够根据每一RGB的查表而构成，并优选进行与RGB数据的每一颜色分别对应的伽马校正。另外，第1灰度校正处理部45包括对输入数据进行沿色调曲线的非线性灰度校正的部分。
通过第1灰度校正处理部45进行灰度校正的RGB数据被附加于亮度及色差转换处理部47。亮度及色差转换处理部47为将第1颜色数据(G数据)和用于得到亮度数据的贡献率比第1颜色数据(G数据)低的两种颜色以上的第2颜色数据(R数据、B数据)转换为表示亮度成分的亮度数据Y和色差数据Cr、Cb的处理部，且能够通过以下式计算。
[数式1]
Y＝0.299R+0.587G+0.114B
Cb＝-0.168736R-0.331264G+0.5B
Cr＝-0.5R-0.418688G-0.081312B
另外，从RGB数据向亮度数据Y、色差数据Cr、Cb的转换式并不限定于上述[数式1]。
通过亮度及色差转换处理部47由RGB数据转换的亮度数据Y被附加于点像复原处理部48。
另一方面，近红外光图像拍摄模式时通过增益校正处理部42进行了灵敏度校正的IR数据被附加于第2灰度校正处理部46，在此进行与基于第1灰度校正处理部45的灰度校正处理相同的灰度校正。即，第2灰度校正处理部46能够根据IR用查表构成，且对所输入的12比特的IR数据进行与伽马特性对应的伽马校正而生成8比特的IR数据。另外，关于第1灰度校正处理部45与第2灰度校正处理部46，用于进行灰度校正的查表分别不同，但其他共通，因此能够进行处理电路的共通化。
通过第2灰度校正处理部46进行了灰度校正的IR数据被附加于点像复原处理部48。
点像复原处理部48中根据拍摄模式(可见光图像拍摄模式或近红外光图像拍摄模式)而输入亮度数据Y或IR数据，且点像复原处理部48对所输入的亮度数据Y或IR数据进行点像复原处理。
[点像复原处理部]
＜点像复原处理部的第1实施方式＞
接着，对图7所示的点像复原处理部48的第1实施方式进行说明。
图8为表示第1实施方式的点像复原处理部48的框图。第1实施方式的点像复原处理部48主要具备由第1点像复原滤波器处理部110、第2点像复原滤波器处理部120、乘法器112、122、切换开关130及加法器140构成的点像复原处理部100、复原率控制部150及判别部160。
对亮度数据Y(第1图像数据)进行第1点像复原处理的第1点像复原处理部由第1点像复原滤波器处理部110、乘法器112及加法器140构成。
第1点像复原滤波器处理部110将基于针对光学***(透镜16等)的可见光的第1点扩散函数的第1点像复原滤波器应用于根据拍摄模式而输入的亮度数据Y而生成经点像复原处理的亮度数据Y的增减量数据(第1增减量数据)。
乘法器112对通过第1点像复原滤波器处理部110而生成的第1增减量数据乘以第1增益α，并进行第1增减量数据的增益调整(基于点像复原处理的第1复原率的调整)。通过乘法器112进行了增益调整的第1增减量数据被输出到切换开关130的一个输入端子。
另一方面，对IR数据(第2图像数据)进行第2点像复原处理的第2点像复原处理部由第2点像复原滤波器处理部120、乘法器122及加法器140构成。
第2点像复原滤波器处理部120将基于针对光学***(透镜16等)的近红外光的第2点扩散函数的第2点像复原滤波器应用于根据拍摄模式输入的IR数据而生成经点像复原处理的IR数据的增减量数据(第2增减量数据)。
乘法器122对通过第2点像复原滤波器处理部120而生成的第2增减量数据乘以第2增益β，并进行第2增减量数据的增益调整(基于点像复原处理的第2复原率的调整)。通过乘法器122进行了增益调整的第2增减量数据被输出到切换开关130的一个输入端子。
切换开关130中，从摄像机控制器28附加有表示可见光图像拍摄模式或近红外光图像拍摄模式的拍摄模式信息，切换开关130根据拍摄模式信息而选择附加于两个输入端子中的任一个输入端子的增减量数据，并将所选择的增减量数据输出到加法器140。即，切换开关130在可见光图像拍摄模式时将从乘法器112输入的第1增减量数据输出到加法器140，且在近红外光图像拍摄模式时将从乘法器122输入的第2增减量数据输出到加法器140。
加法器140的其他输入中，根据拍摄模式而附加有亮度数据Y或IR数据，加法器140对所输入的亮度数据Y或IR数据和从切换开关130附加的增减量数据进行相加。由此，从加法器140输出经点像复原处理的亮度数据Y或IR数据。
接着，对分别附加于乘法器112及122的第1增益α及第2增益β进行说明。
复原率控制部150分别将第1增益α及第2增益β设定为所希望的增益值，由此控制基于针对亮度数据Y的点像复原处理的复原强度(复原率)，根据以下进行说明的基于判别部160的判别结果而设定第1增益α和第2增益β的增益值(大小)，并将所设定的第1增益α和第2增益β分别输出到乘法器112及122。
判别部160在近红外光图像拍摄模式时判别是否已从近红外光发光部15发出(照射)近红外光，并且，在近红外光图像拍摄模式时判别是否在混合有可见光和近红外光的光源下进行拍摄。
在近红外光图像拍摄模式时，通常点亮近红外光发光部15，并从近红外光发光部15发出近红外光来作为辅助光，但例如，在即使为黄昏或黎明时间段、夜间也存在人工光源的情况下，有可能不对被摄体照射近红外光。判别部160在使红外截止滤波器20从成像光路退避的近红外光图像拍摄模式时判别是否已从近红外光发光部15发出近红外光。
并且，判别部160根据近红外光图像拍摄模式时的被摄体的亮度而判别是否为混合有可见光和近红外光的光源下进行的拍摄。
摄像机控制器28在进行基于光圈17的控制及快门速度(成像元件26中的电荷累积时间)的控制的自动曝光控制时，检测被摄体的亮度(EV值(exp osure value(曝光值)))。并且，若所检测出的EV值为不适合可见光图像的拍摄的值以下，则摄像机控制器28从可见光图像拍摄模式切换到近红外光图像拍摄模式。
判别部160能够使用由摄像机控制器28检测出的EV值来作为近红外光图像拍摄模式时的被摄体的亮度而判别是否为混合有可见光和近红外光的光源下进行的拍摄。
＜复原强度设定的第1实施方式＞
若通过判别部160而判别为在近红外光图像拍摄模式时从近红外光发光部15对被摄体照射了近红外光，则复原率控制部150以使第2增益β比第1增益α大的方式设定第2增益β。以下，将如此设定的第2增益β称为“第2增益β1”。
如上述那样通过复原率控制部150以使第2增益β1比第1增益α大的方式进行设定，因此能够将基于针对IR数据的点像复原处理的复原强度设为比基于针对亮度数据Y的点像复原处理的复原强度(复原率)强(复原率大)。
若增强基于点像复原处理的复原强度，则易成为产生伪像的过度校正，且若削弱复原强度，则能够避免成为过度校正的弊端，但无法进行充分的点像复原，而模糊会残留。
在“复原强度设定的第1实施方式”中，将基于针对IR数据的点像复原处理的复原强度设为比基于针对亮度数据Y的点像复原处理的复原强度强的原因为，由于对被摄体照射了近红外光，因此IR数据的S/N比较高，且即使增强复原强度成为过度校正的弊端也较少，另一方面，如利用图6进行了说明，与亮度数据Y相比，IR数据因红外截止滤波器20的退避或波长的不同(色差)而在从对可见光图像(亮度数据Y)进行了聚焦调整的聚焦位置偏离的情况下(散焦状态下)进行拍摄，从而比亮度数据Y模糊。于是，为了提高IR数据的清晰度改善效果而将基于针对IR数据的点像复原处理的复原强度设为比基于针对亮度数据Y的点像复原处理的复原强度强。
＜复原强度设定的第2实施方式＞
若通过判别部160而判别为在近红外光图像拍摄模式时未对被摄体照射近红外光，则复原率控制部150以使第2增益β比第1增益α小的方式对第2增益β进行设定。以下，将如此设定的第2增益β称为“第2增益β2”。
如上述那样通过复原率控制部150以使第2增益β2比第1增益α小的方式设定，因此能够将基于针对IR数据的点像复原处理的复原强度设为比基于针对亮度数据Y的点像复原处理的复原强度弱(复原率小)。
在“复原强度设定的第2实施方式”中，将基于针对IR数据的点像复原处理的复原强度设为比基于针对亮度数据Y的点像复原处理的复原强度弱的原因为，由于未对被摄体照射近红外光，因此IR数据的S/N比较低，且若增强复原强度，则易成为产生伪像的过度校正。于是，为了避免成为过度校正的弊端而将基于针对IR数据的点像复原处理的复原强度设为比基于针对亮度数据Y的点像复原处理的复原强度弱。
＜复原强度设定的第3实施方式＞
若通过判别部160判别为在近红外光图像拍摄模式时未对被摄体照射近红外光，并且判别为混合有可见光和近红外光的光源下进行了拍摄，则复原率控制部150以使第2增益β比“复原强度设定的第2实施方式”中的第2增益β2大的方式设定第2增益β。以下，将如此设定的第2增益β称为“第2增益β3”。
在黄昏或黎明状态(混合有可见光和近红外光的光源下)下拍摄的IR数据如夜间那样在未照射近红外光的情况下拍摄，并且比不包含可见光成分的IR数据(仅近红外光成分的IR数据)亮，因此S/N比较大。于是，将基于针对包含可见光成分和近红外光成分的IR数据的点像复原处理的复原强度(第2增益β3)设为比基于针对仅近红外光成分的IR数据的点像复原处理的复原强度(第2增益β2)。在该情况下，即使使基于针对IR数据的点像复原处理的复原强度较强(即使使第2增益β3较大)，包含可见光成分和近红外光成分的IR数据也不会成为过度校正，并且能够将因拍摄而劣化的IR数据复原到画质良好的IR数据。
并且，复原率控制部150以“复原强度设定的第3实施方式”中的第2增益β3比“复原强度设定的第1实施方式”中的第2增益β1小的方式设定第2增益β3。其原因为，与从近红外光发光部15对被摄体照射近红外光时获取的IR数据的S/N比相比，在黄昏或黎明状态下，未从近红外光发光部15对被摄体照射近红外光时获取的IR数据的S/N比小，且若过于增强基于针对IR数据的点像复原处理的复原强度，则易成为过度校正。
另一方面，基于针对亮度数据Y的点像复原处理的复原强度(第1增益α)例如为基于点像复原处理的目标复原强度，并能够设为固定值(例如，第1增益α＝1)，但也可以根据拍摄设定条件(例如透镜的种类、光圈值、变焦倍率、被摄体距离等)而变更。
并且，基于针对IR数据的点像复原处理的复原强度(第2增益β)根据基于判别部160的判定结果而设定为从“复原强度设定的第1实施方式”至“复原强度设定的第3实施方式”中所示出的第2增益β1、β2或β3，这些第2增益β1、β2或β3可以分别设为固定值，也可以在变更了第1增益α的情况下，与其对应地还变更第2增益β1、β2或β3。
[图像处理方法的第1实施方式]
图9为表示本发明所涉及的图像处理方法的第1实施方式的流程图。
图9中，摄像机控制器28检测出被摄体的光量(例如，EV值)，并判别所检测出的光量是否为阈值Th以上(步骤S10)。当所检测出的光量为阈值T h以上时(当为“是”时)，移到步骤S12，并切换到白天的拍摄模式即可见光图像拍摄模式。
在步骤S12中，将红外截止滤波器20***到成像光路，并通过步骤S14进行仅基于在可见光波长频带具有灵敏度的可见光的拍摄(可见光图像的拍摄)。对所拍摄的可见光图像的亮度数据Y进行基于第1点像复原滤波器的点像复原处理(步骤S16)。即，进行根据基于第1点像复原滤波器处理部110、乘法器112及加法器140的第1点像复原滤波器进行的点像复原处理，即第1增益α的复原强度(复原率)的点像复原处理(步骤S16)。
另一方面，在步骤S10中，当所检测出的光量小于阈值Th时(当为“否”时)，移到步骤S18，且切换到作为夜间的拍摄模式即近红外光图像拍摄模式。即，摄像机控制器28使红外截止滤波器20退避，并且点亮近红外光发光部15，且对被摄体照射近红外光(步骤S18)。
接着，进行基于在可见光波长频带及近红外光波长频带具有灵敏度的近红外光的拍摄(近红外光图像拍摄模式)(步骤S20)。
对在近红外光图像拍摄模式时拍摄的IR数据进行基于第2点像复原滤波器的点像复原处理(步骤S22)。即，进行根据基于第2点像复原滤波器处理部120、乘法器122及加法器140的第2点像复原滤波器进行的点像复原处理，即第2增益β的复原强度(复原率)的点像复原处理。另外，第2增益β为在“复原强度设定的第1实施方式”中设定的第2增益β1，且为比第1增益α大的增益。
接着，判别是否结束夜间拍摄(步骤S24)，当不结束拍摄时(当为“否”时)，移到步骤S20，并反复进行步骤S20至步骤S24的处理，另一方面，当结束拍摄时(当为“是”时)，结束本拍摄动作。
另外，若在未结束夜间拍摄的情况下，光量达到对应于白天的值(例如，阈值Th与基于近红外光的照射的増加量的光量之和)，则可以再次切换到可见光图像拍摄模式，并进行步骤S10至步骤S16的处理。
[图像处理方法的第2实施方式]
图10为表示本发明所涉及的图像处理方法的第2实施方式的流程图。对执行与图9所示的处理共同的处理的步骤赋予相同的步骤序号，并省略其详细说明。
图10所示的图像处理方法中，在夜间(近红外光)拍摄时根据是否从近红外光发光部15对被摄体照射了近红外光而对针对IR数据的复原强度进行变更，在此方面与图9所示的图像处理方法的第1实施方式不同。
即，在步骤S30中，进行红外截止滤波器20被退避的状态下的拍摄(基于近红外光的拍摄)，基于近红外光的拍摄中包括在点亮近红外光发光部15，并对照射体照射近红外光的状态下的拍摄和在熄灭近红外光发光部15，并未从近红外光发光部15对被摄体照射近红外光的状态下的拍摄。
在步骤S32中，判别步骤S30中的基于近红外光的拍摄时近红外光发光部15是否被点亮，若判别为被点亮(当为“是”时)，则移到步骤S22，若判别为未被点亮(当为“否”时)，则移到步骤S34。
在步骤S22中，对在步骤S30中的拍摄时所获取的IR数据，与图9所示的步骤S22相同地进行基于第2点像复原滤波器的点像复原处理，即第2增益β1的复原强度(复原率)的点像复原处理。另外，第2增益β1为比针对亮度数据Y的第1增益α大的增益。
另一方面，在步骤S34中，对步骤S30中的拍摄时所获取的IR数据进行基于第2点像复原滤波器的点像复原处理，即第2增益β2的复原强度(复原率)的点像复原处理。另外，第2增益β2为比针对亮度数据Y的第1增益α小的增益。
如此将基于针对IR数据的点像复原处理的复原强度(第2增益β2)设为比基于针对亮度数据Y的点像复原处理的复原强度(第1增益α)弱的原因为，未从近红外光发光部15对被摄体照射近红外光，因此若使IR数据的S/N比较低，且复原强度较强，则易成为产生伪像的过度校正。
＜点像复原处理部的第2实施方式＞
接着，对图7所示的点像复原处理部48的第2实施方式进行说明。
图11为表示第2实施方式的点像复原处理部48的框图。第2实施方式的点像复原处理部48主要由点像复原滤波器处理部200、第1点扩散函数存储部210、第2点扩散函数存储部220及点像复原滤波器生成部230构成。
点像复原滤波器处理部200根据拍摄模式而输入亮度数据Y或IR数据，并对所输入的图像数据(亮度数据Y或IR数据)进行使用了通过点像复原滤波器生成部230而生成的第1点像复原滤波器F1及第2点像复原滤波器F2中的任一个点像复原滤波器的点像复原处理，并计算已进行点像复原处理的图像数据。即，点像复原滤波器处理部200进行所输入的图像数据中的以处理对象像素为中心的规定的内核尺寸(为与点像复原滤波器相同的内核尺寸，例如为7×7、9×9等)的图像数据与第1点像复原滤波器F1及第2点像复原滤波器F2中的任一个点像复原滤波器的反卷积运算(deconvolution operation)，并计算已进行点像复原处理的图像数据。
第1点扩散函数存储部210为存储针对光学***(透镜16等)的可见光的第1点扩散函数(第1PSF)的存储部。
第2点扩散函数存储部220为存储针对光学***(透镜16等)的近红外光的第2点扩散函数(第2PSF)的存储部。
第1PSF及第2PSF分别在仅基于可见光的光源及仅基于近红外光的光源的照明条件下拍摄点像，且在根据这些的拍摄时所得到的点像的图像数据而测定，在预先将产品发货之前进行测量，并存储于第1点扩散函数存储部210及第2点扩散函数存储部220。
点像复原滤波器生成部230从第1点扩散函数存储部210或第2点扩散函数存储部220读取第1PSF或第2PSF，并根据所读取的PSF而生成第1点像复原滤波器F1及第2点像复原滤波器F2中的任一个点像复原滤波器。
通常，基于PSF的模糊图像的复原中能够利用卷积型的维纳(Wiener)滤波器。能够参考对PSF(x,y)进行了傅里叶变换的光学传递函数(OTF：Optic al Transfer Function)和信噪比(SNR：Signal to Noise Ratio)的信息，并通过以下式而计算点像复原滤波器的频率特性d(ωx,ωy)。
[数式2]
其中，H(ωx,ωy)表示OTF，H*(ωx,ωy)表示其复共轭。并且，SNR(ωx,ωy)表示信噪比。
点像复原滤波器的滤波系数的设计为以滤波器的频率特性最接近所希望的维纳频率特性的方式选择系数值的最优化问题，可通过任意的公知的方法而适当计算滤波系数。
可以替代上述[数式2]的OTF而使用表示OTF的振幅成分的调制传递函数(MTF：Modulation Transfer Function)，并计算点像复原滤波器。
点像复原滤波器生成部230中，由摄像机控制器28附加有拍摄模式信息，当拍摄模式信息表示可见光图像拍摄模式时，点像复原滤波器生成部230从第1点扩散函数存储部210读取第1PSF，并根据所读取的第1PSF而生成第1点像复原滤波器F1。
同样地，当拍摄模式信息表示近红外光图像拍摄模式时，点像复原滤波器生成部230从第2点扩散函数存储部220读取第2PSF，并根据所读取的第2PS F而生成第2点像复原滤波器F2。
但是，点像复原滤波器生成部230以使用第2点像复原滤波器F2而对IR数据进行点像复原处理(第2点像复原处理)时的复原强度比使用第1点像复原滤波器F1而对亮度数据Y进行点像复原处理(第1点像复原处理)时的复原强度强的方式生成第1点像复原滤波器F1和第2点像复原滤波器F2。
作为复原强度不同的点像复原滤波器的生成方法的一例，可考虑适当调整表示前述维纳滤波器的[数式2]中的1/SNR(ωx,ωy)的值而进行点像复原滤波器生成。
由于很难正确求出[数式2]中的1/SNR(ωx,ωy)，因此以适当的常数Γ进行近似(1/SNR(ωx,ωy)≒Γ)。若使该常数Γ的大小发生变化，则能够生成复原强度不同的点像复原滤波器，若减小常数Γ，则能够生成增强复原强度的点像复原滤波器。
即，在点像复原滤波器生成部230从第2点扩散函数存储部220读取第2P SF，并根据所读取的第2PSF而生成第2点像复原滤波器F2的情况下，且在生成针对从近红外光发光部15对被摄体照射近红外光的状态下拍摄的IR数据的第2点像复原滤波器F2的情况下，关于对表示维纳滤波器的[数式2]中的1/SN R(ωx,ωy)进行近似的常数Γ，使用比生成针对亮度数据Y的第1点像复原滤波器F1时的常数Γ小的值而生成第2点像复原滤波器F2。由此，能够将基于针对被摄体被照射近红外光的状态下拍摄的IR数据的第2点像复原处理的复原强度设为比基于针对亮度数据Y的第1点像复原处理的复原强度强。
另外，当生成针对在未从近红外光发光部15对被摄体照射近红外光的状态下拍摄的IR数据的第2点像复原滤波器F2时，关于常数Γ使用比生成针对亮度数据Y的第1点像复原滤波器F1时的常数Γ大的值而生成第2点像复原滤波器F2，由此将基于针对在未对被摄体照射近红外光的状态下拍摄的IR数据的第2点像复原处理的复原强度设为比基于针对亮度数据Y的第1点像复原处理的复原强度弱。
如上述那样通过点像复原滤波器生成部230而生成的第1点像复原滤波器F1或第2点像复原滤波器F2被输出到点像复原滤波器处理部200。
当为可见光图像拍摄模式时，点像复原滤波器处理部200中输入有亮度数据Y，并且从点像复原滤波器生成部230输入第1点像复原滤波器F1，且点像复原滤波器处理部200进行亮度数据Y与第1点像复原滤波器F1的反卷积运算，并计算已进行点像复原处理的亮度数据Y。
另一方面，当为近红外光图像拍摄模式时，点像复原滤波器处理部200中输入有IR数据，并且从点像复原滤波器生成部230输入第2点像复原滤波器F2，且点像复原滤波器处理部200进行IR数据与第2点像复原滤波器F2的反卷积运算，并计算已进行点像复原处理的IR数据。
另外，PSF根据光圈值(F值)、变焦倍率、被摄体距离、视角(像高)等拍摄条件而发生变化，因此优选第1点扩散函数存储部210及第2点扩散函数存储部220预先存储与拍摄条件对应的多个第1PSF及第2PSF，且优选点像复原滤波器生成部230读取与拍摄条件对应的第1PSF或第2PSF，并根据所读取的第1PSF或第2PSF而生成第1点像复原滤波器F1或第2点像复原滤波器F2。
＜点像复原处理部的第3实施方式＞
接着，对图7所示的点像复原处理部48的第3实施方式进行说明。
图12为表示第3实施方式的点像复原处理部48的框图。另外，对与图11所示的第2实施方式共同的部分标注相同的符号，并省略详细说明。
图12所示的第3实施方式的点像复原处理部48在替代图11所示的第1点扩散函数存储部210及第2点扩散函数存储部220而具有第1点像复原滤波器存储部240及第2点像复原滤波器存储部250，且替代图11所示的点像复原滤波器生成部230而具有点像复原滤波器选择部260这一方面不同。
即，第3实施方式中，预先根据第1PSF及第2PSF而生成第1点像复原滤波器F1及第2点像复原滤波器F2，且将所生成的第1点像复原滤波器F1及第2点像复原滤波器F2分别存储到第1点像复原滤波器存储部240及第2点像复原滤波器存储部250。
另外，第1点像复原滤波器F1及第2点像复原滤波器F2以与图11所示的通过点像复原滤波器生成部230而生成的方法相同的方式生成。例如，针对在从近红外光发光部15对被摄体照射近红外光的状态下拍摄的IR数据的第2点像复原滤波器F2以基于使用了针对IR数据的第2点像复原滤波器F2的第2点像复原处理的复原强度比基于使用了针对亮度数据Y的第1点像复原滤波器F1的第1点像复原处理的复原强度强的方式生成。
点像复原滤波器选择部260中由摄像机控制器28附加有拍摄模式信息，当拍摄模式信息表示可见光图像拍摄模式时，点像复原滤波器选择部260选择存储在第1点像复原滤波器存储部240的第1点像复原滤波器F1，并将所选择的第1点像复原滤波器F1输出到点像复原滤波器处理部200。
同样地，当拍摄模式信息表示近红外光图像拍摄模式时，点像复原滤波器选择部260选择存储在第2点像复原滤波器存储部250的第2点像复原滤波器F2，并将所选择的第2点像复原滤波器F2输出到点像复原滤波器处理部200。
＜图像处理装置的第2实施方式＞
图13为表示图5所示的摄像机控制器28内的图像处理部35的第2实施方式的框图。另外，对与图7所示的第1实施方式共同的部分标注相同的符号，并省略其详细说明。
关于图13所示的第2实施方式的图像处理部35，相对于第1实施方式的图像处理部35对可见光图像的亮度数据Y进行点像复原处理，在对表示可见光图像的第1颜色数据(G数据)和用于得到亮度数据的贡献率比第1颜色数据(G数据)低的两种颜色以上的第2颜色数据(R数据、B数据)进行使用了与各RGB数据对应的第1点像复原滤波器的点像复原处理这一方面不同。
即，图13所示的点像复原处理部148中，为可见光图像拍摄模式时从第1灰度校正处理部45附加有经灰度校正的RGB3面的RGB数据，为近红外光图像拍摄模式时，从第2灰度校正处理部46附加有经灰度校正的IR数据。
点像复原处理部148使用基于针对光学***(透镜16等)的可见光(R光)的第1点扩散函数的第1点像复原滤波器F1R、基于针对光学***的G光的第1点扩散函数的第1点像复原滤波器F1G及基于针对光学***的B光的第1点扩散函数的第1点像复原滤波器F1B而对各RGB数据进行点像复原处理。
并且，点像复原处理部148对IR数据进行与图7所示的第1实施方式的点像复原处理部48对IR数据进行的点像复原处理相同的点像复原处理。
根据第2实施方式的点像复原处理部148，对表示可见光图像的RGB数据，使用与每一颜色对应的第1点像复原滤波器F1R、F1G及F1B而进行点像复原处理，因此能够进行精度更高的点像复原处理，且还能够进行倍率色差的校正。
＜针对EDoF***的应用例＞
上述实施方式中的点像复原处理为将对应于特定的拍摄条件(例如，光圈值、F值、焦距、像高等)的点扩散(点像模糊)复原到本来的被摄体像的图像处理，但能够应用本发明的图像处理并不限定于上述实施方式中的点像复原处理。例如，即使对于针对通过具有被扩大的景(焦点)深(EDoF：Extended Depth of Field(Focus))的光学***(透镜等)而拍摄获取的图像数据的点像复原处理，也能够应用本发明所涉及的点像复原处理。
对在通过EDoF光学***而被扩大了景深(焦深)的状态下拍摄获取的模糊图像的图像数据进行点像复原处理，由此能够复原到在广范围内已对焦的状态的高分辨率的图像数据。该情况下，进行使用了基于EDoF光学***的传递函数(PSF、OTF、MTF、PTF(PhaseTransfer Function(相位传递函数))等)的点像复原滤波器、即具有以能够在被扩大的景深(焦深)的范围内进行良好的图像复原的方式设定的滤波系数的点像复原滤波器的复原处理。
图14为表示具备EDoF光学***的摄像模块300的一方式的框图。本例的摄像模块(搭载于摄像装置10的摄像头)300包括EDoF光学***(透镜单元)310、成像元件320及AD转换部330。
图15为表示EDoF光学***310的一例的图。本例的EDoF光学***310具有单焦固定的透镜312和配置于光瞳位置的滤光器314。滤光器314用于调制相位，且以可得到被扩大的景深(焦深)(EDoF)的方式将EDoF光学***310(透镜312)EDoF化。如此，透镜312及滤光器314构成调制相位而扩大景深的透镜部。
另外，EDoF光学***310根据需要而包含其他构成要件，例如在滤光器314的附近配设有光圈(省略图示)。并且，滤光器314可以是一片，也可以组合多片。并且，滤光器314只不过是光学相位调制机构的一例，EDoF光学***310(透镜312)的EDoF化可以通过其他机构而实现。例如，可以替代设置滤光器314，通过以具有与本例的滤光器314相等的功能的方式进行了透镜设计的透镜312来实现EDoF光学***310的EDoF化。
即，通过使针对成像元件320的受光面的成像的波面发生变化的各种机构，能够实现EDoF光学***310的EDoF化。例如，可采用“厚度发生变化的光学元件”、“折射率发生变化的光学元件(折射率分布型波面调制透镜等)”、“通过针对透镜表面的编码等而厚度或折射率发生变化的光学元件(波面调制混合透镜、在透镜面上作为相位面而形成的光学元件等)”、“能够调制光的相位分布的液晶元件(液晶空间相位调制元件等)”来作为EDoF光学***310的EDoF化结构。如此，不仅能够通过光波面调制元件(滤光器314(相位板))而形成规则性分散的图像的案例，对于不使用光波面调制元件而能够通过透镜312本身来形成与使用了光波面调制元件的情况相同的分散图像的案例也能够应用本发明。
图14及图15所示的EDoF光学***310中能够省略进行机械性调焦的调焦机构，因此能够小型化。另外，在EDoF光学***310的光路内或EDoF光学***310与成像元件320之间设有以与图1所示的摄像装置10相同的方式取出和放入红外截止滤波器的机构(未图示)。
通过被EDoF化的EDoF光学***310之后的光学像在图14所示的成像元件320成像，在此被转换为电信号。
作为成像元件320，能够应用与图1所示的成像元件26相同的成像元件。
AD(Analog-to-Digital(模拟-数字))转换部330将从成像元件320按每一像素输出的模拟RGB信号转换为数字RGB信号。通过AD转换部330而转换为数字的图像信号的数字图像信号作为RAW数据而被输出。
通过对从摄像模块300输出的RAW数据应用图7及图13所示的图像处理部(图像处理装置)35，能够生成表示在广范围内已对焦的状态的高分辨率的可见光图像及近红外光图像的图像数据。
即，如图16的符号1311所示，通过EDoF光学***310之后的点像(光学像)作为较大的点像(模糊图像)而在成像元件320成像，但通过基于图像处理部(图像处理装置)35的点像复原处理部48或点像复原处理部148的点像复原处理，如图16的符号1312所示那样复原到较小的点像(高分辨率的图像)。
并且，能够应用本发明的方式并不限定于监控摄像机或数码摄像机，除了以拍摄为主要功能的摄像机类以外，还能够对在具备拍摄功能的基础上具备拍摄以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类应用。作为能够应用本发明的另一方式，例如可列举具有摄像机功能的移动电话或智能手机、PDA(Personal DigitalAssistants(电子记事薄))、便携式游戏机。
[其他]
上述各实施方式中，对将图像处理部(图像处理装置)35设置于摄像装置10(摄像机控制器28)的方式进行了说明，但也可以在计算机60或服务器80等其他装置设有图像处理部(图像处理装置)35。
例如，在计算机60加工图像数据时，可以通过设置于计算机60的图像处理部(图像处理装置)35而进行该图像数据的点像复原处理。并且，当服务器80具备图像处理部(图像处理装置)35时，例如，可以从摄像装置10或计算机60向服务器80发送图像数据，且在服务器80的图像处理部(图像处理装置)35对该图像数据进行点像复原处理，将点像复原处理的图像数据发送或提供到发送源。
并且，上述各功能结构能够通过任意的硬件、软件或两者的组合而适当实现。例如，还能够对上述各装置及处理部(摄像机控制器28、设备控制部34、使计算机执行的图像处理部35)中的图像处理方法(图像处理步骤)的图像处理程序、记录有该图像处理程序的计算机能够读取的记录介质(非暂时性记录介质)或能够对下载该图像处理程序的计算机应用本发明。
并且，图1及图2所示的摄像装置10的滤波装置24可以在使红外截止滤波器20退避时，将白玻璃***到成像光路。作为白玻璃，优选具有与红外截止滤波器20相同的折射率及厚度。从而，即使从红外截止滤波器20切换到白玻璃也能够不改变焦点位置。
而且，摄像装置10中，可以在未设置滤波装置24的情况下使用具有可见光图像的拍摄用像素和近红外光图像的拍摄用像素的成像元件。
并且，本发明并不限定于上述实施方式，在不脱离本发明的精神的范围内，当然能够进行各种变更。
符号说明
10-摄像装置，12-透镜单元(光学***)，15-近红外光发光部，16、312-透镜，18-光学***操作部，20-红外截止滤波器，24-滤波装置，26、320-成像元件，28-摄像机控制器，32-输入输出接口，34-设备控制部，35-图像处理部，41-偏移校正处理部，42-增益校正处理部，43-去马赛克处理部，45-第1灰度校正处理部，46-第2灰度校正处理部，47-亮度及色差转换处理部，48、100、148-点像复原处理部，110-第1点像复原滤波器处理部，112、122-乘法器，120-第2点像复原滤波器处理部，130-切换开关，140-加法器，150-复原率控制部，160-判别部，200-点像复原滤波器处理部，210-第1点扩散函数存储部，220-第2点扩散函数存储部，230-点像复原滤波器生成部，240-第1点像复原滤波器存储部，250-第2点像复原滤波器存储部，260-点像复原滤波器选择部，300-摄像模块，310-EDoF光学***，314-滤光器。

Claims (15)

1.一种图像处理装置，其具备：
图像获取部，获取表示利用光学***以在可见光波长频带具有灵敏度的方式拍摄的可见光图像的第1图像数据和包括利用所述光学***以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的第2图像数据；
第1点像复原处理部，对所述所获取的所述第1图像数据进行使用了基于针对所述光学***的可见光的第1点扩散函数的第1点像复原滤波器的第1点像复原处理；及
第2点像复原处理部，对所述所获取的所述第2图像数据进行使用了基于针对所述光学***的近红外光的第2点扩散函数的第2点像复原滤波器的第2点像复原处理，其中，使基于针对照射近红外光而拍摄的所述第2图像数据的所述第2点像复原处理的复原强度，比基于由所述第1点像复原处理部进行的所述第1点像复原处理的复原强度强。
2.一种图像处理装置，其具备：
图像获取部，获取利用红外截止滤波器被***到成像光路的光学***而拍摄的第1图像数据和利用使所述红外截止滤波器从成像光路退避的所述光学***而拍摄的第2图像数据；
第1点像复原处理部，对所述所获取的所述第1图像数据进行使用了基于针对所述光学***的可见光的第1点扩散函数的第1点像复原滤波器的第1点像复原处理；及
第2点像复原处理部，对所述所获取的所述第2图像数据进行使用了基于针对所述光学***的近红外光的第2点扩散函数的第2点像复原滤波器的第2点像复原处理，其中，使基于针对照射近红外光而拍摄的所述第2图像数据的所述第2点像复原处理的复原强度比基于由所述第1点像复原处理部进行的所述第1点像复原处理的复原强度强。
3.根据权利要求1或2所述的图像处理装置，其中，
所述第2点像复原处理部使基于针对在未照射近红外光的情况下拍摄的所述第2图像数据的所述第2点像复原处理的复原强度，比基于由所述第1点像复原处理部进行的针对所述第1图像数据的所述第1点像复原处理的复原强度弱。
4.根据权利要求3所述的图像处理装置，其中，
具备判别部，该判别部判别所述所获取的所述第2图像数据是否为在未从近红外光发光部照射近红外光的情况下拍摄、并且在混合有可见光和近红外光的光源下拍摄的所述第2图像数据，
若由所述判别部判别为所述所获取的所述第2图像数据是在未照射近红外光的情况下拍摄、并且包含可见光成分和近红外光成分的所述第2图像数据，则所述第2点像复原处理部使基于所述第2点像复原处理的复原强度，比基于针对在未照射近红外光的情况下拍摄、并且不包含可见光成分的所述第2图像数据的所述第2点像复原处理的复原强度强。
5.根据权利要求1或2所述的图像处理装置，其中，
所述第2点像复原处理部具有对基于所述第2点像复原处理的所述第2图像数据的复原率进行调整的复原率控制部，
所述复原率控制部使照射近红外光而拍摄的所述第2图像数据的复原率比基于所述第1点像复原处理的所述第1图像数据的复原率大。
6.根据权利要求1或2所述的图像处理装置，其中，
所述第2点像复原处理部具有对基于所述第2点像复原处理的所述第2图像数据的复原率进行调整的复原率控制部，
所述复原率控制部使在未照射近红外光的情况下拍摄的所述第2图像数据的复原率，比基于所述第1点像复原处理的所述第1图像数据的复原率小。
7.根据权利要求1至6中任一项所述的图像处理装置，其中，
所述第1图像数据包括第1颜色数据和用于得到亮度数据的贡献率比所述第1颜色数据低的两种颜色以上的第2颜色数据，
所述第1点像复原处理部对根据所述第1图像数据而生成的亮度数据，进行使用了与所述亮度数据对应的所述第1点像复原滤波器的第1点像复原处理。
8.根据权利要求1至6中任一项所述的图像处理装置，其中，
所述第1图像数据包括第1颜色数据和用于得到亮度数据的贡献率比所述第1颜色数据低的两种颜色以上的第2颜色数据，
所述第1点像复原处理部对所述第1颜色数据及所述两种颜色以上的各第2颜色数据，进行使用了分别与所述第1颜色数据及所述两种颜色以上的各第2颜色数据对应的所述第1点像复原滤波器的第1点像复原处理。
9.一种摄像装置，其具备：
权利要求1至8中任一项所述的图像处理装置；及
红外截止滤波器被***到成像光路或能够使该红外截止滤波器从成像光路退避的所述光学***，
所述图像获取部为如下摄像部，利用所述红外截止滤波器被***到成像光路的所述光学***而对被摄体进行拍摄，并获取表示该被摄体的可见光图像的第1图像数据，且利用使所述红外截止滤波器从成像光路退避的所述光学***而对被摄体进行拍摄，并获取表示该被摄体的近红外光图像的第2图像数据，
所述摄像部具有调整基于所述光学***的被摄体的聚焦位置的聚焦调整部，所述聚焦调整部相对于利用所述红外截止滤波器被***到成像光路的所述光学***而拍摄的被摄体调整了所述聚焦位置。
10.根据权利要求9所述的摄像装置，其中，
还具备在对近红外光图像进行拍摄时发出近红外光来作为辅助光的近红外光发光部。
11.一种图像处理方法，其具备如下步骤：
获取表示利用光学***以在可见光波长频带具有灵敏度的方式拍摄的可见光图像的第1图像数据和包括利用所述光学***以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的第2图像数据；
对所述所获取的所述第1图像数据进行使用了基于针对所述光学***的可见光的第1点扩散函数的第1点像复原滤波器的第1点像复原处理；及
对所述所获取的所述第2图像数据进行使用了基于针对所述光学***的近红外光的第2点扩散函数的第2点像复原滤波器的第2点像复原处理，其中，使基于针对照射近红外光而拍摄的所述第2图像数据的所述第2点像复原处理的复原强度比基于所述第1点像复原处理的复原强度强。
12.根据权利要求11所述的图像处理方法，其中，
进行所述第2点像复原处理的步骤中，使基于针对在未照射近红外光的情况下进行拍摄的所述第2图像数据的所述第2点像复原处理的复原强度，比基于针对所述第1图像数据的所述第1点像复原处理的复原强度弱。
13.一种图像处理程序，其使计算机执行如下步骤：
获取表示利用光学***以在可见光波长频带具有灵敏度的方式拍摄的可见光图像的第1图像数据和包括利用所述光学***以在可见光波长频带及近红外光波长频带具有灵敏度的方式拍摄的近红外光图像的第2图像数据；
对所述所获取的所述第1图像数据进行使用了基于针对所述光学***的可见光的第1点扩散函数的第1点像复原滤波器的第1点像复原处理；及
对所述所获取的所述第2图像数据进行使用了基于针对所述光学***的近红外光的第2点扩散函数的第2点像复原滤波器的第2点像复原处理，其中，使基于针对照射近红外光而拍摄的所述第2图像数据的所述第2点像复原处理的复原强度比基于所述第1点像复原处理的复原强度强。
14.根据权利要求13所述的图像处理程序，其中，
进行所述第2点像复原处理的步骤中，使基于针对在未照射近红外光的情况下拍摄的所述第2图像数据的所述第2点像复原处理的复原强度，比基于针对所述第1图像数据的所述第1点像复原处理的复原强度弱。
15.一种计算机能够读取的非暂时性有形介质，其记录有权利要求13或14所述的图像处理程序。
CN201680022432.XA 2015-04-23 2016-04-15 图像处理装置、摄像装置、图像处理方法及记录有图像处理程序的计算机可读非暂时性有形记录介质 Active CN107534727B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015088231 2015-04-23
JP2015-088231 2015-04-23
PCT/JP2016/062172 WO2016171090A1 (ja) 2015-04-23 2016-04-15 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN107534727A true CN107534727A (zh) 2018-01-02
CN107534727B CN107534727B (zh) 2020-06-26

Family

ID=57143141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680022432.XA Active CN107534727B (zh) 2015-04-23 2016-04-15 图像处理装置、摄像装置、图像处理方法及记录有图像处理程序的计算机可读非暂时性有形记录介质

Country Status (4)

Country Link
US (1) US10339638B2 (zh)
JP (1) JP6247425B2 (zh)
CN (1) CN107534727B (zh)
WO (1) WO2016171090A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830669A (zh) * 2018-08-10 2020-02-21 株式会社理光 图像处理装置、图像处理***、记录介质及图像处理方法
CN111464800A (zh) * 2019-01-21 2020-07-28 佳能株式会社 图像处理装置、***、方法和计算机可读存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255664B2 (en) * 2014-07-04 2019-04-09 Sony Corporation Image processing device and method
US10282822B2 (en) * 2016-12-01 2019-05-07 Almalence Inc. Digital correction of optical system aberrations
EP3343897B1 (en) * 2016-12-28 2019-08-21 Axis AB Camera and method of producing color images
EP3422700B1 (en) * 2017-06-29 2021-03-10 Axis AB A method for enhancing color images, and an assembly performing such method
EP3343894B1 (en) 2016-12-28 2018-10-31 Axis AB Ir-filter arrangement
CN112163515A (zh) * 2017-07-31 2021-01-01 Oppo广东移动通信有限公司 虹膜图像采集方法及相关产品
CN110557571B (zh) * 2018-05-31 2020-10-13 杭州海康威视数字技术股份有限公司 一种图像采集设备、设备控制方法、装置及存储介质
CN110830675B (zh) * 2018-08-10 2022-05-03 株式会社理光 读取装置、图像形成装置及读取方法
KR102661705B1 (ko) * 2019-02-15 2024-05-02 삼성디스플레이 주식회사 표시 장치 및 표시 장치의 구동 방법
WO2020241326A1 (ja) * 2019-05-31 2020-12-03 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
CN115039399A (zh) * 2020-01-29 2022-09-09 株式会社理光 增益修正装置、信号处理单元、成像装置、图像读取装置、成像设备及增益修正方法
JPWO2022254642A1 (zh) * 2021-06-03 2022-12-08

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002300461A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd 画像復元装置、画像復元方法、プログラム及び記録媒体
CN102768412A (zh) * 2011-05-02 2012-11-07 索尼公司 红外成像***和操作方法
CN102968761A (zh) * 2011-08-30 2013-03-13 佳能株式会社 图像处理设备和图像处理方法
WO2014119768A1 (en) * 2013-02-01 2014-08-07 Canon Kabushiki Kaisha Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium
WO2015015966A1 (ja) * 2013-08-01 2015-02-05 富士フイルム株式会社 撮像装置、撮像方法及び画像処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4969206B2 (ja) 2006-11-01 2012-07-04 京セラ株式会社 生体認証装置
JP5235642B2 (ja) 2008-12-15 2013-07-10 キヤノン株式会社 画像処理装置およびその方法
JP5404122B2 (ja) 2009-03-26 2014-01-29 オリンパス株式会社 焦点位置調整装置およびカメラ
JP2011128238A (ja) 2009-12-16 2011-06-30 Fujitsu Ltd 撮像装置および情報端末装置
US9979941B2 (en) 2011-01-14 2018-05-22 Sony Corporation Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
JP5611439B2 (ja) 2013-11-13 2014-10-22 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002300461A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd 画像復元装置、画像復元方法、プログラム及び記録媒体
CN102768412A (zh) * 2011-05-02 2012-11-07 索尼公司 红外成像***和操作方法
CN102968761A (zh) * 2011-08-30 2013-03-13 佳能株式会社 图像处理设备和图像处理方法
WO2014119768A1 (en) * 2013-02-01 2014-08-07 Canon Kabushiki Kaisha Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium
WO2015015966A1 (ja) * 2013-08-01 2015-02-05 富士フイルム株式会社 撮像装置、撮像方法及び画像処理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830669A (zh) * 2018-08-10 2020-02-21 株式会社理光 图像处理装置、图像处理***、记录介质及图像处理方法
US11012585B2 (en) 2018-08-10 2021-05-18 Ricoh Company, Ltd. Image processing apparatus, image processing system, image processing method, and non-transitory computer-readable storage medium
CN111464800A (zh) * 2019-01-21 2020-07-28 佳能株式会社 图像处理装置、***、方法和计算机可读存储介质
CN111464800B (zh) * 2019-01-21 2022-05-03 佳能株式会社 图像处理装置、***、方法和计算机可读存储介质
US11361408B2 (en) 2019-01-21 2022-06-14 Canon Kabushiki Kaisha Image processing apparatus, system, image processing method, and non-transitory computer-readable storage medium

Also Published As

Publication number Publication date
US20180040109A1 (en) 2018-02-08
US10339638B2 (en) 2019-07-02
CN107534727B (zh) 2020-06-26
JP6247425B2 (ja) 2017-12-13
JPWO2016171090A1 (ja) 2018-03-29
WO2016171090A1 (ja) 2016-10-27

Similar Documents

Publication Publication Date Title
CN107534727A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN103430551B (zh) 使用具有纵色像差的透镜单元的成像***及其操作方法
CN107534735B (zh) 终端的图像处理方法、装置和终端
US8730371B2 (en) Image processing apparatus and image processing method, and data processing apparatus and data processing method
US20070242141A1 (en) Adjustable neutral density filter system for dynamic range compression from scene to imaging sensor
CN102984448A (zh) 利用颜色数字图像对动作如锐度修改进行控制的方法
CN108712608A (zh) 终端设备拍摄方法和装置
CN107534733A (zh) 摄像装置、该摄像装置的图像处理方法及程序
CN102783135A (zh) 利用低分辨率图像提供高分辨率图像的方法和装置
JP2004343519A (ja) 撮像装置および画像処理装置
US20020105589A1 (en) System and method for lens filter emulation in digital photography
CN105432068A (zh) 摄像装置、摄像方法及图像处理装置
CN107852456A (zh) 图像处理装置、摄像装置、图像处理方法及程序
JP5514042B2 (ja) 撮像モジュール、画像信号処理方法および撮像装置
US10326947B2 (en) Image processing device, imaging device, image processing method, and program
JP5010909B2 (ja) 撮像装置および画像データ補正方法
JP5464982B2 (ja) 撮像装置および画像処理方法
JP5159715B2 (ja) 画像処理装置
US10395347B2 (en) Image processing device, imaging device, image processing method, and image processing program
CN104010134B (zh) 用于形成具有宽动态范围的***和方法
JPWO2020017638A1 (ja) 画像生成装置及び撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant