CN117178290A - 图像处理装置、摄像***及估计复原图像的误差的方法 - Google Patents

图像处理装置、摄像***及估计复原图像的误差的方法 Download PDF

Info

Publication number
CN117178290A
CN117178290A CN202280027332.1A CN202280027332A CN117178290A CN 117178290 A CN117178290 A CN 117178290A CN 202280027332 A CN202280027332 A CN 202280027332A CN 117178290 A CN117178290 A CN 117178290A
Authority
CN
China
Prior art keywords
image
error
restored
processing apparatus
processing circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280027332.1A
Other languages
English (en)
Inventor
八子基树
清原孝行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN117178290A publication Critical patent/CN117178290A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J2003/2866—Markers; Calibrating of scan
    • G01J2003/2873—Storing reference spectrum

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

图像处理装置具备：存储装置，存储表示编码屏蔽的光透射特性的编码信息，该编码屏蔽包括以2维排列且光透射特性不同的多个滤光器；以及信号处理电路，基于通过使用所述编码屏蔽进行摄像而生成的压缩图像以及所述编码信息生成复原图像，估计所述复原图像的误差，并输出表示所述误差的信号。

Description

图像处理装置、摄像***及估计复原图像的误差的方法
技术领域
本公开涉及图像处理装置、摄像***及估计复原图像的误差的方法。
背景技术
压缩感知是如下技术：通过假定为观测对象的数据分布在某空间(例如频率空间)中是稀疏的(sparse)，从而复原比观测到的数据多的数据。压缩感知例如可以适用于根据少量的观测数据复原包括更多的信息的图像的摄像装置。在将压缩感知适用于摄像装置的情况下，可以使用具有在空间上或者波长上对光的像进行编码的功能的滤光器。摄像装置经由滤光器对被摄体进行摄像，并通过运算来生成复原图像。由此，例如能够得到提高图像的分辨率、多波长化、缩短摄像时间或者提高灵敏度等各种效果。
专利文献1公开了将压缩感知技术适用于取得各自为窄带的多个波带的图像的高光谱相机的例子。根据专利文献1所公开的技术，能够实现生成高分辨率而且多波长的图像的高光谱相机。
专利文献2公开了使用压缩感知技术根据较少的观测信息生成高分辨率的黑白图像的超分辨率的方法。
专利文献3公开了通过对取得的图像适用卷积神经网络(convolutional neuralnetwork：CNN)来生成分辨率比取得的图像高的图像的方法。
在先技术文献
专利文献
专利文献1：美国专利第9599511号说明书
专利文献2：日本特许第6672070号
专利文献3：美国专利申请公布第2019/0340497号说明书
发明内容
本发明所要解决的课题
本公开提供用于提高通过假定了稀疏性的复原处理而生成的图像以及基于该图像的分析结果的可靠性的技术。
用于解决课题的手段
本公开的一个方式所涉及的图像处理装置具备：存储装置，存储表示编码屏蔽(mask、掩膜)的光透射特性的编码信息，该编码屏蔽包括以2维排列且光透射特性不同的多个滤光器；以及信号处理电路，基于通过使用所述编码屏蔽进行摄像而生成的压缩图像以及所述编码信息生成复原图像，估计所述复原图像的误差，并输出表示所述误差的信号。
本公开的概括性或者具体性的方式也可以通过***、装置、方法、集成电路、计算机程序或者计算机可读取的记录盘等记录介质实现，也可以通过***、装置、方法、集成电路、计算机程序及记录介质的任意组合实现。计算机可读取的记录介质例如可以包括CD-ROM(紧凑盘只读存储器(Compact Disc-Read Only Memory))等非易失性的记录介质。装置也可以由1个以上的装置构成。在装置由2个以上的装置构成的情况下，该2个以上的装置既可以配置在1个设备内，也可以分开配置在分离的2个以上的设备内。在本说明书及权利要求书中，“装置”不仅可以指1个装置，也可以指由多个装置构成的***。
发明效果
根据本公开的一个方式，能够提高通过假定了稀疏性的复原处理而生成的图像以及基于该图像的分析结果的可靠性。
附图说明
图1A是示意性地表示摄像***的构成例的图。
图1B是示意性地表示摄像***的其他构成例的图。
图1C是示意性地表示摄像***的再其他的构成例的图。
图1D是示意性地表示摄像***的再其他的构成例的图。
图2A是示意性地表示滤光器阵列的例子的图。
图2B是表示对象波段所包含的多个波带W1、W 2、···、W N各自的光的透射率的空间分布的一例的图。
图2C是表示图2A所示的滤光器阵列所包含的区域A1的分光透射率的例子的图。
图2D是表示图2A所示的滤光器阵列所包含的区域A1的分光透射率的例子的图。
图3A是用于说明对象波段W与其包含的多个波带W1、W 2、···、W N之间的关系的例子的图。
图3B是用于说明对象波段W与其包含的多个波带W1、W 2、···、W N之间的关系的其他例的图。
图4A是用于说明滤光器阵列的某区域中的分光透射率的特性的图。
图4B是表示按每个波带W1、W 2、···、W N对图4A所示的分光透射率进行平均化而得到的结果的图。
图5是示意性地表示检查***的构成例的图。
图6是表示生成每个波带的复原图像并估计其误差的图像处理装置的构成例的图。
图7是表示信号处理电路的动作例的流程图。
图8是表示关于不同的3个种类的被摄体的评价函数的值与复原误差的关系的例子的图。
图9是表示估计复原误差的图像处理装置的其他构成例的框图。
图10是表示被摄影的场景的一例的图。
图11是表示被摄影的场景的其他例的图。
图12是表示被摄影的场景的再其他例的图。
图13是表示被摄影的场景的再其他例的图。
图14是表示具有在复原误差超过规定的阈值的情况下显示警告的功能的用户界面(UI)的例子的图。
图15是表示显示警告的***的构成例的框图。
图16是表示图14的例中的信号处理电路的动作的流程图。
图17是表示将估计的误差作为数值显示的UI的例子的图。
图18是表示将估计的误差以重叠于谱的形式显示的UI的例子的图。
图19是表示具有基于复原误差的历时变化预测复原误差超过阈值的时期的功能的UI的例子的图。
图20是表示具有基于复原误差的历时变化预测复原误差超过阈值的时期的功能的UI的其他例的图。
图21是表示基于复原误差的历时变化预测复原误差超过阈值的时期的图像处理装置200的构成的框图。
图22是表示复原误差的日志信息例的图。
具体实施方式
以下说明的实施方式均表示概括性或者具体性的例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置、位置及连接方式、步骤、步骤的顺序、以及显示画面的布局等是一例，其主旨不在于限定本公开的技术。以下的实施方式中的构成要素之中的未记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。各图是示意图，不一定是严密的图示。进而，在各图中，针对在实质上相同或者相似的构成要素赋予相同的标记。有时省略或者简化重复的说明。
在本公开中，电路、单元、装置、部件或者部的全部或者一部分、或者框图中的功能模块的全部或者一部分，例如能够由半导体装置、半导体集成电路(IC)或者包含LSI(largescale integration：大规模集成电路)的1个或者多个电子电路执行。LSI或者IC既可以被集成于1个芯片，也可以组合多个芯片而构成。例如，存储元件以外的功能模块也可以被集成于1个芯片。在此称为LSI或者IC，但根据集成的程度而叫法改变，也可以是被称为***LSI、VLSI(very large scale integration：超大规模集成电路)或ULSI(ultra largescale integration：特大规模集成电路)的电路。在LSI的制造后被编程的现场可编程逻辑门阵列(FPGA、Field Programmable Gate Array)或者能够重构LSI内部的接合关系或者设置LSI内部的电路划分的可重构逻辑器件(reconfigurable logic device)也能够以相同的目的使用。
进而，电路、单元、装置、部件或者部的全部或者一部分的功能或者动作，也能够通过软件处理来执行。在该情况下，软件被记录于1个或者多个ROM、光盘、硬盘驱动器等非易失性记录介质，在软件由处理装置(processor)执行时，由该软件确定的功能由处理装置及周边装置执行。***或者装置也可以具备记录了软件的1个或者多个非易失性记录介质、处理装置、以及所需的硬件设备例如接口。
(作为本公开的基础的知识)
在说明本公开的实施方式之前，先说明作为本公开所要解决的课题的在基于稀疏性的图像复原中产生的误差。
稀疏性是对观测对象赋予特征的要素在某空间(例如频率空间)中稀疏(sparse)地存在的性质。稀疏性在自然界中广泛出现。通过利用稀疏性，能够有效地观测所需的信息。利用稀疏性的传感(感知)技术被称为压缩感知技术。通过利用压缩感知技术，能够构筑高效的设备及***。
作为压缩感知技术的具体的应用例，提出了如专利文献1所公开的提高波长分辨率的高光谱相机、以及如专利文献2所公开的能够提高分辨率(即超分辨率)的摄像装置等。
利用压缩感知的摄像装置例如具备关于空间以及/或者波长具有随机的光透射特性的滤光器。以下，有时将这种滤光器称为“编码屏蔽”。编码屏蔽被配置在向图像传感器入射的光的光路上，使从被摄体入射的光以根据区域而不同的光透射特性透射。将基于编码屏蔽的该过程称为“编码”。通过编码屏蔽而编码的光的像被图像传感器摄像。以下将通过使用编码屏蔽进行摄像而生成的图像称为“压缩图像”。表示编码屏蔽的光透射特性的信息(以下称为“屏蔽信息”)被预先记录于存储装置。摄像装置的处理装置基于压缩图像和屏蔽信息进行复原处理。通过复原处理，生成具有比压缩图像多的信息(例如分辨率更高的图像信息或者波长更多的图像信息)的复原图像。屏蔽信息例如可以是表示编码屏蔽的透射谱(也称为“分光透射率”)的空间分布的信息。通过基于这样的屏蔽信息的复原处理，能够根据1个压缩图像重构多个波带各自的图像。
复原处理包括假定了观察对象的稀疏性的估计运算。该估计运算有时被称为“稀疏重构”。由于假定了稀疏性，与观察对象的非稀疏成分相应地产生估计误差。在稀疏重构中进行的运算例如可以是如专利文献1所公开的通过引入离散余弦变换(DCT)、小波变换、傅立叶变换或者总变分(TV)等正则化项使评价函数最小化而进行的数据的估计运算。或者，可以进行如专利文献3所公开的使用卷积神经网络(CNN)的运算。专利文献3虽然没有明确公开基于稀疏性的函数，但公开了利用压缩感知的稀疏性进行运算。
在进行运算以构成比观测的信息量多的数据的情况下，无论使用哪种运算方法，都是求解欠定***(即变量比方程式的数量少的***)的方程式，因此产生估计误差。所产生的估计误差造成输出与表现实际的观测对象的图像不同的图像。结果，输出图像的可靠性受损，在使用输出图像进行图像分析的情况下分析结果的可靠性也受损。
本发明人们基于上述的考察，想到了以下说明的本公开的实施方式的构成。以下，说明本公开的实施方式的概要。
本公开的一个实施方式所涉及的图像处理装置具备：存储装置，存储表示编码屏蔽的光透射特性的编码信息，该编码屏蔽包括以2维排列且光透射特性不同的多个滤光器；以及信号处理电路，基于通过使用所述编码屏蔽进行摄像而生成的压缩图像以及所述编码信息生成复原图像，估计所述复原图像的误差，并输出表示所述误差的信号。
根据上述的构成，能够输出复原图像的误差。例如，能够将表示复原图像的误差的图像向显示装置输出。因此，用户能够容易地掌握是否生成了准确的复原图像。在生成了误差大的复原图像的情况下，容易进行重新复原等应对。结果，能够提高复原图像以及基于复原图像的分析结果的可靠性。
在某实施方式中，所述信号处理电路基于所述压缩图像、所述复原图像及所述编码信息，估计所述误差。例如，所述信号处理电路也可以根据基于所述压缩图像、所述复原图像以及所述编码信息的评价函数的值，估计所述误差。关于评价函数的例子后述。
所述存储装置也可以还存储表示参照被摄体的参照图像。所述压缩图像可以通过使用所述编码屏蔽对包括所述参照被摄体和作为复原对象的对象被摄体的场景进行摄像而生成。所述信号处理电路也可以基于所述参照图像与所述复原图像中的表示所述参照被摄体的区域的比较，估计所述误差。
所述存储装置也可以还存储表示参照被摄体的谱的参照信息。所述压缩图像可以通过使用所述编码屏蔽对包括所述参照被摄体和作为复原对象的对象被摄体的场景进行摄像而生成。所述信号处理电路也可以基于所述复原图像中的相当于所述参照被摄体的区域的谱与所述参照信息所表示的所述谱之差，估计所述误差。
所述存储装置也可以还存储表示参照被摄体的空间频率的参照信息。所述压缩图像可以通过使用所述编码屏蔽对包括所述参照被摄体和作为复原对象的对象被摄体的场景进行摄像而生成。所述信号处理电路也可以基于所述复原图像中的相当于所述参照被摄体的区域的空间频率与所述参照信息所表示的所述空间频率之差，估计所述误差。
所述参照信息可以基于通过使用所述编码屏蔽对包括所述参照被摄体的场景进行摄像而得到的图像而生成。参照信息既可以在制造时被记录于存储装置，也可以通过用户进行对参照被摄体进行摄像的操作而被记录于存储装置。
所述信号处理电路也可以在所述误差的大小超过阈值的情况下输出警告。警告例如可以是使显示装置、声音输出装置或者光源发出基于图像、声音或者光的警告的信号。通过输出警告，能够向用户通知复原误差大。
所述信号处理电路也可以记录所估计的所述误差，基于所述误差的历时变化，预测所述误差超过阈值的时期，并输出表示所预测的所述时期的信号。该构成在产品的检查等针对同种对象物反复生成复原图像的情况下是有效的。通过在每次进行复原处理时记录误差，能够得到误差的历时变化的信息。基于误差的历时变化，例如能够估计摄像装置的劣化，能够如上述那样预测误差超过阈值的时期。
所述多个滤光器也可以具有相互不同的分光透射率。所述复原图像也可以包括多个波带各自的图像信息。通过这样的构成，能够根据压缩图像复原多个(例如4个以上)的波带各自的图像信息。
所述信号处理电路也可以使显示装置以能够区别的方式显示所述复原图像中的所述误差与像素值的空间性的偏差。由此，用户能够容易地掌握复原图像的误差与复原图像的像素值的空间性的偏差。
本公开的其他实施方式所涉及的摄像***具备本公开的实施方式所涉及的图像处理装置、所述编码屏蔽和图像传感器。这样的摄像***能够通过使用编码屏蔽进行摄像来生成压缩图像，基于压缩图像及编码信息生成复原图像，并估计复原图像的误差。
本公开的再其他实施方式所涉及的方法是由处理器执行的方法。所述方法包括：取得表示编码屏蔽的光透射特性的编码信息，该编码屏蔽包括以2维排列且光透射特性不同的多个滤光器；取得通过使用所述编码屏蔽进行摄像而生成的压缩图像；基于所述编码信息生成复原图像；估计所述复原图像的误差；以及输出表示所述误差的信号。
本公开的再其他实施方式所涉及的计算机程序被存放于能够由计算机读取的非易失性的存储介质，由处理器执行。所述计算机程序使所述处理器执行：取得表示编码屏蔽的光透射特性的编码信息，该编码屏蔽包括以2维排列且光透射特性不同的多个滤光器；取得通过使用所述编码屏蔽进行摄像而生成的压缩图像；基于所述编码信息生成复原图像；估计所述复原图像的误差；以及输出表示所述误差的信号。
以下，更具体地说明本公开的例示性的实施方式。
(实施方式)
首先，说明在本公开的例示性的实施方式中使用的摄像***的构成例。
＜1.摄像***＞
图1A是示意性地表示摄像***的构成例的图。该***具备摄像装置100和图像处理装置200。摄像装置100具备与专利文献1中公开的摄像装置同样的构成。摄像装置100具备光学***140、滤光器阵列110和图像传感器160。光学***140及滤光器阵列110被配置在从作为被摄体的对象物70入射的光的光路上。图1A的例中的滤光器阵列110被配置在光学***140与图像传感器160之间。
在图1A中，例示了苹果作为对象物70的一例。对象物70不限于苹果，可以是任意的物体。图像传感器160生成将多个波带的信息压缩为2维的黑白图像而成的压缩图像10的数据。图像处理装置200基于图像传感器160所生成的压缩图像10的数据，生成关于规定的对象波段所包含的多个波带中的各个波带的图像数据。有时将该生成的多个波带的图像数据称为“高光谱(HS)数据立方体”或者“高光谱图像数据”。在此，将对象波段所包含的波带的数量设为N(N为4以上的整数)。在以下的说明中，有时将生成的多个波带的图像数据称为复原图像20W 1、20W 2、···、20W N，将它们总称为“高光谱图像20”或者“高光谱数据立方体20”。在本说明书中，有时将表示图像的数据或者信号、即表现各像素的像素值的数据或者信号的集合简称为“图像”。
本实施方式中的滤光器阵列110是以行及列状排列的具有透光性的多个滤光器的阵列。多个滤光器包括分光透射率即光透射率的波长依赖性相互不同的多个种类的滤光器。滤光器阵列110按每个波长对入射光的强度进行调制并输出。有时将通过滤光器阵列110进行的该过程称为“编码”，将滤光器阵列110称为“编码元件”或者“编码屏蔽”。
在图1A所示的例中，滤光器阵列110被配置在图像传感器160的附近或者紧上方(正上)。在此，“附近”意味着：以来自光学***140的光的像在某种程度上以鲜明的状态被形成在滤光器阵列110的面上的程度接近。“紧上方(正上)”意味着两者以几乎没有间隙的程度接近。滤光器阵列110及图像传感器160也可以一体化。
光学***140包括至少1个透镜。在图1A中将光学***140作为1个透镜表示，但光学***140也可以是多个透镜的组合。光学***140经由滤光器阵列110使像形成在图像传感器160的摄像面上。
滤光器阵列110也可以与图像传感器160相离配置。图1B至图1D是表示滤光器阵列110与图像传感器160相离配置的摄像装置100的构成例的图。在图1B的例中，滤光器阵列110被配置在光学***140与图像传感器160之间且与图像传感器160相离的位置。在图1C的例中，滤光器阵列110被配置在对象物70与光学***140之间。在图1D的例中，摄像装置100具备2个光学***140A及140B，在它们之间配置有滤光器阵列110。也可以像这些例子那样在滤光器阵列110与图像传感器160之间配置有包括1个以上的透镜的光学***。
图像传感器160是具有以2维排列的多个光检测元件(在本说明书中也称为“像素”)的黑白类型的光检测装置。图像传感器160例如可以是CCD(电荷耦合器件(Charge-Coupled Device))、CMOS(互补金属氧化物半导体(Complementary Metal OxideSemiconductor))传感器或者红外线阵列传感器。光检测元件例如包括光电二极管。图像传感器160不一定必须是黑白类型的传感器。例如也可以使用具有R/G/B、R/G/B/IR或者R/G/B/W的滤光器的彩色类型的传感器。通过使用彩色类型的传感器，能够增加与波长相关的信息量，能够提高高光谱图像20的重构精度。作为取得对象的波长范围可以任意地决定，不限于可见光的波长范围，也可以是紫外、近红外、中红外或者远红外的波长范围。
图像处理装置200可以是具备1个以上的处理器、以及存储器等1个以上的存储介质的计算机。图像处理装置200基于由图像传感器160取得的压缩图像10，生成多个复原图像20W 1、20W 2、···20W N的数据。
图2A是示意性地表示滤光器阵列110的例子的图。滤光器阵列110具有以2维排列的多个区域。在本说明书中，有时将该区域称为“单元”。在各区域中，配置有具有个别设定的分光透射率的滤光器。在将入射光的波长设为λ时，分光透射率由函数T(λ)表现。分光透射率T(λ)可以取0以上且1以下的值。
在图2A所示的例中，滤光器阵列110具有以6行8列排列的48个矩形区域。这不过是例示，在实际用途中，可以设置比其更多的区域。其数量例如也可以与图像传感器160的像素数量为相同程度。滤光器阵列110所包括的滤光器数量例如在数十至数千万的范围中根据用途决定。
图2B是表示对象波段所包含的多个波带W1、W 2、···、W N各自的光的透射率的空间分布的一例的图。在图2B所示的例中，各区域的浓淡的差异表现了透射率的差异。越淡的区域则透射率越高，越浓的区域则透射率越低。如图2B所示，光透射率的空间分布根据波带而不同。
图2C及图2D分别是表示图2A所示的滤光器阵列110所包含的区域A1及区域A2的分光透射率的例子的图。区域A1的分光透射率与区域A2的分光透射率相互不同。像这样，滤光器阵列110的分光透射率根据区域而不同。但是，并不一定需要全部区域的分光透射率都不同。在滤光器阵列110中，多个区域中的至少一部分区域的分光透射率相互不同。滤光器阵列110包括分光透射率相互不同的2个以上的滤光器。在某例中，滤光器阵列110所包含的多个区域的分光透射率的模式的数量，可以与对象波段所包含的波带的数量N相同，或者为其以上。滤光器阵列110也可以被设计为半数以上的区域的分光透射率不同。
图3A及图3B是用于说明对象波段W与其包含的多个波带W1、W 2、···、W N之间的关系的图。对象波段W可以根据用途而设定为各种范围。对象波段W例如可以是大致400nm至大致700nm的可见光的波段、大致700nm至大致2500nm的近红外线的波段、或者大致10nm至大致400nm的近紫外线的波段。或者，对象波段W也可以是中红外或者远红外等波段。像这样，使用的波段不限于可见光域。在本说明书中，不限于可见光，将包括红外线及紫外线的辐射整体都称为“光”。
在图3A所示的例中，将N设为4以上的任意的整数，将对象波段W被N等分而成的各个波段设为波带W1、W 2、···、W N。但是不限定于这样的例子。对象波段W所包含的多个波带也可以任意地设定。例如，也可以使带宽根据波带而不均。也可以在相邻的波带之间具有间隙或者重叠。在图3B所示的例中，带宽根据波带而不同，而且在相邻的2个波带之间具有间隙。像这样，多个波带的决定方法是任意的。
图4A是用于说明滤光器阵列110的某区域中的分光透射率的特性的图。在图4A所示的例中，分光透射率关于对象波段W内的波长，具有多个极大值P1至P5、以及多个极小值。在图4A所示的例中，对象波段W内的光透射率以最大值为1且最小值为0的方式被归一化。在图4A所示的例中，在波带W 2及波带W N-1等波段中，分光透射率具有极大值。像这样，各区域的分光透射率可以被设计为在多个波带W1至W N之中的至少2个的多个波段中具有极大值。在图4A的例中，极大值P1、P3、P4及P5为0.5以上。
像这样，各区域的光透射率根据波长而不同。因此，滤光器阵列110使入射的光之中的某波段的成分较多地透射，而使其他波段的成分不那么多地透射。例如可以是，N个波带之中的k个波带的光的透射率比0.5大，剩余的N-k个波段的光的透射率小于0.5。k是满足2≤k＜N的整数。假如在入射光是均等地包含全部可见光的波长成分的白色光的情况下，滤光器阵列110按每个区域将入射光调制为关于波长具有离散的多个强度的峰的光，并将这些多波长的光重叠并输出。
图4B是作为一例表示按每个波带W1、W 2、···、W N对图4A所示的分光透射率进行平均化而得到的结果的图。通过按每个波带对分光透射率T(λ)进行积分并除以该波带的带宽，能够得到平均化的透射率。在本说明书中，将像这样按每个波带进行了平均化的透射率的值设为该波带中的透射率。在该例中，在取极大值P1、P3及P5的3个波段中，透射率突出地变高。特别是，在取极大值P3及P5的2个波段中，透射率超过0.8。
在图2A至图2D所示的例中，设想为各区域的透射率可以取0以上且1以下的任意值的灰阶的透射率分布。但是，不一定需要设为灰阶的透射率分布。例如，也可以采用各区域的透射率可以取大致0或者大致1中的某一个值的二进制标度的透射率分布。在二进制标度的透射率分布中，各区域使对象波段所包含的多个波段之中的至少2个波段的光的大部分透射，而使剩余的波段的光的大部分不透射。在此“大部分”是指大致80％以上。
也可以将全部单元之中的一部分、例如一半的单元置换为透明区域。这样的透明区域使对象波段W所包含的全部波带W1至W N的光以相同程度的高透射率、例如80％以上的透射率透射。在这样的构成中，多个透明区域例如能够配置为棋盘(checkerboard)状。即，在滤光器阵列110中的多个区域的2个排列方向上，光透射率根据波长而不同的区域与透明区域可以交替地排列。
基于设计数据或者实测校准而事先取得表示这样的滤光器阵列110的分光透射率的空间分布的数据，并存放于图像处理装置200所具备的存储介质。该数据在后述的运算处理中被利用。
滤光器阵列110例如可以通过使用多层膜、有机材料、衍射栅格构造或者包含金属的微细构造来构成。在使用多层膜的情况下，例如可以使用介电体多层膜或者包含金属层的多层膜。在该情况下，形成为各多层膜的厚度、材料及层叠顺序中的至少1个按每个单元而不同。由此，能够实现根据单元而不同的分光特性。通过使用多层膜，能够实现分光透射率的尖锐的升高及降低。不限于实现分光透射率中的尖锐的升高及降低，也可以为了实现多种多样的分光透射率而使用多层膜。通过使所含有的颜料或者染料根据单元而不同，或者使不同种类的材料层叠，可以实现使用有机材料的构成。通过按每个单元设置不同的衍射间距或者深度的衍射构造，可以实现使用衍射栅格构造的构成。在使用包含金属的微细构造的情况下，可以利用基于等离激元效应的分光来制作。
接下来，说明图像处理装置200所进行的信号处理的例子。图像处理装置200基于从图像传感器160输出的压缩图像10、以及滤光器阵列110的每个波长的透射率的空间分布特性，重构多波长的高光谱图像20。在此，多波长意味着例如比由通常的彩色相机取得的RGB这3色的波段更多的波段。该波段的数量例如可以是4至100左右的数量。将该波段的数量称为“带数”。根据用途，带数也可以超过100。
希望求出的数据是高光谱图像20的数据，将该数据设为f。如果将带数设为N，则f是将各带的图像数据f 1、f 2、···、f N综合而得到的数据。在此，如图3A所示，将图像的横向设为x方向，将图像的纵向设为y方向。如果将想要求出的图像数据的x方向的像素数设为m，且将y方向的像素数设为n，则图像数据f 1、f 2、···、f N各自是n×m像素的2维数据。因此，数据f是元素数n×m×N的3维数据。将该三维数据称为“高光谱图像数据”或者“高光谱数据立方体”。另一方面，由滤光器阵列110编码及复用而取得的压缩图像10的数据g的元素数是n×m。数据g能够通过下式(1)表现。
[数1]
在此，f 1、f 2、···、f N各自是具有n×m个元素的数据。因此，右边的矢量严密地说是n×m×N行1列的1维矢量。矢量g被变换为n×m行1列的1维矢量来表现并计算。矩阵H表现按每个波带以不同的编码信息(以下也称为“屏蔽信息”)对矢量f的各成分f 1、f2、···、f N进行编码及强度调制、并将其相加的变换。因此，H是n×m行n×m×N列的矩阵。
如果给出了矢量g和矩阵H，则通过对式(1)的反演问题求解，应该能够计算f。但是，要求出的数据f的元素数n×m×N比取得数据g的元素数n×m更多，因此该问题是不适定问题，无法直接求解。于是，图像处理装置200利用数据f所包括的图像的冗余性，利用压缩感知的方法求解。具体而言，通过对下式(2)进行求解，估计要求出的数据f。
[数2]
在此，f’表现估计出的f的数据。上式的括号内的第1项表现估计结果Hf与取得数据g的偏差量、即所谓残差项。在此将平方和设为残差项，但也可以将绝对值或者平方和平方根等设为残差项。括号内的第2项是正则化项或者稳定化项。式(2)意味着求出使第1项与第2项之和最小化的f。将式(2)中的括号内的函数称为评价函数。图像处理装置200通过回归的迭代运算使解收敛，能够计算使评价函数最小的f作为最终的解f’。
式(2)的括号内的第1项意味着求出取得数据g与通过矩阵H对估计过程中的f进行变换而得到的Hf之差的平方和的运算。第2项的Φ(f)是f的正则化中的制约条件，是反映了估计数据的稀疏信息的函数。该函数具有使估计数据平滑或者稳定的效果。正则化项例如可以通过f的离散余弦变换(DCT)、小波变换、傅立叶变换或者总变分(TV)等表现。例如，在使用总变分的情况下，能够取得抑制了观测数据g的噪声影响的稳定的推测数据。各个正则化项的空间中的对象物70的稀疏性根据对象物70的纹理而不同。也可以选择使得对象物70的纹理在正则化项的空间中变得更稀疏的正则化项。或者，也可以在运算中包含多个正则化项。τ是权重系数。权重系数τ越大，则冗余的数据的削减量越多，压缩的比例越高。权重系数τ越小，则向解的收敛性越弱。权重系数τ被设定为使得f以某种程度收敛而且不过度压缩的适度的值。
此外，在图1B及图1C的构成中，由滤光器阵列110编码的像在图像传感器160的摄像面上以模糊的状态被取得。因此，通过预先保持该模糊信息，并使该模糊信息反映至上述的矩阵H，能够重构高光谱图像20。在此，模糊信息由点扩散函数(Point Spread Function：PSF)表现。PSF是规定点像向周边像素的扩散程度的函数。例如，在图像上相当于1个像素的点像由于模糊而扩散到该像素周围的k×k像素的区域的情况下，PSF可以作为表示对该区域内的各像素的像素值造成的影响的系数群即矩阵来规定。通过使基于PSF的编码模式的模糊的影响反映至矩阵H，能够重构高光谱图像20。滤光器阵列110被配置的位置是任意的，可以选择使得滤光器阵列110的编码模式不会过度扩散而消失的位置。
通过以上的处理，能够根据由图像传感器160取得的压缩图像10复原高光谱图像20。
＜2.检查***＞
接下来，说明利用上述摄像***的检查***的例子。
图5是示意性地表示检查***1000的构成例的图。该检查***1000具备摄像装置100、图像处理装置200、显示装置300和传送机400。图5所示的例中的显示装置300是显示器。也可以替代显示器，或者除了显示器之外，设置有扬声器或者灯等装置。传送机400是传送带。也可以除了传送带之外，还设置有将存在异常的对象物70去除的拣选装置。
作为检查对象的对象物70被载放在传送机400的带上并搬运。对象物70例如是工业产品或者食品等任意的物品。检查***1000取得对象物70的高光谱图像，并基于该图像信息判定对象物70的正常性。例如，检查***1000检测是否有混入对象物70的异物。检测的异物例如可以是特定的金属、塑料、虫、脏物或者毛发等任意的物体。异物不限于这些物体，也可以是对象物70中品质发生了劣化的部位。例如在对象物70是食品的情况下，也可以将食品的腐烂的部位作为异物检测。检查***1000在检测出异物的情况下，能够向显示装置300或者扬声器等输出装置输出表示检测出异物的信息，或者由拣选装置将包含异物的对象物70去除。
摄像装置100是能够进行上述的高光谱摄像的相机。摄像装置100对传送机400上连续到来的对象物70进行摄影，从而生成上述的压缩图像。图像处理装置200例如可以是个人计算机、服务器计算机或者笔记本计算机等任意的计算机。图像处理装置200通过基于由摄像装置100生成的压缩图像进行基于上式(2)的复原处理，能够生成关于多个波带中的各个波带的复原图像。图像处理装置200能够基于这些复原图像，判定对象物70的正常性(例如有无异物或者异常)，并向显示装置300输出判定结果。
此外，图5所示的检查***1000的构成不过是一例。摄像***不限于用于检查，可以用于取得对象物的谱信息的任意用途。摄像***例如也可以被安装于智能电话或者平板计算机等便携终端。也可以将智能电话或者平板计算机所内置的相机及处理器，与具备作为编码屏蔽发挥功能的滤光器阵列的附件组合，来实现与上述的摄像***同样的功能。
＜3.复原误差的估计＞
接下来，说明用于估计复原图像的误差的构成及动作的例子。此外，以下说明的误差的估计方法不过是一例，能够进行各种变形。
＜3-1.基于评价函数的误差估计＞
图6是表示生成每个波带的复原图像并估计其误差的图像处理装置200的构成例的图。图像处理装置200与摄像装置100及显示装置300连接而使用。图像处理装置200具备信号处理电路210和存储装置250。信号处理电路210包括图像复原模组212和误差估计模组214。图像复原模组212进行基于由摄像装置100生成的压缩图像的运算(例如上式(2)所表示的运算)，从而生成复原图像。误差估计模组214估计复原图像的误差，并输出表示估计结果的信号。表示估计结果的信号被送往显示装置300。显示装置300显示表示被估计的误差的信息。
信号处理电路210包括1个以上的处理器。信号处理电路210也可以分别包括作为图像复原模组212发挥功能的处理器、以及作为误差估计模组214发挥功能的处理器。或者，信号处理电路210也可以具备具有图像复原模组212及误差估计模组214双方的功能的1个处理器。信号处理电路210也可以通过执行存储装置250中存放的计算机程序来实现图像复原模组212及误差估计模组214的功能。
存储装置250包括1个以上的存储介质。各存储介质例如可以是半导体存储器、磁性存储介质或者光学存储介质等任意的存储介质。存储装置250预先存储了表示摄像装置100所具备的滤光器阵列110的光透射特性的复原表。复原表是表示作为编码屏蔽发挥功能的滤光器阵列110的光透射特性的编码信息的一例。复原表例如可以是表示式(2)中的矩阵H的表形式的数据。存储装置250也存储由图像复原模组212生成的复原图像的数据。在图6中虽未图示，存储装置250也存储由摄像装置100生成的压缩图像的数据、以及由信号处理电路210执行的计算机程序。这些数据也可以被分散地存储于多个存储介质。
图7是表示信号处理电路210的动作例的流程图。在该例中，首先，信号处理电路210中的图像复原模组212取得由摄像装置100生成的压缩图像(步骤S110)。信号处理电路210既可以从摄像装置100直接取得压缩图像，也可以经由存储装置250取得压缩图像。接下来，图像复原模组212执行基于压缩图像以及被存放于存储装置250的复原表的复原处理，并生成复原图像(步骤S120)。复原处理例如可以是包括上式(2)所示的运算的处理。图像复原模组212通过进行回归的迭代运算，能够生成使式(2)中的括号内的评价函数最小的f，作为表现复原图像的矢量。接下来，信号处理电路210中的误差估计模组214估计复原图像的误差(步骤S130)，并输出表示所估计的误差(以下称为“复原误差”)的信号(步骤S140)。此时，可以还输出表示复原图像的信号。误差估计模组214基于压缩图像、复原图像及复原表(即编码信息)，估计复原误差。例如，能够根据基于压缩图像、复原图像及复原表计算的评价函数的值，估计复原误差。评价函数例如可以是上式(2)中的括号内的函数。信号处理电路210能够基于表示复原图像的矢量f的解收敛时的评价函数的值、即评价函数成为最小时的评价函数的值，估计复原误差。评价函数不限于上式(2)中的括号内的函数，可以根据***的构成而不同。也可以针对如专利文献2所示的***那样基于将多个不同摄像条件下取得的图像合成而得到的图像复原高分辨率的图像的***，适用本实施方式的技术。在该情况下，可以使用专利文献2的式(9)中的括号内的函数作为评价函数。
在实际上对被摄体进行摄影的情况下，在现实中难以定义“正确答案”，因此无法准确地求出表示相对于正确答案的背离程度的误差。但是，能够在某种程度上推测所使用的计算方法、算法及评价函数与复原误差存在怎样的关系。例如，能够在软件上准备理想的摄影图像和正确答案图像，并基于这些图像对评价函数与复原误差的关系进行验证。
通过运算而估计的复原图像与正确答案图像的误差例如可以通过均方误差(MeanSquare Error：MSE)表现。MSE由下式(3)表现。
[数3]
在此，n及m分别表现图像的纵及横的像素数，f i，j表现正确答案图像的i行j列的像素值，I i，j表现被估计的复原图像的i行j列的像素值。各图像例如可以是各像素的值由8比特的数值(0至255)表现的8比特图像。误差不限于由MSE表现，例如也能够由均方根误差(Root MSE(RMSE))、峰值信噪比(Peak-Signal-to-Noise-Ratio(PSNR))、平均绝对误差(Mean Absolute Error(MAE))等其他误差评价指标表现。
在稀疏重构中，能够通过求解如上式(2)或者专利文献2中的式(9)所示的评价函数的最小化问题来复原数据。使用这种方法的理由在于，自然界中存在的被摄体大多具有稀疏性。关于具有稀疏性的被摄体，离散余弦变换(DCT)、小波变换、傅立叶变换或者总变分(TV)等正则化项变小。在利用稀疏性的复原处理中，能够以何种程度准确地求解最小化问题，是决定复原误差的重要因素之一，在最小化问题中使用的评价函数与复原误差之间存在强相关关系。因此，能够基于评价函数的值估计误差。
图8是表示关于不同的3个种类的被摄体的评价函数的值与复原误差的关系的例子的图。在该例中，关于图8所示的3个种类的被摄体，将波带数设为10，进行了上式(2)所示的复原运算。将式(2)的括号内的函数设为评价函数Q，作为正则化项采用了总变分(TV)。图8的曲线图表示了关于各个被摄体的评价函数Q与表现复原图像和正确答案图像的误差的MSE之间的关系。评价函数Q与MSE的关系根据被摄体而不同，但如果在任一个被摄体中Q都唯一决定，则能够唯一决定MSE。
因此，通过预先记录如图8的曲线图所示的函数或者表的数据，能够基于该数据，根据评价函数Q求出MSE等误差。在检查对象的被摄体有多个种类的情况下，可以按设想的每个被摄体，将规定评价函数Q与MSE等复原误差之间的关系的表或者函数等数据预先记录于存储装置250。信号处理电路210能够基于该数据，根据评价函数Q的值求出复原图像的误差。信号处理电路210既可以用MSE等误差评价指标值来表现误差，也可以用A、B、C等记号、“高”、“中”、“低”等显示、或者“好”、“普通”、“差”等用语等的形式来表现误差。
在得到了由摄像装置取得的压缩图像、复原图像、以及表示编码屏蔽的光透射特性的编码信息的情况下，能够进行如上式(2)或者专利文献2中的式(9)所示的具有正则化项的评价函数的计算。另一方面，也能够利用如专利文献3所公开的CNN。在专利文献3中虽未明示评价函数，但能够基于压缩图像、复原图像和编码信息(例如专利文献3中的测量矢量(measurement vector))，定义用于对估计的复原图像的准确性进行评价的评价函数。在复原处理中，能够根据定义的评价函数的值，求出复原图像的误差。
像这样，根据基于通过使用编码屏蔽进行摄像而取得的压缩图像、通过复原处理而估计的复原图像以及表示编码屏蔽的光透射特性的编码信息的评价函数，能够估计复原图像的误差。根据本实施方式，即使在未预先获得被摄体的谱数据或者图像数据的情况下，也能够估计复原处理中产生的误差。
此外，信号处理电路210既可以针对取得的图像的全部区域进行复原图像的估计及误差的估计，也可以针对图像的一部分区域进行复原图像的估计及误差的估计。如上式(2)所示的评价函数关于取得图像或其一部分区域而唯一决定。因此，也可以仅基于取得图像之中的例如与检查对象的被摄体对应的一部分区域来进行复原图像的估计及误差的估计。此外，根据评价函数估计的误差虽然可以具有空间上的信息，但不具有波长的信息。因此，在图像内的某区域(即由多个像素构成的区域)中，针对全部波带估计共通的误差并输出。
＜3-2.基于与已知的透射特性的比较的误差估计＞
图9是表示估计复原误差的图像处理装置200的其他构成例的框图。在该例中，由摄像装置100摄像包括作为复原对象的对象被摄体以及具有已知的反射谱的参照被摄体的场景。存储装置250存储表示参照被摄体的谱的参照信息(在图9中标记为“比较用谱”)。摄像装置100通过使用编码屏蔽对包括对象被摄体和参照被摄体的场景进行摄像来生成压缩图像。信号处理电路210在进行复原处理之后，读出存储装置250中记录的比较用谱，基于复原图像中的相当于参照被摄体的区域的谱与比较用谱之差，估计误差。
图10是表示在图9的例中摄影的场景的一例的图。该例中的对象被摄体是钢笔50，参照被摄体是比色图表中的红区域60R、绿区域60G及蓝区域60B。此外，参照被摄体不限于红区域60R、绿区域60G及蓝区域60B，也可以是任意颜色的区域。作为参照被摄体，既可以指定1个颜色的区域，也可以指定多个颜色的区域。作为参照被摄体使用的1个以上的区域的反射谱的数据被作为比较用谱预先记录于存储装置250。反射谱的数据例如可以是预先设定的对象波段所包含的多个波带各自的值的数据。信号处理电路210从复原图像中提取相当于参照被摄体的区域的数据，并基于提取的数据所表示的各波带的值与预先记录于存储装置250的比较用谱中的对应的波带的值之差，计算误差。例如，能够将在全部波带中对复原图像之中的相当于参照被摄体的区域的数据所表示的各波带的值与预先记录于存储装置250的比较用谱中的对应的波带的值之差的平方进行累计而得到的值作为误差。在如图10所示将多个区域设为参照被摄体的情况下，也可以将按每个区域计算出的误差的值的合计或者平均值作为最终的误差的值。
此外，在上述的例中，作为表示参照被摄体的谱的参照信息，预先记录有比较用谱的数据，但也可以替代于此而记录表示参照被摄体的参照图像。参照图像既可以是具有RGB的颜色信息的彩色图像，也可以是具有4个以上的波带的信息的图像。信号处理电路210能够基于参照图像与复原图像中的表示参照被摄体的区域的比较，估计误差。例如，也可以按参照图像具有信息的每个带，计算参照图像与复原图像中的对应的区域之间的MSE等误差评价指标值，并将它们的合计值作为误差。
参照被摄体不限于比色图表，可以是具有已知谱的任意物体。例如，能够广泛地将具有已知谱的颜色样本、白板、或者使用分光光度计等计测器测定了谱的非透明的物品等用作参照被摄体。被用作参照被摄体的比色图表、颜色样本或者白板等物品，可以与摄像装置100、图像处理装置200、或者由图像处理装置200执行的软件配套销售。也可以在参照被摄体的谱即比较用谱作为在工厂中被校准后的值而存储于存储装置250的状态下，对摄像装置100、图像处理装置200或者图像处理装置200的软件进行销售。或者，也可以在第一次启动时由用户进行测定从而将比较用谱存储于存储装置250。
另外，如图11所示，也可以将背景64作为参照被摄体进行同样的处理。在该情况下，预先对背景64的反射谱进行计测及记录。信号处理电路210在复原处理中使用该背景的谱信息来估计复原图像的误差。
也可以替代谱而使用空间频率已知的参照被摄体来估计误差。在该情况下，存储装置250存储表示参照被摄体的谱的参照信息。信号处理电路210基于复原图像中的相当于参照被摄体的区域的空间频率与参照信息所表示的空间频率之差，估计误差。
图12是表示在基于图像间的空间频率之差估计误差的情况下摄影的场景的一例的图。在该例中，摄像装置100对作为对象被摄体的钢笔50与作为参照被摄体的分辨率图表62同时进行摄像。分辨率图表62的空间频率已知，表示其空间频率的参照信息被预先记录于存储装置250。在该情况下记录的参照信息例如可以包括表示分辨率图表的参照图像的横向及纵向的至少一个方向上的1个以上的空间频率的值。空间频率的值例如可以通过针对参照图像执行快速傅立叶变换等变换处理而取得。信号处理电路210从复原图像提取相当于参照被摄体的区域，并针对提取的区域例如进行快速傅立叶变换等变换处理。由此，能够在复原图像的横向及纵向的至少一个方向上得到1个以上的空间频率的值。信号处理电路210能够基于参照图像中的空间频率的值与复原图像的相当于参照被摄体的区域中的对应的空间频率的值之差，估计误差。此外，信号处理电路210也可以基于关于参照图像的调制传递函数(MTF)的计算值与关于复原图像中的相当于参照被摄体的区域的MTF的计算值之间的比较来估计误差。
图13是表示在基于图像间的空间频率之差估计误差的情况下摄影的场景的其他例的图。在该例中，使用具有已知的空间频率的背景66作为参照被摄体。图13所示的背景66具有在横向上具有一定的空间频率的条纹样式。在该情况下，信号处理电路210基于复原图像中的相当于背景66的区域的横向的空间频率与预先准备的参照图像的横向的空间频率之差，估计复原误差。在该情况下，信号处理电路210也能够基于关于表示已知的背景66的参照图像的MTF或者FFT等的计算值与关于复原图像中的相当于背景66的区域的MTF或者FFT等的计算值之差，估计误差。
在上述的各例中，谱或者空间频率已知的物品或者背景(即参照被摄体)既可以总是被配置或者显示在摄影区域内，也可以每隔一定时间或者仅在需要时配置或者显示。例如，也可以按每1天一次或者1星期一次等仅在进行定期的维护或者校准时，对参照被摄体与对象被摄体同时进行摄影，并对复原误差的产生进行确认。复原误差有时由于摄像装置100的老化或者故障而产生。因此，通过在维护或者校准时进行上述的复原误差的估计处理，能够确认摄像装置100有无劣化或者故障。
＜4.复原误差的显示例＞
接下来说明复原误差的几个显示例。
＜4-1.误差超过阈值的情况下的警告显示＞
图14是表示具有在被估计的复原误差超过规定的阈值的情况下显示警告的功能的用户界面(UI)的例子的图。在图14的例中，在显示装置300的画面左上显示压缩图像，在画面下部显示关于多个波带的各个波带的复原图像(也称为分光图像)、在画面右上显示谱信息。
在该例中，按具有50nm的宽度的较宽的每个带显示复原图像。显示的复原图像的带宽不限定于该例，可以任意地设定。信号处理电路210例如也可以按如5nm那样的较窄的每个带进行复原处理，对连续的多个带的复原图像进行合成来生成1个较宽的带的复原图像并使其显示在显示装置300上。
图14的例中的谱信息表示关于压缩图像内的矩形的指定区域90取得的谱。指定区域90例如可以由用户指定。在图14的例中，指定区域90是包括多个像素的区域，但也可以指定1点。谱信息中的曲线按每个波长表示对指定区域90中的像素值进行平均化后的值。谱信息中的灰色的部分表示指定区域90中的各波长的像素值的最小值至最大值的范围或者标准偏差等、谱的空间性的偏差。空间性的偏差例如可能由于照明的照射方式或者被摄体的形状而产生。在本实施方式中，与谱的空间性的偏差独立地，利用上述的任一方法估计复原误差。信号处理电路210在估计的复原误差超过阈值的情况下，使显示装置300显示如图14所示的警告92，促使用户进行再测定或者中断处理。
图15是表示显示警告的***的构成例的框图。在该例中，存储装置250存储作为复原误差而允许的值的最大值来作为阈值。信号处理电路210参照该阈值，在复原误差比阈值大的情况下使显示装置300显示警告。在如图9的例子那样基于谱的比较来估计误差的情况下，存储装置250也存储比较用谱的数据。另外，在基于空间频率的比较来估计误差的情况下，存储装置250也存储参照被摄体的空间频率的数据。
图16是表示该例中的信号处理电路210的动作的流程图。步骤S110至S130与图7所示的对应的动作相同。在图16的例中，在步骤S130的复原误差估计之后，信号处理电路210判定复原误差是否超过阈值(步骤S210)。在复原误差未超过阈值的情况下，信号处理电路210输出复原图像(步骤S220)。在复原误差超过阈值的情况下，信号处理电路210使显示装置300显示警告(步骤S230)。通过这样的动作，能够在复原误差超过阈值的情况下促使用户进行再测定或者中断处理。
＜4-2.将误差用数值来显示＞
图17使表示将估计的误差作为数值显示的UI的例子。在该例中，信号处理电路210使显示装置300显示表示所估计的复原误差的数值80。在图17的例中，指定区域90中的每个波带的MSE的值的平均值被作为复原误差显示。不限于MSE，也可以用其他误差指标值、或者A、B、C等记号、“高”、“中”、“低”等显示、或者“好”、“普通”、“差”等用语等的形式来表现误差。通过像这样将估计的复原误差显示在画面上，用户能够对显示的复原结果的妥当性进行评价。
＜4-3.将误差重叠于谱来显示＞
图18表示将估计的误差以重叠于谱的形式显示的UI的例子。在该例中，在画面右上的显示谱信息的部分中，用灰色显示指定区域90中的谱的空间性的偏差，用误差条94显示被估计的复原误差。也可以替代包括多个像素的指定区域90，而指定压缩图像中的1点。在该情况下，不显示表示谱的空间性的偏差的灰色的显示。但是，在指定1点的情况下，也可以估计复原误差，并用误差条94等形式进行显示。信号处理电路210对空间性的谱的偏差与由于复原运算而产生的估计误差相互独立地进行计算。关于它们的大小关系，既存在一方比另一方大的情况，也存在按每个波带而大小关系更替的情况。
在该例中，将空间性的谱的偏差与由于复原运算而产生的估计误差分开显示。由此，用户在谱的偏差大的情况下，能够确认造成该偏差的原因是由于照明或测定光学***引起的，还是由于复原处理的误差引起的。
此外，评价函数关于被取得的压缩图像或者压缩图像中的包括多个像素的一部分区域而唯一决定。因此，根据评价函数估计的误差不具有与波长相关的信息。在图18所示的例中，关于全部波带计算共通的误差值，因此显示的误差条94的宽度与带无关而是一定的。
在图18的例中，使用误差条94来显示估计误差，但也可以以其他形式、例如使用半透明的区域的表现等显示估计误差。
＜5.基于复原误差的历时变化预测错误发生时期＞
图19是表示具有基于被估计的复原误差的历时变化预测复原误差超过阈值而被检测为错误的时期的功能的UI的例子的图。在该例中，信号处理电路210将估计的误差记录至存储装置250，基于误差的历时变化，预测误差超过阈值的时期，并输出表示预测的时期的信号。信号处理电路210例如也可以在每次进行复原处理时估计复原误差，并将估计的复原误差与日期时间的信息一起记录至存储装置250。信号处理电路120也可以将例如按每一天等规定的期间对复原误差的值进行平均化而得到的值，与日期的信息一起记录。信号处理电路120也可以基于复原误差的历时的变化的倾向，预测复原误差超过阈值的日期，并使该日期作为错误预测日或者校准推荐日显示在显示装置300上。在图19的例中，显示包括测定日、被作为误差计算的MSE的值以及校准推荐日的信息的表。通过如该例那样将估计的复原误差与测定日或者日期时间建立关联，能够记录误差的日志，并预测误差超过阈值的日期时间。此外，误差的日志及误差超过阈值的预测时期也可以如图20所示以曲线图的形式显示。
图21是表示基于估计的误差的历时变化预测错误发生时期的图像处理装置200的构成的框图。在该例中，信号处理电路210在每次估计误差时，使存储装置250存储误差的日志。误差的日志例如可以如图22所示，以包括日期和估计的误差(例如MSE、RMSE、PSNR等误差指标值)的信息的形式记录。信号处理电路210基于每天记录的误差的历时变化的倾向，预测误差超过阈值的时期，并使显示装置300显示表示预测时期的信息。此外，表示预测时期的信息也可以向用户所使用的便携终端等计算机通知。
此外，如下的情况也包含在本公开中。
(1)如实施方式所记载的那样，压缩图像10的数据g的元素数可以是n×m，根据压缩图像10复原的复原图像的数据f可以是元素数n×m×N。换言之，复原图像可以包括比压缩图像所包括的信号数多的信号数。
(2)由信号处理电路210估计的复原误差也可以与使用正确答案图像计算的误差不同。正确答案图像可以是通过与根据压缩图像10复原的方法不同的方法取得的图像。例如，也可以是由通常的彩色相机取得的图像，另外也可以是通过模拟而生成的图像。
(3)压缩图像及复原图像也可以是利用与使用包括多个滤光器的编码屏蔽进行摄像不同的方法摄像而生成的。
例如，作为摄像装置100的构成，也可以通过向图像传感器160施以加工而使图像传感器的受光特性按每个像素变化，也可以通过使用被施以该加工的图像传感器160进行摄像，来生成压缩图像。即，也可以通过构成为在实质上将滤光器阵列110内置于图像传感器的摄像装置，生成压缩图像。在该情况下，编码信息成为与图像传感器的受光特性对应的信息。
另外，也可以构成为通过向光学***140的至少一部分引入超透镜等光学元件，从而使光学***140的光学特性在空间上而且在波长上变化，并对谱信息进行压缩，也可以通过包括该构成的摄像装置生成压缩图像。在该情况下，编码信息成为与超透镜等光学元件的光学特性对应的信息。像这样，也可以通过使用与使用滤光器阵列110的构成不同的构成的摄像装置100，按每个波长对入射光的强度进行调制，生成压缩图像及复原图像，并估计复原图像的复原误差。
换言之，本公开也包括一种图像处理装置，具备：存储装置，存储与摄像装置的光响应特性对应的编码信息，该摄像装置包括光响应特性相互不同的多个受光区域；以及信号处理电路，基于由所述摄像装置生成的压缩图像以及所述编码信息，生成包括比所述压缩图像所包括的信号数多的信号数的复原图像，估计所述复原图像的误差，并输出表示所述误差的信号。
如上所述，光响应特性既可以对应于图像传感器的受光特性，另外也可以对应于光学元件的光学特性。
工业实用性
本公开的技术例如对于取得多波长或者高分辨率的图像的相机及测定设备是有用的。本公开的技术例如也能够应用于面向生物体/医疗/美容的传感、食品的异物/残留农药检查***、遥感***及车载传感***。
附图标记说明：
10压缩图像
20复原图像
50对象被摄体
60R参照被摄体(红)
60G参照被摄体(绿)
60B参照被摄体(蓝)
62参照被摄体(分辨率图表)
64参照被摄体(背景)
66参照被摄体(背景)
70对象物
100摄像装置
110滤光器阵列
140光学***
160图像传感器
200图像处理装置
210信号处理电路
212图像复原部
214误差估计部
250存储装置
300显示装置
400传送机
1000摄像***

Claims (17)

1.一种图像处理装置，具备：
存储装置，存储表示编码屏蔽的光透射特性的编码信息，该编码屏蔽包括以2维排列且光透射特性不同的多个滤光器；以及
信号处理电路，基于通过使用所述编码屏蔽进行摄像而生成的压缩图像、以及所述编码信息，生成包括比所述压缩图像所包括的信号数多的信号数的复原图像，估计所述复原图像的误差，并输出表示所述误差的信号。
2.如权利要求1所述的图像处理装置，
所述信号处理电路基于所述压缩图像、所述复原图像及所述编码信息，估计所述误差。
3.如权利要求1或者2所述的图像处理装置，
所述信号处理电路根据基于所述压缩图像、所述复原图像及所述编码信息的评价函数的值，估计所述误差。
4.如权利要求1或者2所述的图像处理装置，
所述存储装置还存储表示参照被摄体的参照图像，
所述压缩图像通过使用所述编码屏蔽对包括所述参照被摄体和作为复原对象的对象被摄体的场景进行摄像而生成，
所述信号处理电路基于所述参照图像与所述复原图像中的表示所述参照被摄体的区域的比较，估计所述误差。
5.如权利要求1或者2所述的图像处理装置，
所述存储装置还存储表示参照被摄体的谱的参照信息，
所述压缩图像通过使用所述编码屏蔽对包括所述参照被摄体和作为复原对象的对象被摄体的场景进行摄像而生成，
所述信号处理电路基于所述复原图像中的相当于所述参照被摄体的区域的谱与所述参照信息所表示的所述谱之差，估计所述误差。
6.如权利要求1或者2所述的图像处理装置，
所述存储装置还存储表示参照被摄体的空间频率的参照信息，
所述压缩图像通过使用所述编码屏蔽对包括所述参照被摄体和作为复原对象的对象被摄体的场景进行摄像而生成，
所述信号处理电路基于所述复原图像中的相当于所述参照被摄体的区域的空间频率与所述参照信息所表示的所述空间频率之差，估计所述误差。
7.如权利要求5或者6所述的图像处理装置，
所述参照信息基于通过使用所述编码屏蔽对包括所述参照被摄体的场景进行摄像而取得的图像而生成。
8.如权利要求1至7中任一项所述的图像处理装置，
所述信号处理电路在所述误差的大小超过阈值的情况下输出警告。
9.如权利要求1至8中任一项所述的图像处理装置，
所述信号处理电路记录所估计的所述误差，基于所述误差的历时变化，预测所述误差超过阈值的时期，并输出表示所预测的所述时期的信号。
10.如权利要求1至9中任一项所述的图像处理装置，
所述多个滤光器具有相互不同的分光透射率，
所述复原图像包括多个波带各自的图像信息。
11.如权利要求1至10中任一项所述的图像处理装置，
所述信号处理电路使显示装置以能够区别的方式显示所述复原图像中的所述误差与像素值的空间性的偏差。
12.如权利要求1至11中任一项所述的图像处理装置，
被估计的所述误差与使用正确答案图像计算的误差不同。
13.一种摄像***，具备：
如权利要求1至12中任一项所述的图像处理装置；
所述编码屏蔽；以及
图像传感器。
14.一种由处理器执行的方法，包括：
取得表示编码屏蔽的光透射特性的编码信息，该编码屏蔽包括以2维排列且光透射特性不同的多个滤光器；
取得通过使用所述编码屏蔽进行摄像而生成的压缩图像；
基于所述编码信息，生成包括比所述压缩图像所包括的信号数多的信号数的复原图像；
估计所述复原图像的误差；以及
输出表示所述误差的信号。
15.一种由处理器执行的计算机程序，使所述处理器执行：
取得表示编码屏蔽的光透射特性的编码信息，该编码屏蔽包括以2维排列且光透射特性不同的多个滤光器；
取得通过使用所述编码屏蔽进行摄像而生成的压缩图像；
基于所述编码信息，生成包括比所述压缩图像所包括的信号数多的信号数的复原图像；
估计所述复原图像的误差；以及
输出表示所述误差的信号。
16.一种图像处理装置，具备：
存储装置，存储与摄像装置的光响应特性对应的编码信息，该摄像装置包括光响应特性相互不同的多个受光区域；以及
信号处理电路，基于由所述摄像装置生成的压缩图像、以及所述编码信息，生成包括比所述压缩图像所包括的信号数多的信号数的复原图像，估计所述复原图像的误差，并输出表示所述误差的信号。
17.如权利要求16所述的图像处理装置，
所述摄像装置接受经由光学元件的光，
所述编码信息是与所述光学元件的光学特性对应的信息。
CN202280027332.1A 2021-04-28 2022-04-08 图像处理装置、摄像***及估计复原图像的误差的方法 Pending CN117178290A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021075808 2021-04-28
JP2021-075808 2021-04-28
PCT/JP2022/017373 WO2022230640A1 (ja) 2021-04-28 2022-04-08 画像処理装置、撮像システム、および復元画像の誤差を推定する方法

Publications (1)

Publication Number Publication Date
CN117178290A true CN117178290A (zh) 2023-12-05

Family

ID=83847495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280027332.1A Pending CN117178290A (zh) 2021-04-28 2022-04-08 图像处理装置、摄像***及估计复原图像的误差的方法

Country Status (5)

Country Link
US (1) US20240037798A1 (zh)
EP (1) EP4332877A1 (zh)
JP (1) JPWO2022230640A1 (zh)
CN (1) CN117178290A (zh)
WO (1) WO2022230640A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106142A1 (ja) * 2021-12-08 2023-06-15 パナソニックＩｐマネジメント株式会社 信号処理方法、プログラム、およびシステム
WO2024053302A1 (ja) * 2022-09-08 2024-03-14 パナソニックＩｐマネジメント株式会社 情報処理方法および撮像システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105611117B (zh) 2014-11-19 2018-12-07 松下知识产权经营株式会社 摄像装置以及分光***
JP6672070B2 (ja) 2016-05-17 2020-03-25 キヤノン株式会社 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
US10985777B2 (en) 2016-12-09 2021-04-20 William Marsh Rice University Signal recovery via deep convolutional networks
JP6753798B2 (ja) * 2017-02-21 2020-09-09 株式会社日立製作所 医用撮像装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
WO2022230640A1 (ja) 2022-11-03
US20240037798A1 (en) 2024-02-01
EP4332877A1 (en) 2024-03-06
JPWO2022230640A1 (zh) 2022-11-03

Similar Documents

Publication Publication Date Title
JP6952277B2 (ja) 撮像装置および分光システム
JP6064290B2 (ja) 撮像装置、分光システム、および分光方法
CN117178290A (zh) 图像处理装置、摄像***及估计复原图像的误差的方法
JP6945195B2 (ja) 光学フィルタ、光検出装置、および光検出システム
WO2021192891A1 (ja) 信号処理方法、信号処理装置、および撮像システム
US11843876B2 (en) Optical filter array, photodetection device, and photodetection system
JP2016130727A (ja) 撮像装置
WO2021246192A1 (ja) 信号処理方法、信号処理装置、および撮像システム
JP7457952B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
WO2022163421A1 (ja) 検査対象に含まれる異物を検出する方法および装置
WO2020149055A1 (ja) 光検出装置、光検出システム、およびフィルタアレイ
JP7142251B2 (ja) フィルタアレイおよび光検出システム
WO2024053302A1 (ja) 情報処理方法および撮像システム
WO2024043009A1 (ja) 信号処理方法および信号処理装置
WO2023286613A1 (ja) フィルタアレイ、光検出装置、および光検出システム
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
WO2024142683A1 (ja) 光検出装置、光検出システム、およびフィルタアレイ
WO2023106142A1 (ja) 信号処理方法、プログラム、およびシステム
JP2024020922A (ja) 復元画像の評価方法および撮像システム、
WO2021235151A1 (ja) フィルタアレイおよび光検出システム
WO2022168594A1 (ja) スペクトルデータキューブを改変する方法および装置
CN116762330A (zh) 改变光谱数据立方体的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination