CN110023952A - 数据处理装置、数据处理方法、程序和电子装置 - Google Patents

数据处理装置、数据处理方法、程序和电子装置 Download PDF

Info

Publication number
CN110023952A
CN110023952A CN201780073792.7A CN201780073792A CN110023952A CN 110023952 A CN110023952 A CN 110023952A CN 201780073792 A CN201780073792 A CN 201780073792A CN 110023952 A CN110023952 A CN 110023952A
Authority
CN
China
Prior art keywords
camera
color image
label
evaluation index
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780073792.7A
Other languages
English (en)
Other versions
CN110023952B (zh
Inventor
大槻盛一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to CN202310393059.0A priority Critical patent/CN116958632A/zh
Publication of CN110023952A publication Critical patent/CN110023952A/zh
Application granted granted Critical
Publication of CN110023952B publication Critical patent/CN110023952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本发明提供一种摄像***。该摄像***包括：多光谱相机，其用于获取物体的多光谱图像；RGB相机，其用于获取所述物体的彩色图像；至少一个存储装置，其用于存储多个标记物体中的每个标记物体的光谱信息；以及处理电路。该处理电路按如下方式配置：基于所获取的多光谱图像确定与所述物体相关联的光谱信息；至少部分地基于与所述物体相关联的光谱信息以及所存储的多个所述物体中的每个物体的光谱信息，将标签与所述物体的所述彩色图像相关联；以及将所述彩色图像和相关联的标签作为训练数据存储在所述至少一个存储装置中。

Description

数据处理装置、数据处理方法、程序和电子装置
技术领域
本发明涉及数据处理装置、数据处理方法、程序和电子装置，特别地，涉及能够针对物体自动进行标签处理的数据处理装置、数据处理方法、程序和电子装置。
背景技术
在相关技术中，已经提出了一种收获预测装置，其中，根据拍摄有在广泛区域内种植的各种作物的图像，识别作物的种类并针对各种作物预测产量，(例如，参考专利文献1)。
另外，提出了一种摄像元件，该摄像元件通过使用等离子体滤光片来检测预定窄波长带(窄带)中的光(下文中，也称为窄带光)(例如，参考专利文献2)。
引用列表
专利文献
专利文献1
JP 2003-6612A
专利文献2
JP 2010-165718A
发明内容
技术问题
然而，如上所述，在诸如识别图像中所拍摄的作物的类型等根据图像识别物体的物体识别处理中，通常，需要利用大量的训练数据事先进行机器学习。在相关技术中，例如，通过视觉判断并标记物体来生成训练数据，因而，准备大量的训练数据将需要大量的工时。
鉴于上述的这种情况提出了本发明，本发明能够自动对物体进行标记。
解决问题的方案
根据本发明，提供一种摄像***，其包括：多光谱相机，其用于获取物体的多光谱图像；RGB相机，其用于获取所述物体的彩色图像；至少一个存储装置，其用于存储多个标记物体中的每个标记物体的光谱信息；以及处理电路。该处理电路按如下方式配置：基于所获取的多光谱图像确定与所述物体相关联的光谱信息；至少部分地基于与所述物体相关联的光谱信息以及所存储的多个所述物体中的每个物体的光谱信息，将标签与所述物体的所述彩色图像相关联；以及将所述彩色图像和相关联的标签作为训练数据存储在所述至少一个存储装置中。
另外，根据本发明，提供一种物体分类***，其包括：至少一个存储装置，其用于存储训练过的物体分类词，以及处理电路。该处理电路按如下方式配置：利用所述训练过的物体分类词对接收到的彩色图像中的物体进行分类；至少部分地基于接收到的彩色图像中的物体的分类和与所述物体相关联的光谱信息来确定所述物体的特征的评估指标值；并且在显示器上输出所述评估指标值的表示。
另外，根据本发明，提供一种生成用于训练物体分类词的训练数据的方法。该方法包括：接收通过多光谱相机获取的物体的多光谱图像和通过RGB相机获取的物体的彩色图像；以及基于物体的多光谱图像确定与所述物体相关联的光谱信息。该方法还包括：至少部分地基于与所述物体相关联的光谱信息以及所存储的多个所述物体中的每个物体的光谱信息，将标签与所述物体的所述彩色图像相关联；以及将所述彩色图像和相关联的标签作为训练数据存储在至少一个存储装置中。
另外，根据本发明，提供一种对物体进行分类的方法。该方法包括：利用所述训练过的物体分类词对接收到的彩色图像中的物体进行分类；至少部分地基于接收到的彩色图像中的物体的分类和与所述物体相关联的光谱信息来确定所述物体的特征的评估指标值；并且在显示器上输出所述评估指标值的表示。
本发明的有利效果
根据本发明的一方面，能够自动标记物体。
附图说明
图1是示出应用本技术的摄像装置的实施例的框图。
图2是示出摄像元件的电路的构造示例的框图。
图3是示意性示出摄像元件的第一实施例的构造示例的截面图。
图4是示出具有孔阵列结构的等离子体滤光片的构造示例的图。
图5是示出前等离子体的色散关系的曲线图。
图6是示出具有孔阵列结构的等离子体滤光片的光谱特性的第一示例的曲线图。
图7是示出具有孔阵列结构的等离子体滤光片的光谱特性的第二示例的曲线图。
图8是示出等离子体模式和波导模式的曲线图。
图9是示出前等离子体的传播特性的示例的曲线图。
图10A和图10B是示出具有孔阵列结构的等离子体滤光片的另一构造示例的图。
图11是示出具有两层结构的等离子体滤光片的构造示例的图。
图12A和图12B是示出具有点阵列结构的等离子体滤光片的构造示例的图。
图13是示出具有点阵列结构的等离子体滤光片的光谱信息的示例的曲线图。
图14是示出使用GMR的等离子体滤光片的构造示例的图。
图15是示出使用GMR的等离子体滤光片的光谱信息的示例的曲线图。
图16是示意性示出摄像元件的第二实施例的构造示例的截面图。
图17是示意性示出摄像装置的发生闪光的情形的图。
图18是用于说明摄像装置的闪光减少方法的图。
图19是示出窄带滤光片和透射滤光片的光谱信息的第一示例的曲线图。
图20是示出窄带滤光片和透射滤光片的光谱信息的第二示例的曲线图。
图21是示出窄带滤光片和透射滤光片的光谱信息的第三示例的曲线图。
图22是示意性示出摄像元件的第三实施例的构造示例的截面图。
图23是示出应用本技术的训练数据生成***的实施例的构成示例的框图。
图24是示出物体识别***的构成示例的框图。
图25是说明训练数据生成***的流程图。
图26是示出应用本技术的评估指标显示***的实施例的构成示例的框图。
图27A和图27B是说明安装有评估指标显示***的信息处理终端的应用例的图。
图28是说明评估指标显示处理的流程图。
图29是示出计算机的实施例的构成示例的框图。
图30A～图30C是示出能够应用本技术的层叠固体摄像装置的构造示例的概述的图。
图31是示出本技术的应用例的图。
图32是示出在检测食物的味道或新鲜度的情况下的检测带的示例的图。
图33是示出在检测水果的糖含量或含水量的情况下的检测带的示例的图。
图34是示出在对塑料进行分类的情况下的检测带的示例的图。
图35是示出内窥镜手术***的示意性构造的示例的图。
图36是示出摄像头和CCU的功能构造的示例的框图。
图37是示出车辆控制***的示意性构造的示例的框图。
图38是描述车外信息检测单元和摄像单元的布置位置的示例的说明图。
具体实施方式
在下文中，将通过使用附图详细说明用于执行本发明的各方面(下文中，称为“实施例”)。此外，将按以下顺序说明各实施例。
1.第一实施例
2.第二实施例
3.变形例
4.应用例
<<1.摄像装置的实施例>>
首先，将参考图1～图22描述本技术的摄像装置的实施例。
<摄像装置的构造示例>
图1是示出作为应用本技术的一种电子设备的摄像装置的实施例的框图。
例如，图1的摄像装置10由数码相机构成，该数码相机能够对静止图像和运动图像进行摄像。另外，例如，摄像装置10由多光谱相机构成，该多光谱相机能够基于三原色或颜色匹配功能检测四个或更多个波长带(四个或更多个带域)的光(多光谱)，该四个或更多个波长带大于R(红色)、G(绿色)、B(蓝色)或Y(黄色)、M(品红色)、C(青色)的现有技术的三个波长带(三个带域)。
摄像装置10包括光学***11、摄像元件12、存储器13、信号处理单元14、输出单元15和控制单元16。
例如，光学***11包括未示出的变焦透镜、聚焦透镜、光圈等，并且光学***11使得来自外部的光入射到摄像元件12上。另外，根据需要，在光学***11上设置各种滤光片，例如偏振滤光片等。
例如，摄像元件12由互补金属氧化物半导体(CMOS)图像传感器构成。摄像元件12接收来自光学***11的入射光，并进行光电转换，从而输出与入射光对应的图像数据。
存储器13临时存储从摄像元件12输出的图像数据。
信号处理单元14使用存储在存储器13中的图像数据来进行信号处理(例如，诸如消除噪声和调节白平衡等处理)，从而将图像数据提供给输出单元15。
输出单元15输出来自信号处理单元14的图像数据。例如，输出单元15包括由液晶等构成的显示器(未示出)，并且显示与来自信号处理单元14的图像数据对应的光谱(图像)作为所谓的直通图像。例如，输出单元15包括用于驱动诸如半导体存储器、磁盘和光盘等记录介质的驱动器(未示出)，并且输出单元15将来自信号处理单元14的图像数据记录在记录介质中。例如，输出单元15用作用于执行与外部设备(未示出)的通信的通信接口，并且以无线方式或有线方式将来自信号处理单元14的图像数据发送到外部设备。
控制单元16根据用户的操作等控制摄像装置10的每个单元。
<摄像元件的电路的构造示例>
图2是示出图1的摄像元件12的电路的构造示例的框图。
摄像元件12包括像素阵列31、行扫描电路32、锁相环(PLL)33、数字模拟转换器(DAC)34、列模拟数字转换器(ADC)电路35、列扫描电路36和感测放大器37。
多个像素51以二维方式布置在像素阵列31中。
像素51包括：水平信号线H，其连接到行扫描电路32；光电二极管61，其设置在光电二极管61与连接到列ADC电路35的垂直信号线V交叉的每个点处，并执行光电转换；以及几种类型的晶体管，其用于读出累积的信号。也就是说，如图2的右侧放大所示，像素51包括光电二极管61、传输晶体管62、浮动扩散部63、放大晶体管64、选择晶体管65和复位晶体管66。
累积在光电二极管61中的电荷通过传输晶体管62传输到浮动扩散部63。浮动扩散部63连接到放大晶体管64的栅极。在像素51作为读出其中信号的目标的情况下，选择晶体管65根据行扫描电路32通过水平信号线H接通，并且根据所选择的像素51的信号对放大晶体管64进行源极跟随器驱动，由此，该信号作为与累积在光电二极管61中的电荷的累积电荷量对应的像素信号被读出到垂直信号线V。另外，通过接通复位晶体管66来复位像素信号。
行扫描电路32顺序输出针对每行用于驱动像素阵列31的像素51的驱动(例如，传输、选择、复位等)信号。
PLL 33基于从外部提供的时钟信号产生并输出用于驱动摄像元件12的每个单元所需要的预定频率的时钟信号。
DAC 34产生并输出在电压从预定电压值以特定斜率下降之后返回到预定电压值的形状(大致为锯齿的形状)的斜坡信号。
列ADC电路35包括比较器71和计数器72，比较器71和计数器72的数量与像素阵列31的像素51的列数一样多，列ADC电路35通过相关双采样(CDS：correlated doublesampling)操作从像素51输出的像素信号提取信号电平，并且输出像素数据。也就是说，比较器71将从DAC 34提供的斜坡信号与从像素51输出的像素信号(亮度值)进行比较，并且将获得的作为比较结果的比较结果信号提供给计数器72。然后，计数器72根据从比较器71输出的比较结果信号对预定频率的计数器时钟信号进行计数，从而对像素信号进行A/D转换。
列扫描电路36以预定时序顺序地将输出像素数据的信号提供给列ADC电路35的计数器72。
感测放大器37将从列ADC电路35提供的像素数据进行放大，并且将该像素数据输出到摄像元件12的外部。
<摄像元件的第一实施例>
图3示意性示出了作为图1的摄像元件12的第一实施例的摄像元件12A的截面的构造示例。图3示出了摄像元件12的像素51-1至像素51-4的四个像素的截面。此外，在下文中，在不需要将像素51-1至像素51-4彼此区分的情况下，将像素简称为像素51。
在每个像素51中从上起依次层叠有片上微透镜101、层间膜102、窄带滤光片层103、层间膜104、光电转换元件层105和信号布线层106。也就是说，摄像元件12由背面照射型CMOS图像传感器形成，其中，光电转换元件层105设置在信号布线层106的光的入射侧。
片上微透镜101是用于将光会聚到每个像素51的光电转换元件层105中的光学元件。
层间膜102和层间膜104由诸如SiO2等介电体形成。如下所述，希望层间膜102和层间膜104的介电常数尽可能低。
在窄带滤光片层103中，窄带滤光片NB设置在每个像素51中，该窄带滤光片NB是透射预定的窄波长带(窄带)中窄带光的光学滤光片。例如，使用前等离子体(front plasmon)的等离子体滤光片用于窄带滤光片NB中，所述等离子体滤光片是一种使用由诸如铝等金属形成的薄膜的金属薄膜滤光片。另外，针对每个像素51设置窄带滤光片NB的透射带。窄带滤光片NB的透射带的类型(频带数)是任意的，例如，将频带数设为大于或等于4。
这里，基于三原色或颜色匹配功能，窄带例如是比红色(R)、绿色(G)、蓝色(B)或黄色(Y)、品红色(M)、青色(C)的相关技术的彩色滤光片的透射带窄的波长带。另外，在下文中，接收通过窄带滤光片NB透射的窄带光的像素将被称为多光谱像素或MS像素。
例如，光电转换元件层105包括图2的光电二极管61等，光电转换元件层105接收通过窄带滤光片层103(窄带滤光片NB)透射的光(窄带光)，并将所接收的光转换为电荷。另外，光电转换元件层105被构造成使得像素51通过元件分离层彼此电隔离。
在信号布线层106上设置有用于读取累积在光电转换元件层105中的电荷的配线等。
<等离子体滤光片>
接下来，将参考图4～图15说明能够用于窄带滤光片NB的等离子体滤光片。
图4示出了具有孔阵列结构的等离子体滤光片121A的构造示例。
等离子体滤光片121A由等离子体谐振器构成，其中孔132A以蜂窝形状布置在金属薄膜(下文中，称为导体薄膜)131A上。
每个孔132A穿透导体薄膜131A，并用作波导。通常，波导的截止频率和截止波长是根据诸如边长或直径等形状而确定的，并且波导具有不允许频率小于或等于截止频率(波长小于或等于截止波长)的光传播的性质。孔132A的截止波长主要取决于开口直径D1，并且当开口直径D1减小时，截止波长变短。此外，将开口直径D1设定为小于透射光的波长的值。
另一方面，在光入射到导体薄膜131A(其中在小于或等于光的波长的短时期内周期性地形成孔132A)上的情况下，出现如下现象：波长大于孔132A的截止波长的光被透射。这种现象将被称为等离子体的异常透射现象。这种现象是由于导体薄膜131A和层间膜102之间的边界上的前等离子体激发而发生的，层间膜102是导体薄膜131A的上层。
这里，将参考图5说明等离子体(前等离子体共振)的异常透射现象的发生条件。
图5是示出前等离子体的色散关系的曲线图。在曲线图中，横轴表示角波数矢量k，纵轴表示角频率ω。ωp表示导体薄膜131A的等离子体频率。ωsp表示层间膜102和导体薄膜131A之间的边界面上的前等离子体频率，并由下述公式(1)表示。
[数学公式1]
εd表示构成层间膜102的介电体的介电常数。
根据公式(1)，当等离子体频率ωp增加时，前等离子体频率ωsp增加。另外，当介电常数εd减小时，前等离子体频率ωsp增加。
线L1表示光(写入线)的色散关系，并且由下述公式(2)表示。
[数学公式2]
C表示光速。
线L2表示前等离子体的色散关系，并由下述公式(3)表示。
[数学公式3]
εm表示导体薄膜131A的介电常数。
在角波数矢量k小的范围内，由线L2表示的前等离子体的色散关系接近由线L1表示的写入线，当角波数矢量k增加时，由线L2表示的前等离子体的色散关系接近前等离子体频率ωsp。
然后，当下述公式(4)成立时，发生等离子体的异常透射现象。
[数学公式4]
λ表示入射光的波长。θ表示入射光的入射角。Gx和Gy由下述公式(5)表示。
|Gx|＝|Gy|＝2π/a0…(5)
a0表示由导体薄膜131A的孔132A形成的孔阵列结构的晶格常数。
在公式(4)中，左端表示前等离子体的角波数矢量，并且右端表示孔阵列时段内的导体薄膜131A的角波数矢量。因此，当前等离子体的角波数矢量与孔阵列时段内的导体薄膜131A的角波数矢量相同时，发生等离子体的异常透射现象。然后，此时，λ的值是等离子体的共振波长(等离子体滤光片121A的透射波长)。
此外，在公式(4)中，根据导体薄膜131A的介电常数εm和层间膜102的介电常数εd确定左端的前等离子体的角波数矢量。另一方面，根据光的入射角θ和导体薄膜131A的相邻孔132A之间的间距(孔间距)P1确定右端的孔阵列时段内的角波数矢量。因此，根据导体薄膜131A的介电常数εm、层间膜102的介电常数εd、光的入射角θ和孔间距P1确定等离子体的共振波长和共振频率。此外，在光的入射角为0°的情况下，根据导体薄膜131A的介电常数εm、层间膜102的介电常数εd和孔间距P1确定等离子体的共振波长和共振频率。
因此，等离子体滤光片121A的透射带(等离子体的共振波长)根据导体薄膜131A的材料和膜厚度、层间膜102的材料和膜厚度、孔阵列的图案周期(例如，孔132A的开口直径D1和孔间距P1)等而变化。特别地，在确定导体薄膜131A和层间膜102的材料和膜厚度的情况下，等离子体滤光片121A的透射带根据孔阵列的图案周期(特别是孔间距P1)而变化。也就是说，当孔间距P1变窄时，等离子体滤光片121A的透射带向短波长侧移动，并且当孔间距P1变宽时，等离子体滤光片121A的透射带向长波长侧移动。
图6是示出在孔间距P1改变的情况下等离子体滤光片121A的光谱特性的示例的曲线图。在曲线图中，横轴表示波长(单位为nm)，纵轴表示灵敏度(单位是任意单位)。线L11表示孔间距P1设为250nm的情况下的光谱特性，线L12表示孔间距P1设为325nm的情况下的光谱特性，并且线L13表示孔间距P1设为500nm的情况下的光谱特性。
在孔间距P1设为250nm的情况下，等离子体滤光片121A主要透射蓝色波长带的光。在孔间距P1设为325nm的情况下，等离子体滤光片121A主要透射绿色波长带的光。在孔间距P1设为500nm的情况下，等离子体滤光片121A主要透射红色波长带的光。然而，在孔间距P1设为500nm的情况下，等离子体滤光片121A根据下述波导模式透射红色的低波长带中的大量的光。
图7是示出在孔间距P1改变的情况下等离子体滤光片121A的光谱特性的另一示例的曲线图。在曲线图中，横轴表示波长(单位为nm)，纵轴表示灵敏度(单位是任意单位)。该示例示出了在通过将250nm至625nm按25nm分割来改变孔间距P1的情况下的16种类型的等离子体滤光片121A的光谱特性的示例。
此外，等离子体滤光片121A的透射率主要根据孔132A的开口直径D1确定。当开口直径D1增加时，透射率增加，但是容易发生混色。通常，希望开口直径D1设定成使得开口率为孔间距P1的50％～60％。
另外，如上所述，等离子体滤光片121A的每个孔132A都可用作波导。因此，在光谱特性中，根据等离子体滤光片121A的孔阵列的图案，存在这样的情况：不仅通过前等离子体共振透射的波长成分(等离子体模式中的波长成分)增加，而且通过孔132A(波导)透射的波长成分(波导模式中的波长成分)也增加。
对于等离子体滤光片的给定孔间距P1，存在等离子体滤光片的期望厚度范围，以使滤光片对透射的那些波长的光透射率最大化。例如，等离子体滤光片的理想厚度范围可以在孔间距P1的尺寸的20％至80％之间，或者在孔间距的尺寸的30％至70％之间，或者在孔间距的尺寸的40％至60％之间。
例如，在等离子体滤光片由铝形成的情况下，对于350nm的孔间距，等离子体滤光片的理想厚度范围在100nm至300nm之间，其中优选厚度为200nm。对于具有550nm孔间距的铝等离子体滤光片，等离子体滤光片的理想厚度范围在200nm至400nm之间，其中优选厚度为300nm。
对于等离子体滤光片的给定峰值透射波长，存在等离子体滤光片的理想厚度范围，以使滤光片对透射的那些波长的光透射率最大化。例如，等离子体滤光片的理想厚度范围可以在峰值透射波长的10％至60％之间，或者在峰值透射波长的20％至50％之间，或者在峰值透射波长的30％至40％之间。
例如，在等离子体滤光片由铝形成的情况下，当需要的峰值透射波长为580nm时，等离子体滤光片的理想厚度范围在100nm至300nm之间，优选厚度为200nm。对于峰值透射波长为700nm的铝等离子体滤光片，等离子体滤光片的理想厚度范围在150nm至350nm之间，其中优选厚度为250nm。
图8示出了在孔间距P1设为500nm的情况下的等离子体滤光片121A的光谱特性，如同由图6的线L13表示的光谱特性。在该示例中，比630nm附近的截止波长长的波长侧是等离子体模式中的波长分量，并且比截止波长短的波长侧是波导模式中的波长分量。
如上所述，截止波长主要取决于孔132A的开口直径D1，并且当开口直径D1减小时，截止波长减小。然后，在等离子体模式中，当截止波长和峰值波长之间的差增大时，等离子体滤光片121A的波长分辨率特性得到改善。
另外，如上所述，当导体薄膜131A的等离子体频率ωp增加时，导体薄膜131A的前等离子体频率ωsp增加。另外，当层间膜102的介电常数εd减小时，前等离子体频率ωsp增加。然后，当前等离子体频率ωsp增加时，可以将等离子体的共振频率设得较高，并且可以将等离子体滤光片121A的透射带(等离子体的共振波长)设定为较短的波长带。
因此，在将具有较小的等离子体频率ωp的金属用于导体薄膜131A的情况下，可以将等离子体滤光片121A的透射带设定为较短的波长带。例如，优选铝、银、金等作为该金属。这里，在将透射带设定为红外光等的长波长带的情况下，也可以使用铜等。
另外，在将具有小介电常数εd的介电体用于层间膜102的情况下，可以将等离子体滤光片121A的透射带设定为较短的波长带。例如，优选SiO2、低k材料等作为该介电体。
另外，图9是示出在将铝用于导体薄膜131A并且将SiO2用于层间膜102的情况下，导体薄膜131A和层间膜102之间的界面上的前等离子体的传播特性的曲线图。在曲线图中，横轴表示光的波长(单位为nm)，纵轴表示传播距离(单位为μm)。另外，线L21表示界面方向的传播特性，线L22表示层间膜102的深度方向(垂直于界面的方向)的传播特性，并且线L23表示导体薄膜131A的深度方向(垂直于界面的方向)的传播特性。
前等离子体的深度方向上的传播距离ΛSPP(λ)由下述公式(6)表示。
[数学公式6]
kSPP表示由前等离子体传播的物质的吸收系数。εm(λ)表示导体薄膜131A相对于波长为λ的光的介电常数。εd(λ)表示层间膜102相对于波长为λ的光的介电常数。
因此，如图9所示，前等离子体相对于波长为400nm的光从层间膜102(由SiO2形成)的前表面沿深度方向传播大约100nm。因此，将层间膜102的厚度设定为大于或等于100nm，于是，防止了层间膜102和导体薄膜131A之间的界面上的前等离子体受到层叠在层间膜102的与导体薄膜131A相对的一侧的表面上的物质的影响。
另外，前等离子体相对于波长为400nm的光从导体薄膜131A(由铝形成)的前表面沿深度方向传播大约10nm。因此，将导体薄膜131A的厚度设定为大于或等于10nm，于是，防止了层间膜102和导体薄膜131A之间的界面上的前等离子体受到层间膜104的影响。
<等离子体滤光片的其他示例>
接下来，将参考图10A～图15说明等离子体滤光片的其他示例。
图10A的等离子体滤光片121B由等离子体谐振器构成，其中孔132B以正交矩阵的形状布置在导体薄膜131B中。在等离子体滤光片121B中，例如，根据相邻孔132B之间的间距P2改变透射带。
另外，在等离子体谐振器中，并不需要所有的孔都穿透导体薄膜，并且即使在一部分孔被构造为不穿透导体薄膜的非通孔的情况下，等离子体谐振器也可以用作滤光片。
例如，在图10B中，示出了由等离子体谐振器构成的等离子体滤光片121C的平面图和截面图(沿平面图的A-A'截取的截面图)，其中，由贯通孔形成的孔132C和由非贯通孔形成的孔132C'以蜂窝的形状布置在导体薄膜131C中。也就是说，由贯通孔形成的孔132C和由非贯通孔形成的孔132C'周期性地布置在等离子体滤光片121C中。
此外，单层的等离子体谐振器基本上用作等离子体滤光片，例如，等离子体滤光片可以由两层等离子体谐振器构成。
例如，图11中所示的等离子体滤光片121D由等离子体滤光片121D-1和等离子体滤光片121D-2两层构成。等离子体滤光片121D-1和等离子体滤光片121D-2具有以下结构，其中孔以蜂窝状布置，如同构成图4的等离子体滤光片121A的等离子体谐振器。
另外，优选地，等离子体滤光片121D-1和等离子体滤光片121D-2之间的间隔D2约为透射带的峰值波长的1/4。另外，考虑到设计的自由度，间隔D2优选小于或等于透射带的峰值波长的1/2。
此外，对于等离子体滤光片121D，在等离子体滤光片121D-1和等离子体滤光片121D-2中，孔以相同的图案布置，例如，在两层等离子体谐振器结构中，这些孔可以以彼此相似的图案布置。另外，在两层等离子体谐振器结构中，孔和点可以布置成如下图案，其中，孔阵列结构和点阵列结构(下面说明的)彼此相反。此外，等离子体滤光片121D具有两层结构，并且能够多层化为三层或更多层。
另外，在上面的说明中，虽然已经说明了使用具有孔阵列结构的等离子体谐振器的等离子体滤光片的构造示例，但是还可以采用具有点阵列结构的等离子体谐振器作为等离子体滤光片。
将参考图12A和图12B说明具有点阵列结构的等离子体滤光片。
图12A的等离子体滤光片121A'具有相对于图4的等离子体滤光片121A的等离子体谐振器正反反转的结构，即，图12A的等离子体滤光片121A'由如下等离子体谐振器构成，其中点133A呈蜂窝状布置在介电层134A中。各个点133A之间的空间填充有介电层134A。
等离子体滤光片121A'吸收预定波长带的光，因此被用作补色滤光片。被等离子体滤光片121A'吸收的光的波长带(以下称为吸收带)根据相邻点133A之间的间距(以下称为点间距)P3而变化。另外，根据点间距P3调整点133A的直径D3。
图12B的等离子体滤光片121B'具有相对于图10A的等离子体滤光片121B的等离子体谐振器正反反转的结构，即，图12B的等离子体滤光片121B'由以下等离子体谐振器结构构成，其中点133B以正交矩阵的形状布置在介电层134B中。各个点133B之间的空间填充有介电层134B。
等离子体滤光片121B'的吸收带根据相邻点133B之间的点间距P4等而变化。另外，根据点间距P4调整点133B的直径D3。
图13是示出在图12A的等离子体滤光片121A'的点间距P3改变的情况下的光谱特性的示例的曲线图。在曲线图中，横轴表示波长(单位为nm)，纵轴表示透射率。线L31表示将点间距P3设为300nm的情况下的光谱特性，线L32表示将点间距P3设为400nm的情况下的光谱特性，并且线L33表示将点间距P3设为500nm的情况下的光谱特性。
如图所示，当点间距P3变窄时，等离子体滤光片121A'的吸收带向短波长侧移动，并且当点间距P3变宽时，等离子体滤光片121A'的吸收带向长波长侧移动。
此外，在具有孔阵列结构和点阵列结构的等离子体滤光片中，可以仅通过在平面方向上调节孔或点之间的间距来调节透射带或吸收带。因此，例如，仅通过在光刻工艺中调节孔或点之间的间距，可以相对于每个像素单独设置透射带或吸收带，并且可以通过较少的工艺使滤光片变成多色的。
另外，等离子体滤光片的厚度约为100nm至500nm，这与有机材料的彩色滤光片的厚度大致相似，并且工艺亲和力非常好。
另外，也可以将使用图14所示的导模谐振(guided mode resonant，GMR)的等离子体滤光片151用于窄带滤光片NB。
从上开始，在等离子体滤光片151中依次层叠有导体层161、SiO2膜162、SiN膜163和SiO2基板164。例如，图3的窄带滤光片层103中包括导体层161，并且例如图3的层间膜104中包括SiO2膜162、SiN膜163和SiO2基板164。
例如，由铝形成的矩形导体薄膜161A布置在导体层161中，使得导体薄膜161A的长边以预定间距P5彼此相邻。然后，等离子体滤光片151的透射带根据间距P5等而改变。
图15是示出在间距P5改变的情况下的等离子体滤光片151的光谱特性的示例的曲线图。在曲线图中，横轴表示波长(单位为nm)，纵轴表示透射率。该示例示出了如下情况下的光谱特性的示例：通过将280nm至480nm按40nm分割而使间距P5改变为六种类型的间距，并且将相邻导体薄膜161A之间的狭缝的宽度设置为间距P5的1/4。另外，具有透射带的最短峰值波长的波形表示在将间距P5设为280nm的情况下的光谱特性，并且峰值波长随着间距P5变宽而变长。也就是说，当间距P5变窄时，等离子体滤光片151的透射带向短波长侧移动，并且当间距P5变宽时，等离子体滤光片151的透射带向长波长侧移动。
如同上述具有孔阵列结构和点阵列结构的等离子体滤光片，使用GMR的等离子体滤光片151相对于有机材料的彩色滤光片具有优异的亲和性。
<摄像元件的第二实施例>
接下来，将参考图16～图21说明图1的摄像元件12的第二实施例。
图16示意性示出了作为摄像元件12的第二实施例的摄像元件12B的截面的构造示例。此外，在图中，与图3的摄像元件12A对应的部分采用相同的附图标记表示，并且将适当地省略其说明。
摄像元件12B与摄像元件12A的不同之处在于，在片上微透镜101和层间膜102之间层叠有彩色滤光片层107。
在摄像元件12B的窄带滤光片层103中，窄带滤光片NB设置在一部分像素51中，而不设置在所有的像素51中。窄带滤光片NB的透射带的类型(波段数)是任意的，例如，将波段数设为大于或等于1。
在彩色滤光片层107中，在每个像素51中都设置彩色滤光片。例如，在没有设置窄带滤光片NB的像素51中，设置一般的红色滤光片R、一般的绿色滤光片G和一般的蓝色滤光片B(未示出)中的任一者。因此，例如，设置有红色滤光片R的R像素、设置有绿色滤光片G的G像素、设置有蓝色滤光片B的B像素、以及设置有窄带滤光片NB的MS像素布置在像素阵列31中。
另外，在设置有窄带滤光片NB的像素51中，在彩色滤光片层107上设置透射滤光片P。如下所述，透射滤光片P由光学滤光片(低通滤光片、高通滤光片或带通滤光片)构成，该光学滤光片用于透射包括同一像素51的窄带滤光片NB的透射带的波长带中的光。
此外，设置在彩色滤光片层107上的彩色滤光片可以是有机材料和无机材料的彩色滤光片。
有机材料的彩色滤光片的示例包括：合成树脂或天然蛋白质的染色和着色彩色滤光片、以及含有使用颜料染料或着色剂染料的染料的彩色滤光片。
无机材料的彩色滤光片的示例包括诸如TiO2、ZnS、SiN、MgF2、SiO2和低k材料等材料。另外，例如，使用诸如气相沉积、溅射和化学气相沉积(CVD)膜形成等方法形成无机材料的彩色滤光片。
另外，如上参考图9所述，层间膜102的膜厚度被设为能够防止彩色滤光片层107对位于层间膜102和窄带滤光片层103之间的界面上的前等离子体的影响。
这里，通过设置在彩色滤光片层107上的透射滤光片P抑制闪光的发生。这将参考图17和图18进行说明。
图17示意性示出了使用图2的摄像元件12A的摄像装置10的闪光发生的情形，其中在摄像元件12A中没有设置彩色滤光片层107。
在该示例中，摄像元件12A设置在半导体芯片203上。具体地，半导体芯片203安装在基板213上，并且被密封玻璃211和树脂212包围。然后，透射通过设置在图1的光学***11中的透镜201、IR截止滤光片202和密封玻璃211的光入射到摄像元件12A上。
这里，在摄像元件12A的窄带滤光片层103的窄带滤光片NB由等离子体滤光片形成的情况下，在等离子体滤光片中形成有由金属形成的导体薄膜。该导体薄膜具有高的反射率，因此，容易反射除了透射带之外的波长的光。然后，例如，如图17所示，在导体薄膜上反射的光的一部分在密封玻璃211、IR截止滤光片202或透镜201上反射，并再次入射到摄像元件12A上。由于再次入射的光而发生闪光。特别地，使用孔阵列结构的等离子体滤光片具有低的开口率，因此，容易发生闪光。
为了防止反射光，例如，考虑使用由金属或具有高介电常数(与导体薄膜不同)的材料形成的抗反射膜。然而，在等离子体滤光片使用前等离子体共振，并且这种抗反射膜与导体薄膜的前表面接触的情况下，等离子体滤光片的特性可能降低，并且不能获得所期望的特性。
另一方面，图18示意性示出了使用图16的摄像元件12B的摄像装置10的闪光发生的情形，其中在摄像元件12B中设置有彩色滤光片层107。此外，在图中，与图17对应的部分采用相同的附图标记。
图18的示例与图17的示例的不同之处在于，设置了半导体芯片221代替半导体芯片203。半导体芯片221与半导体芯片203的不同之处在于，设置有摄像元件12B代替摄像元件12A。
如上所述，在摄像元件12B中，透射滤光片P设置在窄带滤光片NB的上侧(光的入射侧)。因此，入射到摄像元件12B上的光通过透射滤光片P入射到窄带滤光片NB(其中，预定波长带被截止)上，因此，抑制了相对于窄带滤光片NB的入射光的光量。于是，窄带滤光片NB(等离子体滤光片)的导体薄膜上的反射光的光量也减少，因此，闪光减少。
图19～图21示出了窄带滤光片NB的光谱特性和设置在窄带滤光片NB的上侧的透射滤光片P的光谱特性的示例。此外，在图19～图21的曲线图中，横轴表示波长(单位为nm)，纵轴表示灵敏度(单位为任意单位)。
在图19中，线L41表示窄带滤光片NB的光谱特性。窄带滤光片NB的光谱特性的峰值波长大约在430nm附近。线L42表示低通型透射滤光片P的光谱特性。线L43表示高通型透射滤光片P的光谱特性。线L44表示带通型透射滤光片P的光谱特性。在包括窄带滤光片NB的光谱特性的峰值波长的预定波长带中，所有透射滤光片P的灵敏度都大于窄带滤光片NB的灵敏度。因此，通过使用任意的透射滤光片P，可以减少入射到窄带滤光片NB上的入射光的光量，而基本上不会使窄带滤光片NB的透射带中的光衰减。
在图20中，线L51表示窄带滤光片NB的光谱特性。窄带滤光片NB的光谱特性的峰值波长大约在530nm附近。线L52表示低通型透射滤光片P的光谱特性。线L53表示高通型透射滤光片P的光谱特性。线L54表示带通型透射滤光片P的光谱特性。在包括窄带滤光片NB的光谱特性的峰值波长的预定波长带中，所有透射滤光片P的灵敏度都大于窄带滤光片NB的灵敏度。因此，通过使用任意的透射滤光片P，可以减少入射到窄带滤光片NB上的入射光的光量，而基本上不会使窄带滤光片NB的透射带中的光衰减。
在图21中，线L61表示窄带滤光片NB的光谱特性。在等离子体模式中，窄带滤光片NB的光谱特性的峰值波长大约在670nm附近。线L62表示低通型透射滤光片P的光谱特性。线L63表示高通型透射滤光片P的光谱特性。线L64表示带通型透射滤光片P的光谱特性。在包括大于或等于630nm的等离子体模式中的峰值波长的预定波长带中，所有透射滤光片的灵敏度都大于窄带滤光片NB的灵敏度，630nm是窄带滤光片NB的光谱特性的截止波长。因此，通过使用任意的透射滤光片P，可以减少入射到窄带滤光片NB上的入射光的光量，而基本上不会使等离子体模式中的窄带滤光片NB的透射带中的光衰减。这里，期望使用高通型透射滤光片P或带通型透射滤光片P作为窄带滤光片的特性，这是因为在波导模式下窄带滤光片NB的波长带中的光可以被截止。
此外，在红色滤光片R、绿色滤光片G、或蓝色滤光片B的透射带包括下层的窄带滤光片NB的透射带的情况下，这种滤光片可以用于透射滤光片P。
另外，在图16的示例中，说明了以下示例：仅在一部分像素51中设置窄带滤光片NB，并且窄带滤光片NB能够设置在所有像素51中。在这种情况下，在每个像素51中，可以在彩色滤光片层107上设置透射带包括像素51的窄带滤光片NB的透射带的透射滤光片P。
此外，彩色滤光片层107中的彩色滤光片的颜色组合不限于上述示例，并且可以任意改变。
另外，在不需要针对上述闪光的对策的情况下，例如，可以在窄带滤光片NB的上层设置透射滤光片P，或者可以设置透射所有波长的光的伪滤光片。
<摄像元件的第三实施例>
接下来，将参考图22说明图1的摄像元件12的第三实施例。
图22示意性示出了作为摄像元件12的第三实施例的摄像元件12C的截面的构造示例。此外，在图中，与图3的摄像元件12A对应的部分采用相同的附图标记表示，并且将适当地省略其说明。
摄像元件12C与摄像元件12A的不同之处在于，设置了滤光片层108代替窄带滤光片层103。另外，摄像元件12C与图16的摄像元件12B的不同之处在于，窄带滤光片NB和彩色滤光片(例如，红色滤光片R、绿色滤光片G和蓝色滤光片B)设置在同一滤光片层108中。
因此，在R像素、G像素、B像素和MS像素布置在摄像元件12C的像素阵列31中的情况下，可以省略彩色滤光片层107。
此外，在使用有机材料的彩色滤光片的情况下，为了防止由于热引起的彩色滤光片的损坏等，例如，首先形成窄带滤光片NB，并且在高温下进行最后的热处理(例如烧结处理等)，然后，形成彩色滤光片。另一方面，在使用无机材料的彩色滤光片的情况下，基本上，不需要限制上述形成顺序。
另外，在如图16的摄像元件12B中那样执行针对闪光的对策的情况下，如同摄像元件12B，可以在片上微透镜101和层间膜102之间层叠彩色滤光片层。在这种情况下，在滤光片层108中布置有窄带滤光片NB的像素51中，在彩色滤光片层上设置上述透射滤光片P。另一方面，在滤光片层108中布置有彩色滤光片的像素51中，可以在彩色滤光片层上设置滤光片，或者可以设置透射所有波长的光的伪滤光片，或者可以设置与滤光片层108的颜色相同的彩色滤光片。
<<2.多光谱图像的应用例>>
下面，将参照图23～图29说明通过利用从图1的摄像元件12输出的图像(下文中称为多光谱图像)进行的处理。
<第一应用例>
图23示出了执行自动生成用于机器学习的训练数据的处理的训练数据生成***的构成示例，作为利用多光谱图像进行的处理的第一应用例。
如图23所示，训练数据生成***301由多光谱相机311、RGB相机312、存储装置313和训练数据生成处理装置314构成。
多光谱相机311包括图1的摄像元件12，并将通过拍摄作为生成训练数据的目标的物体(例如，苹果、人脸等)所得到的多光谱图像提供到训练数据生成处理装置314。
RGB相机312是能够拍摄彩色图像(所谓的RGB图像)的摄像装置，拍摄与通过多光谱相机311所拍摄的物体相同的物体，并将所得到的彩色图像作为结果提供到训练数据生成处理装置314。
例如，存储装置313由硬盘驱动器、半导体存储器等构成，并存储从训练数据生成处理装置314提供的训练数据。
训练数据生成处理装置314基于从多光谱相机311提供的多光谱图像和从RGB相机312提供的彩色图像来执行自动生成用于机器学习的训练数据的处理。
通常，根据利用分散成多个波长带的光来拍摄物体所得到的多光谱图像，能够提取出表示针对作为目标的每一种物体的特定光谱特征的光谱信息。因此，能够基于针对每一物体的光谱特征来高精度地识别多光谱图像中所拍摄的物体。另一方面，只是通过利用三个波长带(例如，R、G、和B)的光来拍摄物体而获得彩色图像，因而，为了高精度地识别彩色图像中所拍摄的物体，需要事先利用大量的训练数据进行机器学习。为此，需要自动生成在机器学习中用来识别彩色图像的物体的训练数据，例如，将表示物体的种类的名称添加到彩色图像。
如图所示，训练数据生成处理装置314包括光谱信息保持单元321、识别处理单元322和标签单元323。
光谱信息保持单元321与表示每一种物体的名称相关联地保持根据拍摄有各种物体的多光谱图像事先获得的且表示针对每一种物体的特定光谱特征的光谱信息。
识别处理单元322在拍摄物体(作为从多光谱相机311提供的多光谱图像中产生训练数据的目标)的区域内提取光谱特征，由此获取表示物体的光谱特征的光谱信息。而且，识别处理单元322获得针对根据多光谱图像得到的光谱信息关于保持在光谱信息保持单元321中的多个光谱信息项的相似率。
之后，识别处理单元322根据保持在光谱信息保持单元321中的多个光谱信息项将与具有最高相似率的光谱信息相关的名称作为物体(作为产生训练数据的目标)的识别结果提供到标签单元323。而且，在此处获得的最高相似率小于或等于预先限定值(能够被确定为同一种类的阈值)的情况下，识别处理单元322设置结果：在多光谱图像中拍摄的物体不能被识别(不可识别)为识别结果。
标签单元323针对从RGB相机312提供的彩色图像进行标签处理，即，将从识别处理单元322提供的识别结果添加到从RGB相机312提供的彩色图像的处理。之后，标签单元323将添加了识别结果的彩色图像提供到存储装置313存储，作为为利用彩色图像进行物体识别而用于机器学习的训练数据。
训练数据生成***301按如上方式构成，并且能够生成添加有在多光谱图像中拍摄的物体的识别结果的彩色图像，作为为利用彩色图像进行物体识别而用于机器学习的训练数据。因此，通过使用训练数据生成***301，多光谱相机311和RGB相机312拍摄各种物体，因此能够自动生成关于这样的物体的训练数据。
因此，在相关技术中，例如，需要大量劳力对作为生成训练数据的目标的物体的种类进行视觉判断以及手动做标记，而由于训练数据生成***301的自动化可减少劳动力。即，训练数据生成***301能够快速生成大量的训练数据。
之后，通过使用由训练数据生成***301自动生成的大量的训练数据，能够进行为了通过彩色图像进行物体识别的机器学习。
图24示出了物体识别***302的构造示例，物体识别***302利用在训练数据生成***301中生成的训练数据进行机器学习并且利用该学习结果进行物体识别。
如图24所示，物体识别***302包括存储装置331、学习工具332、RGB相机333和输出装置334。而且，当在物体识别***302中进行学习时，物体识别***302至少可包括存储装置331和学习工具332。另外，当在物体识别***302中使用学习结果时，物体识别***302至少可包括学习工具332、RGB相机333和输出装置334。
存储装置331存储在图23的训练数据生成***301中自动生成的大量的训练数据，即，添加有关于各种物体的识别结果(表示物体的种类的名称)的彩色图像。
学习工具332在进行学习时依次读出存储在存储装置331中的大量的训练数据，例如进行学习：针对拍摄了同一种类的物体的大量图像提取物体的共同特征。之后，当利用学习结果进行物体识别时，学习工具332将RGB相机333拍摄的彩色图像中所拍摄物体的特征与事先经过学习的特征进行比较。因此，学习工具332识别出RGB相机333拍摄的彩色图像中所拍摄物体的种类，并将识别结果(表示物体的种类的名称)提供到输出装置334。
RGB相机333是能够拍摄一般彩色图像的摄像装置，并将拍摄物体(作为将要进行物体识别的目标)所得到的彩色图像提供到学习工具332。
输出装置334例如由诸如液晶面板或者有机电致发光(EL)面板等显示器构成，并通过将识别结果叠加在由RGB相机333拍摄的彩色图像上来显示从学习工具332提供的识别结果。而且，在输出装置334由扬声器构成的情况下，可以输出表示识别结果的合成音频。
因此，物体识别***302利用在训练数据生成***301中生成的训练数据进行机器学习，并且能够通过利用该学习结果以较高的精度进行物体识别。
图25是示出训练数据生成***301的训练数据生成处理的流程图。
例如，在多光谱相机311和RGB相机312指向作为生成训练数据的目标的物体的情况下，在进行命令生成物体的训练数据的操作时，启动该处理。在步骤S11中，多光谱相机311将拍摄作为目标的物体的多光谱图像提供到识别处理单元322，并且RGB相机312将拍摄有作为目标的物体的彩色图像提供到标签单元323。
在步骤S12中，识别处理单元322根据在步骤S11中从多光谱相机311提供的多光谱图像提取光谱特征，并且获得表示物体(作为生成训练数据的目标)的光谱特征的光谱信息。
在步骤S13中，识别处理单元322获得针对在步骤S12中获取的光谱信息关于保持在光谱信息保持单元321中的多个光谱信息项的相似率。之后，识别处理单元322获取与实现最高相似率的光谱信息相关的名称作为物体(作为产生训练数据的目标)的识别结果，并将该名称提供到标签单元323。
在步骤S14中，标签单元323针对在步骤S11中从RGB相机312提供的彩色图像标记在步骤S13中从识别处理单元322提供的识别结果，并生成作为目标的物体的训练数据。之后，标签单元323将所生成的训练数据提供到存储装置313。
在步骤S15中，存储装置313存储在步骤S14中从标签单元323提供的训练数据，之后结束训练数据生成处理。之后，例如，在进行命令利用作为目标的下一物体生成训练数据的操作时，此后，重复类似的处理。
如上所述，在训练数据生成***301中，能够使针对物体(作为生成训练数据的目标)的标记处理自动化，并且能够容易地生成大量的训练数据。
<第二应用例>
图26示出了执行针对作为目标的物体显示适合的评估指标的处理的评估指标显示***的构成示例，作为利用多光谱图像进行的处理的第二应用例。
如图26所示，评估指标显示***303包括多光谱相机311、RGB相机312、输出装置315和评估指标获取处理装置316。而且，多光谱相机311和RGB相机312具有与图23的训练数据生成***301的多光谱相机和RGB相机类似的构造，将省略详细的说明。
输出装置315例如由诸如液晶面板或者有机EL面板等显示器构成，并且通过将评估指标叠加在由RGB相机312拍摄的彩色图像上来显示从评估指标获取处理装置316提供的评估指标。而且，在输出装置315由扬声器构成的情况下，可以输出表示评估指标的合成音频。
评估指标获取处理装置316基于从多光谱相机311提供的多光谱图像和从RGB相机312提供的彩色图像来识别作为目标的物体，并进行获取用于定量地评估物体的评估指标的处理。
如图所示，评估指标获取处理装置316包括光谱信息保持单元321、识别处理单元322、标签单元323和评估指标计算单元324。而且，光谱信息保持单元321、识别处理单元322和标签单元323具有与图23的训练数据生成处理装置314的光谱信息保持单元321、识别处理单元322和标签单元323类似的构造，将省略详细的说明。
将识别处理单元322的识别结果连同由多光谱相机311拍摄的多光谱图像一起提供给评估指标计算单元324。之后，评估指标计算单元324根据从识别处理单元322提供的识别结果自动选择适合物体的种类的评估指标，即表示物体(作为计算评估指标的目标)的种类的名称。例如，评估指标计算单元324保持物体的种类和彼此相关联的相对于该物体的种类的最优评估指标。之后，如下文参照图27A和图27B所述，在西红柿为目标的情况下，选择糖含量作为评估指标，在甘蓝为目标的情况下，选择新鲜度作为评估指标。
而且，评估指标计算单元324基于多光谱图像自动选择计算适于作为目标的物体的种类的评估指标所需的指标计算公式和系数，计算评估指标，并将该评估指标提供到标签单元323。
因此，标签单元323针对从RGB相机312提供的彩色图像进行标记处理，即这样的处理：将从识别处理单元322提供的识别结果和从评估指标计算单元324提供的评估指标添加到从RGB相机312提供的彩色图像。之后，标签单元323将添加有识别结果和评估指标的彩色图像提供到输出装置315以显示为评估结果。
评估指标显示***303按如上所述方式构成，因此，能够在输出装置315的显示器上显示添加有多光谱图像中所拍摄物体的识别结果和评估指标的彩色图像。因此，评估指标显示***303能够仅通过利用多光谱相机311和RGB相机312拍摄所期望的物体来自动显示适于物体的评估指标。
因此，在相关技术中，例如，适于各种食物的评估指标不同，因此，在用户需要针对各种食物启动专用软件或者设置操作模式、系数等的情况下，能够通过评估指标显示***303的自动化来减少这样的劳力。即，用户可以仅仅启动显示评估指标的软件而不管作为目标的物体，因此，评估指标显示***303能够提供更优良的用户体验。
图27A和图27B示出了安装有评估指标显示***303的信息处理终端的应用例。
例如，如图27A所示，在西红柿的出售空间中，仅仅通过信息处理终端的多光谱相机311和RGB相机312拍摄西红柿，就可以自动识别出显示评估指标的目标是西红柿。之后，选择糖含量作为用于西红柿的评估指标，并且通过叠加在由RGB相机312拍摄的彩色图像上而在显示器(为信息处理终端的输出装置315)上显示出对于作为目标的西红柿的评估结果“该西红柿的糖含量为14.0”。而且，例如，在物体识别处理或评估指标的获取的过程中，显示表示处于处理中的消息“在识别食物种类的过程中”。
类似地，例如，如图27B所示，在甘蓝的出售空间中，仅仅通过信息处理终端的多光谱相机311和RGB相机312拍摄甘蓝，就可以自动识别出显示评估指标的目标是甘蓝。之后，选择新鲜度作为用于甘蓝的评估指标，并且通过叠加在由RGB相机312拍摄的彩色图像上而在显示器(为信息处理终端的输出装置315)上显示出对于作为目标的甘蓝的评估结果“甘蓝的新鲜度为70％”。而且，例如，在物体识别处理和评估指标的获取的过程中，显示表示处于处理中的消息“在识别食物种类的过程中”。
另外，如同评估指标，例如，如下文参照图32所述，评估指标显示***303能够获得食物的味道，如下文参照图33所述，评估指标显示***303能够获得水果的水分等。
图28是示出评估指标显示***303的评估指标显示处理的流程图。
例如，在多光谱相机311和RGB相机312指向作为显示评估指标的目标的物体的情况下，在进行命令显示物体的评估指标的操作时，启动该处理。之后，在步骤S21～S23中，执行与图25的步骤S11～S13的处理类似的处理。
在步骤S24中，评估指标计算单元324根据在步骤S23中从识别处理单元322提供的识别结果针对作为目标的物体的种类自动选择最优的评估指标。
在步骤S25中，评估指标计算单元324自动选择计算在步骤S24中选择的评估指标所需的指标计算公式和系数，计算评估指标，并将该评估指标提供到标签单元323。
在步骤S26中，标签单元323在步骤S21中从RGB相机312提供的彩色图像上标记在步骤S23中从识别处理单元322提供的识别结果和在步骤S25中从评估指标计算单元324提供的评估指标，并生成作为目标的物体的评估结果。之后，标签单元323将生成的评估结果提供到输出装置315。
在步骤S27中，输出装置315输出在步骤S26中从标签单元323提供的评估结果，然后结束评估指标显示处理。之后，例如，在进行命令利用作为目标的下一物体显示评估指标的操作时，此后，重复类似的处理。
如上所述，在评估指标显示***303中，能够通过仅仅拍摄物体(作为显示评估指标的目标)来自动显示适于物体的评估结果，并且，例如，能够提供更优良的用户体验。
图29是示出通过程序执行如上所述的一系列处理(图25的训练数据生成处理和图28的评估指标处理)的计算机的硬件的构成示例的框图。
在该计算机中，中央处理单元(CPU)401、只读存储器(ROM)402、随机存取存储器(RAM)403和电可擦除可编程只读存储器(EEPROM)404通过总线405彼此连接。输入/输出接口406进一步连接到总线405，并且输入/输出接口406连接到外部(例如，多光谱相机311、RGB相机312等)。
在如上所述配置的计算机中，例如，CPU 401通过总线405将存储在ROM 402和EEPROM 404中的程序加载到RAM 403，并执行该程序，从而执行如上所述的一系列处理。另外，由计算机(CPU 101)执行的程序被事先写入到ROM 402中，并且可以通过输入/输出接口406从外部安装在EEPROM 404中，或者可以被更新。
而且，训练数据生成***301和评估指标显示***303包括多光谱相机311和RGB相机312两个相机，并且，例如，可以包括能够检测多波长的一个相机。
另外，训练数据生成***301和评估指标显示***303可以结合在包括图1的摄像元件12的摄像装置10中，并且，例如，可以从摄像装置10输出训练数据、评估结果等。
而且，训练数据生成***301和评估指标显示***303并不局限于仅仅通过使用如上所述的多光谱相机311来识别物体，也可以通过使用其它类型的传感器来识别物体。例如，可以使用获取亮度信息的亮度传感器、获取距离信息的飞行时间(time-of-flight，ToF)传感器、获取各种环境信息项的周围环境传感器、获取红外线信息的红外线传感器、获取温度信息的热传感器，可使用通过利用这些传感器获取的信息构成的图像来识别物体。
而且，利用从图1的摄像元件12输出的多光谱图像自动进行的标记处理并不局限于物体的识别结果或者评估结果，可以进行各种信息项的标记。
<<3.变形例>>
在下文中，将说明上述本技术的实施例的变形例。
例如，根据孔间距(透射带)，可以将导体薄膜的膜厚度的类型数设为大于或等于3。
另外，在具有点阵列结构的等离子体滤光片中，可以根据点间距(吸收带)来改变导体薄膜(点)的膜厚度。
具体地，如图13所示，当点间距变窄并且吸收带向短波长移动时，吸收带的峰宽和半宽基本上变窄，但是吸收率(吸收带的负峰值)降低。相反，当点间距变宽并且吸收带向长波长移动时，吸收率(吸收带的负峰值)基本上升高，但是吸收带的峰宽和半宽变宽。
另外，当构成点的导体薄膜变薄时，吸收率基本上降低，但是吸收带的峰宽和半宽变窄。相反，当构成点的导体薄膜变厚时，吸收带的峰宽和半宽基本上变宽，但是吸收率提高。
因此，例如，期望的是，当等离子体滤光片的点间距变窄并且吸收带向短波长移动时，导体薄膜变厚并且吸收率增加，即使吸收带的峰宽和半宽稍微变宽。相反，期望的是，当等离子体滤光片的点间距变宽并且吸收带向长波长移动时，导体薄膜变薄并且透射带的峰宽和半宽变窄，即使吸收率稍微降低。
此外，例如，在相同的透射带(相同的孔间距)或相同的吸收带(相同的点间距)的等离子体滤光片中，可以针对每个像素改变导体薄膜的膜厚度。因此，可以提供透射带或吸收带彼此相同，而灵敏度或吸收率彼此不同的像素。因此，例如，可以提高一部分像素中窄带光的检测精度。
另外，本技术并不是仅限于上述背面照射型CMOS图像传感器，还可以应用于使用等离子体滤光片的其他摄像元件。例如，本技术可以应用于表面照射型CMOS图像传感器、电荷耦合器件(CCD：charge coupled device)图像传感器、具有光电导体结构(其中嵌入有机光电转换膜、量子点结构等)的图像传感器等。
另外，例如本技术可以应用于图30A～图30C所示的层叠的固体摄像装置。
图30A示出了非层叠的固体摄像装置的示意性构造示例。如图30A所示，固体摄像装置1010包括一个晶片(半导体基板)1011。像素以阵列形状布置的像素区域1012、执行除了像素的驱动之外的各种控制的控制电路1013、以及用于信号处理的逻辑电路1014安装在晶片1011上。
图30B和图30C示出了层叠的固体摄像装置的示意性构造示例。如图30B和图30C所示，传感器晶片1021和逻辑晶片1022两个晶片层叠在固体摄像装置1020上，并且彼此电连接，并且传感器晶片1021和逻辑晶片1022被构造为一个半导体芯片。
在图30B中，像素区域1012和控制电路1013安装在传感器晶片1021上，并且包括执行信号处理的信号处理电路的逻辑电路1014安装在逻辑晶片1022上。
在图30C中，像素区域1012安装在传感器晶片1021上，并且控制电路1013和逻辑电路1014安装在逻辑晶片1022上。
此外，本技术可以应用于等离子体滤光片之外的使用金属薄膜的金属薄膜滤光片，并且本技术应用于使用半导体材料的光子晶体可看作是应用例。
<<4.应用例>>
接下来，将说明本技术的应用例。
<本技术的应用例>
例如，如图31所示，本技术能够应用于感测诸如可见光、红外线、紫外线和X射线等光的各种情况。
拍摄欣赏用的图像的设备，例如数码相机或具有相机功能的便携式设备等。
用于交通的设备，例如，为了诸如自动停车、驾驶员的状态识别等安全操作而用于拍摄汽车的前侧、后侧、周围、内部等的车载传感器、用于监视行驶的车辆或道路的监视相机、以及用于测量车辆之间的距离等的距离测量传感器。
用于家用电器的设备，例如TV、冰箱和空调等，以便拍摄使用者的手势，并根据该手势执行设备操作。
用于医疗或保健的设备，例如内窥镜或通过接收红外光进行血管造影的设备。
用于安保的设备，例如，用于预防犯罪的监控相机和用于个人身份认证的相机等。
用于美容护理的设备，例如，用于拍摄皮肤的皮肤测量仪器和拍摄头皮的显微镜等。
用于运动的设备，例如，用于运动的动作相机或可穿戴相机等。
用于农业的设备，例如，用于监视种植或农作物的状态的相机等。
以下，将说明更详细的应用例。
例如，调整图1的摄像装置10的每个像素51的窄带滤光片NB的透射带，因此，能够调整摄像装置10的每个像素51检测到的光的波长带(以下称为检测带)。然后，适当地设置每个像素51的检测带，因此，能够将摄像装置10用于各种应用。
例如，图32示出了在检测食物的味道或新鲜度的情况下的检测带的示例。
例如，在检测表示金枪鱼、牛肉等的味道成分的肌红蛋白的情况下，检测带的峰值波长在580nm～630nm的范围内，并且半宽在30nm～50nm的范围内。在检测表示金枪鱼、牛肉等的新鲜度的油酸的情况下，检测带的峰值波长为980nm，并且半宽在50nm～100nm的范围内。在检测表示诸如芸苔属植物(brassica rapa)等叶菜的新鲜度的叶绿素的情况下，检测带的峰值波长在650nm～700nm的范围内，并且半宽在50nm～100nm的范围内。
图33示出了在检测水果的糖含量或水分的情况下的检测带的示例。
例如，在检测表示Raiden(一种甜瓜品种)的糖含量的果肉光路长度的情况下，检测带的峰值波长为880nm，并且半宽在20nm～30nm的范围内。在检测表示Raiden的糖含量的蔗糖的情况下，检测带的峰值波长为910nm，并且半宽在40nm～50nm的范围内。在检测表示Raiden Red(另一甜瓜品种)的糖含量的蔗糖的情况下，检测带的峰值波长为915nm，并且半宽在40nm～50nm的范围内。在检测表示Raiden Red的糖含量的水分的情况下，检测带的峰值波长为955nm，并且半宽在20nm～30nm的范围内。
在检测表示苹果的糖含量的蔗糖的情况下，检测带的峰值波长为912nm，并且半宽在40nm～50nm的范围内。在检测表示柑橘的水分的水的情况下，检测带的峰值波长为844nm，并且半宽为30nm。在检测表示柑橘的糖含量的蔗糖的情况下，检测带的峰值波长为914nm，并且半宽在40nm～50nm的范围内。
图34示出了在对塑料进行分类的情况下的检测带的示例。
例如，在检测聚对苯二甲酸乙二醇酯(PET)的情况下，检测带的峰值波长为1669nm，并且半宽在30nm～50nm的范围内。在检测聚苯乙烯(PS)的情况下，检测带的峰值波长为1688nm，并且半宽在30nm～50nm的范围内。在检测聚乙烯(PE)的情况下，检测带的峰值波长为1735nm，并且半宽在30nm～50nm的范围内。在检测聚氯乙烯(PVC)的情况下，检测带的峰值波长在1716nm～1726nm的范围内，并且半宽在30nm～50nm的范围内。在检测聚丙烯(PP)的情况下，检测带的峰值波长在1716nm～1735nm的范围内，并且半宽在30nm～50nm的范围内。
另外，例如，本技术能够应用于摘下的花的新鲜度管理。
此外，例如，本技术能够应用于检查混入食物中的异物。例如，本技术能够应用于检测异物，例如混入诸如杏仁等坚果、蓝莓、核桃或水果中的壳、果皮、石头、叶子、树枝和木屑。另外，例如，本技术能够应用于检测诸如混入加工食品、饮料等中的塑料片等异物。
此外，例如，本技术能够应用于作为植被指数的归一化差值植被指数(normalizeddifference vegetation index，NDVI)的检测。
另外，例如，本技术能够应用于基于580nm波长附近的光谱形状(源自人皮肤的血红蛋白)和960nm波长附近的光谱形状(源自人皮肤中含有的黑色素染料)中的任一者或两者来检测人体。
此外，例如，本技术能够应用于用户界面和标志的生物检测(生物认证)、制造预防、监控等。
<内窥镜手术***的应用例>
另外，例如，根据本发明的实施例的技术(本技术)可以应用于内窥镜手术***。
图35是示出应用根据本发明的实施例的技术(本技术)的内窥镜手术***的示意性构造的示例的图。
图35示出了手术人员(医生)11113使用内窥镜手术***11000对病床11133上的患者11132进行手术的状态。如图所示，内窥镜手术***11000由内窥镜(endoscope)11100、诸如气腹管(pneumoperitoneumtube)11111或能量处置工具11112等其他手术器械11110、支撑内窥镜11100的支撑臂装置11120、和安装有用于内窥镜手术的各种装置的推车11200构成。
内窥镜11100由镜筒11101和摄像头11102构成，从镜筒11101的末端起的预定长度的区域被***患者11132的体腔中，摄像头11102连接到镜筒11101的底端。在所示的示例中，示出了构造为包括刚性镜筒11101的所谓刚性镜的内窥镜11100，并且内窥镜11100可以被构造为包括柔性镜筒的所谓柔性镜。
在镜筒11101的末端上设置有嵌有物镜的开口部分。光源装置11203连接到内窥镜11100，并且由光源装置11203产生的光通过在镜筒11101中延伸的光导被引导到该镜筒的末端，并且该光通过上述物镜照射到患者11132体腔中的观察对象。此外，内窥镜11100可以是直视镜(direct view mirror)，或者可以是***(perspective view mirror)或侧视镜(side view mirror)。
在摄像头11102上设置有光学***和摄像元件，并且来自观察对象的反射光(观察光)被该光学***聚集在该摄像元件上。观察光经过摄像元件进行光电转换，并因此产生了对应于观察光的电信号，即，对应于观察图像的图像信号。该图像信号作为RAW数据被发送到相机控制单元(camera control unit：CCU)11201。
CCU 11201由中央处理单元(CPU：central processing unit)、图形处理单元(GPU：graphics processing unit)等构成，并且整体地控制内窥镜11100和显示装置11202的操作。此外，CCU 11201接收来自摄像头11102的图像信号，并且对该图像信号执行诸如显像处理(去马赛克处理)等用于显示基于该图像信号的图像的各种图像处理。
根据CCU 11201的控制，显示装置11202显示基于图像信号(已经由CCU 11201执行了图像处理)的图像。
例如，光源装置11203由诸如发光二极管(LED：light emitting diode)等光源构成，并在拍摄手术部位等时将照射光提供给内窥镜11100。
输入装置11204是内窥镜手术***11000的输入接口。用户可以通过输入装置11204执行内窥镜手术***11000的各种信息输入或指令输入。例如，用户输入用于改变内窥镜11100的摄像条件(照射光的类型、倍率、焦距等)的指令等。
处置工具控制装置11205控制能量处置工具11112的驱动，例如组织的烧灼、血管的切割或封止等。气腹装置11206通过气腹管11111将气体送入体腔中，从而使患者11132的体腔膨胀，以便确保内窥镜11100的视野和手术人员的操作空间。记录仪11207是能够记录与手术有关的各种信息的装置。打印机11208是能够打印诸如文本、图像或图表等各种格式的与手术有关的各种信息的装置。
此外，例如，在拍摄手术部位时向内窥镜11100提供照射光的光源装置11203可以由白光源构成，该白光源由LED、激光光源、或LED和激光光源的组合构成。在白光源由RGB激光光源的组合构成的情况下，能够以高精度来控制各颜色(各波长)的输出强度和输出时序，因此，在光源装置11203中能够调整所拍摄的图像的白平衡。另外，在这种情况下，RGB激光光源利用各自的激光光线以时分方式照射观察对象，并且与照射时序同步地控制摄像头11102的摄像元件的驱动，因此，还可以以时分的方式拍摄对应于RGB中各者的图像。根据上述方法，即使在摄像元件中没有设置彩色滤光片的情况下，也可以获得彩色图像。
另外，可以控制光源装置11203的驱动，使得针对各预定时间改变要输出的光强度。与光强度变化的时刻同步地控制摄像头11102的摄像元件的驱动，以时分的方式获取图像，并且合成图像，因此，可以产生高动态范围的图像，而没有所谓的黑色缺陷(blackdefect)和过度曝光(overexposure)。
另外，光源装置11203可以被配置成能够提供与特殊光观察相对应的预定波长带的光。在特殊光观察中，例如，与普通观察时的照射光(换句话说，白光)相比，通过利用人体组织中的光吸收的波长依赖性来发射窄带光，从而执行所谓的窄带光观察(窄带摄像)，该窄带光观察以高对比度拍摄黏膜表层上的血管等的预定组织。可替代地，在特殊光观察中，可以执行通过发射激发光而产生的荧光来获得图像的荧光观察。在荧光观察中，利用激发光照射人体组织，从而能够观察来自该人体组织的荧光(自发荧光观察)，或者可以将诸如吲哚菁绿(ICG：indocyanine green)等试剂局部注射到人体组织中，并且利用与该试剂的荧光波长对应的激发光照射人体组织，从而能够获得荧光图像。光源装置11203可被构造成能够提供与这种特殊光观察对应的窄带光和/或激发光。
图36是示出图35所示的摄像头11102和CCU 11201的功能构造的示例的框图。
摄像头11102包括透镜单元11401、摄像单元11402、驱动单元11403、通信单元11404和摄像头控制单元11405。CCU 11201包括通信单元11411、图像处理单元11412和控制单元11413。摄像头11102和CCU 11201通过传输线缆11400彼此可通信地连接。
透镜单元11401是设置在镜筒11101的连接部分中的光学***。从镜筒11101的末端所获取的观察光被引导到摄像头11102，并入射到透镜单元11401上。透镜单元11401由多个透镜(包括变焦透镜和聚焦透镜)的组合构成。
构成摄像单元11402的摄像元件可以是一个摄像元件(所谓的单板型摄像元件)，或者可以是多个摄像元件(所谓的多板型摄像元件)。例如，在摄像单元11402由多板型摄像元件构成的情况下，每个摄像元件产生与RGB中的各者对应的图像信号，并合成这些图像信号，从而可以获得彩色图像。可替代地，摄像单元11402可以被构造成包括一对摄像元件，用于获取与三维(3D)显示对应的右眼图像信号和左眼图像信号。通过执行3D显示，手术人员11113可以更精确地掌握手术部位中的身体组织的深度。此外，在摄像单元11402由多板型摄像元件构成的情况下，还能够与每个摄像元件对应地设置多个透镜单元11401。
另外，摄像单元11402并非必须设置在摄像头11102上。例如，摄像单元11402可以设置在镜筒11101内且紧跟在物镜的后方。
驱动单元11403由致动器构成，并且驱动单元11403根据摄像头控制单元11405的控制将透镜单元11401的变焦透镜和聚焦透镜沿着光轴移动预定距离。因此，能够适当地调整通过摄像单元11402而获得的拍摄图像的倍率和焦点。
通信单元11404由用于向CCU 11201发送各种信息和从CCU 11201接收各种信息的通信装置构成。通信单元11404将从摄像单元11402获得的图像信号作为RAW数据通过传输线缆11400发送到CCU 11201。
另外，通信单元11404从CCU 11201接收用于控制摄像头11102的驱动的控制信号，并将该控制信号提供给摄像头控制单元11405。例如，控制信号包括与摄像条件相关的信息，例如，用于规定所拍摄图像的帧率的信息、用于规定摄像时的曝光值的信息、和/或用于规定所拍摄图像的倍率和焦点的信息等。
此外，诸如上述的帧率或曝光值、倍率、焦点等摄像条件可以由用户适当地指定，或者可以由CCU 11201的控制单元11413基于所获取的图像信号来自动地设置。在后一种情况下，所谓的自动曝光(AE：auto exposure)功能、自动聚焦(AF：auto focus)功能和自动白平衡(AWB：auto white balance)功能都被安装在内窥镜11100中。
摄像头控制单元11405基于通过通信单元11404接收的来自CCU 11201的控制信号来控制摄像头11102的驱动。
通信单元11411由用于向摄像头11102发送各种信息和从摄像头11102接收各种信息的通信装置构成。通信单元11411接收通过传输线缆11400从摄像头11102发送的图像信号。
另外，通信单元11411将用于控制摄像头11102的驱动的控制信号发送到摄像头11102。上述图像信号和上述控制信号能够通过电通信、光通信等进行传输。
图像处理单元11412对从摄像头11102发送来的作为RAW数据的图像信号执行各种图像处理。
控制单元11413执行与使用内窥镜11100对手术部位等进行摄像有关的各种控制，并显示通过对手术部位等进行摄像而获得的拍摄图像。例如，控制单元11413产生用于控制摄像头11102的驱动的控制信号。
另外，基于已经由图像处理单元11412执行了图像处理的图像信号，控制单元11413使反映了手术部位等的所拍摄的图像显示在显示装置11202上。此时，控制单元11413可以通过利用各种图像识别技术来识别所拍摄图像中的各种物体。例如，控制单元11413检测所拍摄图像中所包括的物体的边缘的形状、颜色等，从而能够识别出诸如镊子等手术工具、特定组织部位、出血、在使用能量处置工具11112时的薄雾等。当使显示装置11202显示出所拍摄图像时，控制单元11413可以通过利用识别结果在手术部位的图像上叠加信息来显示各种手术辅助信息。手术辅助信息通过被叠加而显示，并且呈现给手术人员11113，因此，可以减少手术人员11113的负担，并且可以使手术人员11113可靠地进行手术。
将摄像头11102和CCU 11201连接在一起的传输线缆11400是与电信号的通信对应的电信号线缆、与光通信对应的光纤、或者它们的复合线缆。
这里，在所示的示例中，通过使用传输线缆11400以有线的方式执行通信，并且也可以以无线的方式执行摄像头11102与CCU 11201之间的通信。
如上所述，已经说明了通过应用根据本发明的实施例的技术而获得内窥镜手术***的示例。在上述构造中，例如，根据本发明的实施例的技术能够通过应用于摄像头11102或摄像头11102的摄像单元11402而实现。具体地，例如，图1的摄像元件12能够应用于摄像单元11402。可以通过将根据本发明的实施例的技术应用于摄像单元11402来获得更具体和高精度的手术部位图像，因此，手术人员可以可靠地确认手术部位。
此外，这里，尽管已经将内窥镜手术***作为示例进行了说明，但是根据本发明的实施例的技术还可以应用于例如除了内窥镜手术***之外的显微镜手术***等。
<移动体的应用例>
另外，例如，根据本发明的实施例的技术可以被实施为安装在任何类型的移动体上的装置，该移动体例如是：汽车、电动汽车、混合动力汽车、摩托车、自行车、个人移动设备、飞机、无人机、船舶和机器人等。
图37是示出作为移动体控制***的示例的车辆控制***(其通过应用根据本发明的实施例的技术而获得)的示意性构造示例的框图。
车辆控制***12000包括通过通信网络12001彼此连接的多个电子控制单元。在图40所示的示例中，车辆控制***12000包括：驱动***控制单元12010、车身***控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，示出微型计算机12051、声音图像输出单元12052以及车载网络接口(I/F)12053作为集成控制单元12050的功能构造。
驱动***控制单元12010根据各种程序来控制与车辆的驱动***有关的设备的操作。例如，驱动***控制单元12010起到下述各设备的控制装置的作用，这些设备是：诸如内燃机或驱动电机等用于产生车辆的驱动力的驱动力产生设备；用于将驱动力传递到车轮的驱动力传递机构；用于调节车辆的舵角的转向机构；用于产生车辆的制动力的制动设备等。
车身***控制单元12020根据各种程序来控制安装在车体上的各种设备的操作。例如，车身***控制单元12020起到下述各设备的控制装置的作用，这些设备是：无钥匙进入***；智能钥匙***；电动车窗装置；以及诸如前灯、尾灯、刹车灯、闪光灯或雾灯等各种灯。在这种情况下，能够将代替钥匙的从便携式设备发送的电波或各种开关的信号输入到车身***控制单元12020。车身***控制单元12020接收这些电波或信号的输入，并且控制车辆的门锁装置、电动车窗装置、灯等。
车外信息检测单元12030检测安装有车辆控制***12000的车辆的外部信息。例如，摄像单元12031连接到车外信息检测单元12030。车外信息检测单元12030通过摄像单元12031拍摄车辆外部的图像，并且接收所拍摄的图像。车外信息检测单元12030可以基于所接收到的图像对路面上的行人、车辆、障碍物、标志、符号等执行物体检测处理或距离检测处理。
摄像单元12031是用于接收光并且根据所接收的光量输出电信号的光学传感器。摄像单元12031能够将该电信号作为图像输出，并且能够将该电信号作为距离测量信息输出。此外，由摄像单元12031接收的光可以是可见光，或者可以是诸如红外线等非可见光。
车内信息检测单元12040检测车辆内部的信息。例如，用于检测驾驶员状态的驾驶员状态检测单元12041连接到车内信息检测单元12040。例如，驾驶员状态检测单元12041包括用于拍摄驾驶员的相机，并且车内信息检测单元12040可以基于从驾驶员状态检测单元12041输入的检测信息来计算驾驶员的疲劳程度或专注程度，或者可以判断驾驶员是否打瞌睡。
基于由车外信息检测单元12030或车内信息检测单元12040获取到的车辆外部或内部信息，微型计算机12051能够计算驱动力产生设备、转向机构、或制动设备的控制目标值，并且能够向驱动***控制单元12010输出控制命令。例如，微型计算机12051能够执行用于实现高级驾驶员辅助***(ADAS：advanced driver assistance system)功能的协同控制，所述高级驾驶员辅助***的功能包括：车辆的碰撞避免或撞击缓冲、基于车间距离的跟随行驶、车速保持行驶、车辆碰撞警告、车辆的车道偏离警告等。
另外，基于由车外信息检测单元12030或车内信息检测单元12040获取到的车辆周边的信息，微型计算机12051控制驱动力产生设备、转向机构、制动设备等，并且能够执行用于实现不依赖驾驶员的操作而使车辆自主行驶的自动驾驶的协同控制。
另外，基于车外信息检测单元12030获取到的车辆外部的信息，微型计算机12051能够向车身***控制单元12020输出控制命令。例如，微型计算机12051根据由车外信息检测单元12030检测到的前车或对面来车的位置来控制前灯，并因此能够执行防眩光的协同控制，例如从远光灯切换到近光灯。
声音图像输出单元12052将声音和图像中的至少一者的输出信号发送到输出设备，该输出设备能够在视觉上或在听觉上向车上的乘客或车辆外部通知信息。在图40的示例中，音频扬声器12061、显示单元12062和设备面板12063被举例作为输出设备。例如，显示单元12062可以包括车载显示器(on-board display)和平视显示器(head-up display)中的至少一者。
图38是示出摄像单元12031的安装位置的示例的图。
在图38中，摄像单元12031包括摄像单元12101、12102、12103、12104和12105。
例如，摄像单元12101、12102、12103、12104和12105被设置于例如车辆12100的前鼻、后视镜、后保险杠、后门、和车内的前玻璃的上部等位置。设置于前鼻处的摄像单元12101和设置于车内的前玻璃的上部处的摄像单元12105主要获取车辆12100前方的图像。设置于后视镜处的摄像单元12102和12103主要获取车辆12100侧方的图像。设置于后保险杠或后门处的摄像单元12104主要获取车辆12100后方的图像。设置于车内的前玻璃的上部处的摄像单元12105主要用于检测前车、行人、障碍物、交通信号灯、交通标志、车道等。
此外，图38示出了摄像单元12101～12104的拍摄范围的示例。摄像范围12111表示设置于前鼻处的摄像单元12101的摄像范围，摄像范围12112和12113分别表示设置于后视镜处的摄像单元12102和12103的摄像范围，以及摄像范围12114表示设置于后保险杠或后门处的摄像单元12104的摄像范围。例如，通过将摄像单元12101～12104拍摄到的图像数据彼此叠加，从而获得从上方所视的车辆12100的俯瞰图像。
摄像单元12101～12104中的至少一者可以具有获取距离信息的功能。例如，摄像单元12101～12104中的至少一者可以是由多个摄像元件形成的立体相机，或者可以是包括用于检测相位差的像素的摄像元件。
例如，基于从摄像单元12101～12104获得的距离信息，微型计算机12051获得了距摄像范围12111～12114内的各个立体物的距离以及该距离随时间的变化(相对于车辆12100的相对速度)，从而，特别地，在车辆12100的行驶道路上的最靠近的立体物中，提取在与车辆12100大致相同的方向上以预定速度(例如，大于或等于0km/h)行驶的立体物作为前车。此外，微型计算机12051设置预先确保的距前车的车辆间距离，从而能够执行自动制动控制(也包括跟随停止控制)、自动加速控制(也包括跟随起动控制)等。因此，可以执行用于实现不依赖于驾驶员的操作而使车辆自动行驶的自动驾驶的协同控制。
例如，基于从摄像单元12101～12104获得的距离信息，微型计算机12051可以通过将数据分类为其他立体物(例如两轮车辆、普通车辆、大型车辆、行人、和电线杆等)来提取与立体物有关的立体物数据，并且使用这些数据来自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物区分为车辆12100的驾驶员可见的障碍物和不可见的障碍物。然后，微型计算机12051判定用于表示与各个障碍物发生碰撞的危险度的碰撞风险，并且在碰撞风险大于或等于设定值，即，存在碰撞可能性的情况下，通过音频扬声器12061或显示单元12062向驾驶员输出警告，或者通过驱动***控制单元12010执行强制减速和避让转向，从而可以执行用于避免碰撞的驾驶辅助。
摄像单元12101～12104中的至少一者可以是检测红外线的红外相机。例如，微型计算机12051判定摄像单元12101～12104的所拍摄图像中是否存在行人，从而可以识别行人。例如，通过如下过程来执行对行人的这种识别：提取作为红外相机的摄像单元12101～12104的所拍摄图像中的特征点；以及通过对表示物体轮廓的一系列特征点进行图案匹配处理来判定是否有行人。微型计算机12051判定摄像单元12101～12104的所拍摄图像中存在行人，并且在识别出该行人的情况下，声音图像输出单元12052控制显示单元12062，使得在所识别出的行人上叠加用于强调的矩形轮廓线来显示。此外，声音图像输出单元12052可以控制显示单元12062，使得在所期望的位置处显示用于表示行人的图标等。
如上所述，已经说明了通过应用根据本发明的实施例的技术而获得的车辆控制***的示例。在上述构造中，根据本发明的实施例的技术例如能够应用于摄像单元12031。具体地，例如，图1的摄像装置10能够应用于摄像单元12031。通过将根据本发明的实施例的技术应用于摄像单元12031，例如，可以以更高的精度更具体地获得车外信息，并且可以实现自动驾驶的改进等或安全。
此外，本技术的实施例不限于上述实施例，并且能够在不脱离本技术的主旨的范围内进行各种改变。
另外，本技术也可以按如下方式配置。
(1)一种摄像***，其包括：
多光谱相机，其用于获取物体的多光谱图像；
RGB相机，其用于获取所述物体的彩色图像；
至少一个存储装置，其用于存储多个标记物体中的每个标记物体的光谱信息；以及
处理电路，其按如下方式配置：
基于所获取的多光谱图像确定与所述物体相关联的光谱信息；
至少部分地基于与所述物体相关联的光谱信息以及所存储的多个所述物体中的每个物体的光谱信息，将标签与所述物体的所述彩色图像相关联；以及
将所述彩色图像和相关联的标签作为训练数据存储在所述至少一个存储装置中。
(2)根据(1)所述的摄像***，其中，将标签与所述物体的所述彩色图像相关联包括：
利用所存储的多个标记物体中的每个标记物体的光谱信息，确定所述物体的所述光谱信息的相似性测量值；
基于所确定的相似性测量值识别具有最高相似性测量值的所述标记物体；并且
将与具有最高相似性测量值的所述标记物体相关联的标签与所述物体的所述彩色图像相关联。
(3)根据(2)所述的摄像***，其中，所述相似性测量值包括相似率。
(4)根据(2)或(3)所述的摄像***，其中，将标签与所述物体的所述彩色图像相关联进一步包括：
将具有最高相似性测量值的所述标记物体的相似性测量值与阈值进行比较；并且
仅在所述标记物体的所述相似性测量值大于所述阈值时，将与具有最高相似性测量值的所述标记物体相关联的标签与所述物体的所述彩色图像相关联。
(5)根据(1)～(4)中任一项所述的摄像***，其中，确定与所述物体相关联的光谱信息包括：
识别包括所述物体的所述多光谱图像的区域，其中，所述区域包括小于整个图像的区域；并且
基于所述多光谱图像的所述区域确定与所述物体相关联的所述光谱信息。
(6)根据(1)～(5)中任一项所述的摄像***，其中，所述多光谱相机和所述RGB相机用于分别同时获取所述多光谱图像和所述彩色图像。
(7)根据(1)～(6)中任一项所述的摄像***，其中，所述处理电路进一步用于利用存储的所述训练数据训练物体分类词以生成训练过的物体分类词。
(8)根据(7)所述的摄像***，其中，所述处理电路进一步用于利用所述训练过的物体分类词对接收到的彩色图像中的物体进行分类。
(9)根据(8)所述的摄像***，其中，所述处理电路进一步用于：
至少部分地基于接收到的彩色图像中的物体的分类和与所述物体相关联的光谱信息来确定所述物体的特征的评估指标值；并且
在显示器上输出所述评估指标值的表示。
(10)根据(9)所述的摄像***，其中，所述处理电路进一步用于在所述显示器上输出所述接收到的彩色图像和所述彩色图像中的物体的分类的表示。
(11)根据(9)所述的摄像***，其中，分类值的所述表示包括文本，并且，其中，所述处理电路还用于在所述显示器上输出叠加在所述接收到的彩色图像上的所述文本。
(12)根据(9)所述的摄像***，其中，确定所述物体的特征的评估指标值包括：
至少部分地基于所述物体的所述分类来选择计算所述评估指标值所需的指标计算公式和系数；并且
利用所选择的指标计算公式和系数确定所述评估指标值。
(13)根据(9)所述的摄像***，其中，所述处理电路进一步用于确定与所述物体相关联的所述光谱信息。
(14)一种物体分类***，其包括：
至少一个存储装置，其用于存储训练过的物体分类词；以及
处理电路，其按如下方式配置：
利用所述训练过的物体分类词对接收到的彩色图像中的物体进行分类；
至少部分地基于接收到的彩色图像中的物体的分类和与所述物体相关联的光谱信息来确定所述物体的特征的评估指标值；并且
在显示器上输出所述评估指标值的表示。
(15)根据(14)所述的物体分类***，其中，所述处理电路进一步用于在所述显示器上输出所述接收到的彩色图像和所述彩色图像中的物体的分类的表示。
(16)根据(14)或(15)所述的物体分类***，其中，确定所述物体的特征的评估指标值包括：
至少部分地基于所述物体的所述分类来选择计算所述评估指标值所需的指标计算公式和系数；并且
利用所选择的指标计算公式和系数确定所述评估指标值。
(17)根据(14)～(16)中任一项所述的物体分类***，其中，所述接收到的彩色图像中的所述物体是食物，并且，其中，所述物体的所述特征是所述食物的新鲜度或营养成分。
(18)根据(14)～(17)中任一项所述的物体分类***，其中，所述处理电路进一步用于：
识别包括所述物体的所述接收到的彩色图像的区域，其中，所述区域包括小于整个图像的区域；并且
基于所述彩色图像的识别区域对物体进行分类。
(19)根据(14)～(18)中任一项所述的物体分类***，其还包括用于获取所述彩色图像的相机。
(20)根据(14)～(19)中任一项所述的物体分类***，其中，所述处理电路进一步用于确定与所述物体相关联的所述光谱信息。
本领域技术人员应该理解，可以根据设计要求和其他因素进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内即可。
相关申请的交叉引用
本申请要求于2016年12月13日提交的日本优先权专利申请JP2016-241355的权益，其全部内容通过引用合并于此。
附图标记列表
301 训练数据生成***
302 物体识别***
303 评估指标显示***
311 多光谱相机
312 RGB相机
313 存储装置
314 训练数据生成处理装置
315 输出装置
321 光谱信息保持单元
322 识别处理单元
323 标签单元
324 评估指标计算单元
331 存储装置
332 学习工具
333 RGB相机
334 输出装置

Claims (20)

1.一种摄像***，其包括：
多光谱相机，其用于获取物体的多光谱图像；
RGB相机，其用于获取所述物体的彩色图像；
至少一个存储装置，其用于存储多个标记物体中的每个标记物体的光谱信息；以及
处理电路，其配置成：
基于所获取的多光谱图像确定与所述物体相关联的光谱信息；
至少部分地基于与所述物体相关联的光谱信息以及所存储的多个所述物体中的每个物体的光谱信息，将标签与所述物体的所述彩色图像相关联；以及
将所述彩色图像和相关联的标签作为训练数据存储在所述至少一个存储装置中。
2.根据权利要求1所述的摄像***，其中，将标签与所述物体的所述彩色图像相关联包括：
利用所存储的多个标记物体中的每个标记物体的光谱信息，确定所述物体的所述光谱信息的相似性测量值；
基于所确定的相似性测量值识别具有最高相似性测量值的所述标记物体；并且
将与具有最高相似性测量值的所述标记物体相关联的标签与所述物体的所述彩色图像相关联。
3.根据权利要求2所述的摄像***，其中，所述相似性测量值包括相似率。
4.根据权利要求2所述的摄像***，其中，将标签与所述物体的所述彩色图像相关联进一步包括：
将具有最高相似性测量值的所述标记物体的相似性测量值与阈值进行比较；并且
仅在所述标记物体的所述相似性测量值大于所述阈值时，将与具有最高相似性测量值的所述标记物体相关联的标签与所述物体的所述彩色图像相关联。
5.根据权利要求1所述的摄像***，其中，确定与所述物体相关联的光谱信息包括：
识别包括所述物体的所述多光谱图像的区域，其中，所述区域包括小于整个图像的区域；并且
基于所述多光谱图像的所述区域确定与所述物体相关联的所述光谱信息。
6.根据权利要求1所述的摄像***，其中，所述多光谱相机和所述RGB相机用于同时分别获取所述多光谱图像和所述彩色图像。
7.根据权利要求1所述的摄像***，其中，所述处理电路进一步用于利用存储的所述训练数据训练物体分类词以生成训练过的物体分类词。
8.根据权利要求7所述的摄像***，其中，所述处理电路进一步用于利用所述训练过的物体分类词对接收到的彩色图像中的物体进行分类。
9.根据权利要求8所述的摄像***，其中，所述处理电路进一步用于：
至少部分地基于接收到的彩色图像中的物体的分类和与所述物体相关联的光谱信息来确定所述物体的特征的评估指标值；并且
在显示器上输出所述评估指标值的表示。
10.根据权利要求9所述的摄像***，其中，所述处理电路进一步用于在所述显示器上输出所述接收到的彩色图像和所述彩色图像中的物体的分类的表示。
11.根据权利要求9所述的摄像***，其中，分类值的所述表示包括文本，并且，其中，所述处理电路还用于在所述显示器上输出叠加在所述接收到的彩色图像上的所述文本。
12.根据权利要求9所述的摄像***，其中，确定所述物体的特征的评估指标值包括：
至少部分地基于所述物体的所述分类来选择计算所述评估指标值所需的指标计算公式和系数；并且
利用所选择的指标计算公式和系数确定所述评估指标值。
13.根据权利要求9所述的摄像***，其中，所述处理电路进一步用于确定与所述物体相关联的所述光谱信息。
14.一种物体分类***，其包括：
至少一个存储装置，其用于存储训练过的物体分类词；以及
处理电路，其配置成：
利用所述训练过的物体分类词对接收到的彩色图像中的物体进行分类；
至少部分地基于接收到的彩色图像中的物体的分类和与所述物体相关联的光谱信息来确定所述物体的特征的评估指标值；并且
在显示器上输出所述评估指标值的表示。
15.根据权利要求14所述的物体分类***，其中，所述处理电路进一步用于在所述显示器上输出所述接收到的彩色图像和所述彩色图像中的物体的分类的表示。
16.根据权利要求14所述的物体分类***，其中，确定所述物体的特征的评估指标值包括：
至少部分地基于所述物体的所述分类来选择计算所述评估指标值所需的指标计算公式和系数；并且
利用所选择的指标计算公式和系数确定所述评估指标值。
17.根据权利要求14所述的物体分类***，其中，所述接收到的彩色图像中的所述物体是食物，并且，其中，所述物体的所述特征是所述食物的新鲜度或营养成分。
18.根据权利要求14所述的物体分类***，其中，所述处理电路进一步用于：
识别包括所述物体的所述接收到的彩色图像的区域，其中，所述区域包括小于整个图像的区域；并且
基于所述彩色图像的识别区域对物体进行分类。
19.根据权利要求14所述的物体分类***，其还包括用于获取所述彩色图像的相机。
20.根据权利要求14所述的物体分类***，其中，所述处理电路进一步用于确定与所述物体相关联的所述光谱信息。
CN201780073792.7A 2016-12-13 2017-12-12 数据处理装置、数据处理方法、程序和电子装置 Active CN110023952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310393059.0A CN116958632A (zh) 2016-12-13 2017-12-12 物体分类***

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016241355A JP6910792B2 (ja) 2016-12-13 2016-12-13 データ処理装置、データ処理方法、プログラム、および電子機器
JP2016-241355 2016-12-13
PCT/JP2017/044631 WO2018110575A1 (en) 2016-12-13 2017-12-12 Data processing device, data processing method, program, and electronic device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310393059.0A Division CN116958632A (zh) 2016-12-13 2017-12-12 物体分类***

Publications (2)

Publication Number Publication Date
CN110023952A true CN110023952A (zh) 2019-07-16
CN110023952B CN110023952B (zh) 2023-08-18

Family

ID=60888561

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310393059.0A Pending CN116958632A (zh) 2016-12-13 2017-12-12 物体分类***
CN201780073792.7A Active CN110023952B (zh) 2016-12-13 2017-12-12 数据处理装置、数据处理方法、程序和电子装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310393059.0A Pending CN116958632A (zh) 2016-12-13 2017-12-12 物体分类***

Country Status (5)

Country Link
US (2) US11120287B2 (zh)
EP (1) EP3555805A1 (zh)
JP (2) JP6910792B2 (zh)
CN (2) CN116958632A (zh)
WO (1) WO2018110575A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738180A (zh) * 2020-06-28 2020-10-02 浙江大华技术股份有限公司 关键点的标注方法、装置、存储介质及电子装置
CN111951662A (zh) * 2020-06-03 2020-11-17 中山大学 一种基于结构单元尺寸差异的物理型信息隐藏结构及其制备方法
CN113777056A (zh) * 2021-08-13 2021-12-10 昆山格博尔智能科技有限责任公司 基于多光谱cmos图像芯片的油墨配色检测方法
CN114788257A (zh) * 2019-12-18 2022-07-22 索尼半导体解决方案公司 信息处理装置、信息处理方法、程序、成像装置和成像***
CN115758206A (zh) * 2022-11-07 2023-03-07 武汉麓谷科技有限公司 一种快速查找ZNS固态硬盘中NorFlash上次写结束位置的方法
US11861883B2 (en) 2019-05-16 2024-01-02 Sony Group Corporation Information processing apparatus and information processing method

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6910792B2 (ja) 2016-12-13 2021-07-28 ソニーセミコンダクタソリューションズ株式会社 データ処理装置、データ処理方法、プログラム、および電子機器
JP7320704B2 (ja) * 2018-05-31 2023-08-04 パナソニックＩｐマネジメント株式会社 学習装置、検査装置、学習方法および検査方法
JP7083037B2 (ja) 2018-09-20 2022-06-09 富士フイルム株式会社 学習装置及び学習方法
EP3869452A4 (en) * 2018-10-15 2021-12-08 Panasonic Intellectual Property Management Co., Ltd. OBJECT DETECTION METHOD, VEHICLE CONTROL METHOD, INFORMATION DISPLAY METHOD, AND OBJECT DETECTION DEVICE
TWI830907B (zh) * 2019-06-05 2024-02-01 日商索尼半導體解決方案公司 圖像辨識裝置及圖像辨識方法
KR20210094328A (ko) 2020-01-21 2021-07-29 삼성전자주식회사 대상체 인식 장치 및 그 동작 방법
JP6875024B2 (ja) * 2020-01-22 2021-05-19 株式会社フロンティア・フィールド 支援システム及び支援プログラム
EP4230997A1 (en) * 2020-10-13 2023-08-23 Riken Mobile apparatus, food characteristics determination device, food characteristics determination method, and program
US11341698B1 (en) * 2020-12-18 2022-05-24 Tiliter Pty Ltd. Methods and apparatus for simulating images of produce with markings from images of produce and images of markings
AU2022214943A1 (en) * 2021-01-29 2023-02-09 Illumina, Inc. Deep learning-based root cause analysis of process cycle images
JP2022143220A (ja) * 2021-03-17 2022-10-03 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法及び電子機器
DE102021207009A1 (de) 2021-07-05 2023-01-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Erkennen eines Pflanzengesundheitszustands von Pflanzen für eine Landmaschine
KR102590616B1 (ko) * 2021-10-06 2023-10-17 한국식품연구원 비파괴 분석기술 기반의 배추 연부병 진단용 다분광 영상장치 및 이의 제작방법
JP7324329B1 (ja) 2022-03-18 2023-08-09 維沃移動通信有限公司 画像処理方法、装置、電子機器及び読み取り可能な記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007165995A (ja) * 2005-12-09 2007-06-28 Ntt Data Corp 画像生成装置、画像生成方法および画像生成プログラム
CN102661794A (zh) * 2012-03-20 2012-09-12 清华大学 多光谱计算重构方法及***
US20160150213A1 (en) * 2014-11-21 2016-05-26 Christopher M. MUTTI Imaging system for object recognition and assessment

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3344731B2 (ja) * 1991-05-29 2002-11-18 政典 杉坂 栗の形状識別方法
JPH1083455A (ja) * 1996-07-08 1998-03-31 Sony Corp 物体認識装置および方法
JP2003006612A (ja) 2001-06-20 2003-01-10 Ntt Data Corp 収穫予測装置及び方法
JP4352078B2 (ja) 2007-03-28 2009-10-28 三菱電機株式会社 車載電子制御装置の給電制御回路
JP4770928B2 (ja) 2009-01-13 2011-09-14 ソニー株式会社 光学素子および固体撮像素子
US8625889B2 (en) * 2010-12-30 2014-01-07 Samsung Electronics Co., Ltd. System for food recognition method using portable devices having digital cameras
JP5766958B2 (ja) * 2011-01-21 2015-08-19 オリンパス株式会社 顕微鏡システム、情報処理装置、及び情報処理プログラム
JP5673823B2 (ja) 2011-06-29 2015-02-18 富士通株式会社 植物種識別装置、方法およびプログラム
JP5760811B2 (ja) * 2011-07-28 2015-08-12 ソニー株式会社 固体撮像素子および撮像システム
MX2014004004A (es) * 2011-10-05 2015-01-14 Cireca Theranostics Llc Metodo y sistema para analizar especimenes biologicos por medio de imagenes espectrales.
US9189703B2 (en) * 2012-07-09 2015-11-17 Canon Kabushiki Kaisha Systems and methods for colorimetric and spectral material estimation
JP6105728B2 (ja) * 2013-06-14 2017-03-29 シャープ株式会社 固体撮像装置
US9606056B2 (en) * 2013-12-06 2017-03-28 Canon Kabushiki Kaisha Selection of spectral bands or filters for material classification under multiplexed illumination
US20150012226A1 (en) * 2013-07-02 2015-01-08 Canon Kabushiki Kaisha Material classification using brdf slices
US9989463B2 (en) * 2013-07-02 2018-06-05 Canon Kabushiki Kaisha Material classification
CN105580052A (zh) * 2013-07-02 2016-05-11 豪夫迈·罗氏有限公司 食物体积和碳水化合物的估计
US9659225B2 (en) * 2014-02-12 2017-05-23 Microsoft Technology Licensing, Llc Restaurant-specific food logging from images
US9734426B2 (en) * 2014-09-03 2017-08-15 Sri International Automated food recognition and nutritional estimation with a personal mobile electronic device
US9349297B1 (en) * 2015-09-09 2016-05-24 Fitly Inc. System and method for nutrition analysis using food image recognition
US10074028B2 (en) * 2015-10-20 2018-09-11 Arizona Board Of Regents On Behalf Of Arizona State University Real-time diet assessment and food identification using thermal imaging
US10281200B2 (en) * 2016-03-14 2019-05-07 Amazon Technologies, Inc. Image-based spoilage sensing refrigerator
US10109051B1 (en) * 2016-06-29 2018-10-23 A9.Com, Inc. Item recommendation based on feature match
JP6910792B2 (ja) 2016-12-13 2021-07-28 ソニーセミコンダクタソリューションズ株式会社 データ処理装置、データ処理方法、プログラム、および電子機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007165995A (ja) * 2005-12-09 2007-06-28 Ntt Data Corp 画像生成装置、画像生成方法および画像生成プログラム
CN102661794A (zh) * 2012-03-20 2012-09-12 清华大学 多光谱计算重构方法及***
US20160150213A1 (en) * 2014-11-21 2016-05-26 Christopher M. MUTTI Imaging system for object recognition and assessment

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11861883B2 (en) 2019-05-16 2024-01-02 Sony Group Corporation Information processing apparatus and information processing method
CN114788257A (zh) * 2019-12-18 2022-07-22 索尼半导体解决方案公司 信息处理装置、信息处理方法、程序、成像装置和成像***
CN111951662A (zh) * 2020-06-03 2020-11-17 中山大学 一种基于结构单元尺寸差异的物理型信息隐藏结构及其制备方法
CN111951662B (zh) * 2020-06-03 2022-06-10 中山大学 一种基于结构单元尺寸差异的物理型信息隐藏结构及其制备方法
CN111738180A (zh) * 2020-06-28 2020-10-02 浙江大华技术股份有限公司 关键点的标注方法、装置、存储介质及电子装置
CN111738180B (zh) * 2020-06-28 2023-03-24 浙江大华技术股份有限公司 关键点的标注方法、装置、存储介质及电子装置
CN113777056A (zh) * 2021-08-13 2021-12-10 昆山格博尔智能科技有限责任公司 基于多光谱cmos图像芯片的油墨配色检测方法
CN115758206A (zh) * 2022-11-07 2023-03-07 武汉麓谷科技有限公司 一种快速查找ZNS固态硬盘中NorFlash上次写结束位置的方法

Also Published As

Publication number Publication date
WO2018110575A1 (en) 2018-06-21
JP7130822B2 (ja) 2022-09-05
EP3555805A1 (en) 2019-10-23
US20190370586A1 (en) 2019-12-05
JP6910792B2 (ja) 2021-07-28
US11120287B2 (en) 2021-09-14
CN116958632A (zh) 2023-10-27
US11869233B2 (en) 2024-01-09
JP2021165754A (ja) 2021-10-14
CN110023952B (zh) 2023-08-18
JP2018096834A (ja) 2018-06-21
US20210406573A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
CN110023952A (zh) 数据处理装置、数据处理方法、程序和电子装置
JP6789792B2 (ja) 撮像素子、電子機器
EP3555917B1 (en) Imaging element, metal thin film filter, and electronic device
CN110024129A (zh) 摄像元件、其制造方法、金属薄膜滤光片和电子设备
WO2018110574A1 (ja) 画像処理装置、画像処理方法、プログラム、および電子機器
CN110050347B (zh) 摄像元件和电子设备
EP3557627B1 (en) Image pickup element and electronic apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant