CN103037752B - 图像处理装置 - Google Patents

Abstract

本发明的实施方式中的图像处理装置具备：偏振光照明部(120)，向被摄体(100)依次照射偏振面的角度不同的3种以上的直线偏振光；和偏振光摄像部(140)，在由3种以上的各直线偏振光照射上述被摄体时，依次拍摄被摄体，该偏振光摄像部获取在被摄体(100)被各直线偏振光照射的期间内按各像素使偏振光透过轴的方向依次改变3次以上而得到的多个偏振图像。该图像处理装置还具备：变动亮度处理部(160)，基于从偏振光摄像部(140)输出的像素信号，求出偏振面的角度与各像素的亮度值的关系，生成由亮度值取最大的偏振面的角度对各像素进行了定义的亮度最大角图像(YPH)、及根据随着偏振面的变化而产生的亮度值的变动的振幅与亮度平均值之比对各像素进行了定义的亮度调制度图像(YD)；和分布推测部(170)，基于亮度最大角图像(YPH)及亮度调制度图像(YD)，推测1个像素内的被摄体(100)的表面上所存在的V字凹槽的方位角分布。

Description

图像处理装置

技术领域

本发明涉及一种图像处理装置，其能够获得超过了从摄像元件获取的2维亮度图像中得到的信息的表面凹凸信息。

背景技术

对被半透明的粘膜覆盖的生物体的脏器表面照射照明来进行拍摄的内窥镜领域中，需要避免来自表面的正反射(镜面反射)，同时需要确认表面的肌理(texture)及表面下的血管图像等。为此，提出了使用偏振光照明和偏振光摄像的偏振光内窥镜。例如，专利文献1公开了如下内窥镜，包括向物体照射特定的偏振成分的光的偏振光照射部、和受光部，生成表示上述物体的表面的形状变化的形状变化图像。该内窥镜的受光部接受来自物体的返回光中的上述特定的偏振成分的光、及上述返回光中的与上述特定的偏振成分不同的偏振成分的光。专利文献1所公开的偏振光摄像部包括RGB的彩色马赛克(mosaic)、以及偏振光透过轴排列成朝向不同的3个方向的偏光器。在专利文献1中记载到尤其为了观察者容易识别粘膜的表面凹凸，偏振特性计算部能够计算出偏振方位并生成表面的倾斜信息的2维分布。

现有技术文献

专利文献

专利文献1：日本特开2009-246770号公报

专利文献2：日本特开平11-313242号公报

专利文献3：美国专利申请公开第2009/0079982号

专利文献4：日本专利第4235252号公报

专利文献5：日本特开2007-86720号公报

非专利文献

非专利文献1：Nicolas Lefaudeux，et.al：″Compact and robust linearStokes polarization camera″，Proc.SPIE，Vo1.6972，69720B，Polarization：Measurement，Analysis，and Remote Sensing VIII(2008)

发明内容

(发明要解决的问题)

根据本申请发明人的实验，通过引用文献1所公开的偏振光摄像部无法得到每1个像素的准确的偏振信息。此外，因与被摄体的空间频率发生干扰，偏振图像上明显产生波纹，此外由于彩色马赛克的一部分成为偏振马赛克(mosaic)，因此再现的全彩色图像的画质也会劣化。

本发明是为了解决上述问题而做出的，其主要目的在与提供一种图像处理装置，其能够按像素单位得到偏振信息，并基于该偏振信息获取1个像素内的被摄体表面的凹凸信息。

(用于解决课题的手段)

本发明的一种图像处理装置，具备：偏振光照明部，其向被摄体依次照射偏振面的角度不同的3种以上的直线偏振光；偏振光摄像部，其在通过上述3种以上的各直线偏振光照射上述被摄体时，依次拍摄上述被摄体，该偏振光摄像部获取多个偏振图像，多个偏振图像是在通过各上述直线偏振光照射上述被摄体的期间内在各像素中将偏振光透过轴的方向依次改变3次以上而得到的；变动亮度处理部，其基于从上述偏振光摄像部输出的像素信号，求出上述偏振面的角度与各像素的亮度值之间的关系，生成根据上述亮度值取最大的上述偏振面的角度对各像素定义的亮度最大角图像、及根据随着上述偏振面的变化而产生的上述亮度值的变动的振幅与亮度平均值之比对各像素定义的亮度调制度图像；以及分布推测部，其基于上述亮度最大角图像及上述亮度调制度图像，推测1个像素内的上述被摄体的表面上所存在的V字凹槽的方位角分布。

在一个实施方式中，上述亮度值是以像素单位对在上述被摄体被各上述直线偏振光照射的期间内按各像素使上述偏振光透过轴的方向依次改变3次以上而得到的多个偏振光亮度进行算数平均而得到的值，上述亮度值随着上述偏振光照明部的直线偏振光的上述偏振面的角度而变化。

在一个实施方式中，所述图像处理装置还具备：偏振光处理部，其生成根据偏振光摄像部的上述偏振光亮度取最大的上述偏振光透过轴的方向对各像素按上述偏振光照明部的偏振面的每个角度进行定义的偏振光最大角图像、及根据随着上述偏振光透过轴的方向的变化而产生的上述偏振光亮度的变动的振幅与偏振光亮度平均值之比对各像素进行定义的偏振度图像，上述分布推测部基于上述偏振光最大角图像及上述偏振度图像，提高上述方位角分布的推测精度。

在一个实施方式中，上述分布推测部具备：第1系数推测部，其基于上述变动亮度处理部的输出，推测表示上述V字凹槽的方位角分布的函数的傅里叶变换中的0次展开系数及2次展开系数；和第2系数推测部，其基于上述偏振光处理部的输出，推测上述函数的上述傅里叶变换中的4次展开系数。

本发明的另一种图像处理装置，具备：偏振光照明部，其向被摄体依次照射偏振面的角度不同的3种以上的直线偏振光；偏振光摄像部，其在通过上述3种以上的直线偏振光中的至少1种直线偏振光照射上述被摄体时，依次拍摄上述被摄体，该偏振光摄像部获取多个偏振图像，多个偏振图像是在上述被摄体被上述直线偏振光中的至少1种直线偏振光照射的期间内按各像素使偏振光透过轴的方向依次改变3次以上而得到的；以及变动亮度处理部，其基于从上述偏振光摄像部输出的像素信号，将来自上述被摄体的反射光图像分离为表面散射图像和内部散射图像。

(发明效果)

在本发明的图像处理装置中，具备：偏振光照明部，向被摄体依次照射偏振面的角度不同的3种以上的直线偏振光；和偏振光摄像部，在由3种以上的各直线偏振光照射被摄体时，依次拍摄被摄体，因此，不必新开发特别的偏振光摄像元件就能够与彩色图像同时获取与亮度最大角图像、亮度调制度图像相当的信息。并且，能够根据这些图像推测1个像素内的凹槽的方位角分布。

附图说明

图1A是表示本发明的图像处理装置的结构例的图。

图1B是表示偏振光照明的偏振状态的图。

图1C是表示本发明的实施方式1的图像处理装置的结构的图。

图2是表示偏振面控制元件的动作的图。

图3是偏振面角度的定义图。

图4A是表示能够用于本发明的实施方式1中的摄像元件的结构的剖视图。

图4B是表示能够用于本发明的实施方式1中的摄像元件的结构的立体图。

图5A是表示能够用于本发明的实施方式1中的摄像元件的另一个结构的剖视图。

图5B是表示能够用于本发明的实施方式1中的摄像元件的另一个结构的剖视图。

图6是表示包括彩色滤色器的偏振光摄像元件的立体图。

图7是表示偏振光摄像元件随时间的动作的图。

图8A是表示照明光的偏振面旋转和摄像的偏振面旋转的时间性控制定时的图。

图8B是表示照明光的偏振面旋转和摄像的偏振面旋转的另一个时间性控制定时的图。

图9(a)是凹槽中包含多个像素的图，图9(b)是1个像素中包含多个凹槽的图。

图10是1个像素内的凹槽分布函数的说明图。

图11A是表示偏振光照明的偏振面旋转引起的亮度图案图像的变化的图。

图11B是表示偏振光照明的偏振面旋转引起的亮度图案图像的变化的示意图。

图12(a)及(b)是入射光从正上方向被摄体表面入射并反射1次的图。

图13是表示将横轴设为入射角时的P波和S波的能量的菲涅尔反射率的图表。

图14A是表示偏振光照明的偏振面旋转引起的各像素的亮度变动的图表。

图14B是表示示出小获取图14A的图表所示的数据时所用到的采样的表面形状的照片的图。

图14C是示意地表示图14B的表面形状的图。

图15(a)是表示偏振光照明的偏振方向的图，图15(b)是表示偏振光照明引起的亮度变动的情形的图。

图16(a)及(b)是多重反射引起的偏振反射光的亮度变动的说明图。

图17(a)、(b)、(c)是从正上方观察被摄体表面的凹槽的图。

图18A是偏振光以ΨI＝0°向凹槽入射时的图。

图18B是在图18A的状态下在与凹槽方位角Ψ平行、垂直的方向上产生反射光的图。

图19是向凹槽入射非偏振光后在与凹槽方位角Ψ平行、垂直的方向上产生反射光的图。

图20是与本发明的实施方式1相关的图像处理器的结构图。

图21是根据与4种偏振光照明对应的偏振光亮度采样进行余弦函数拟合的图。

图22是根据与4种偏振观测角对应的偏振光亮度采样进行余弦函数拟合的图。

图23A是表示本发明的实施方式的表面凹槽的1个像素内的方位角分布结果的图。

图23B是表示本发明的实施方式的表面凹槽的1个像素内的方位角分布结果的图。

图24A是表示星型凹槽被摄体例子的图。

图24B是示意地表示了图24A的图。

图25是本发明的实施方式2所涉及的图像处理器的结构图。

图26A是表示本发明的实施方式3的结构的图。

图26B是表示本发明的实施方式3的外观的图。

具体实施方式

如图1A所示，本发明的图像处理装置的例子包括偏振光照明部120、偏振光摄像部140、变动亮度处理部160及分布推测部170。变动亮度处理部160及分布推测部170包含在图像处理部150中。

偏振光照明部120向被摄体100依次照射偏振面的角度不同的3种以上的直线偏振光。在本发明作为拍摄对象的被摄体100的表面，存在多个槽(以下称为“凹槽”)100a。在被摄体100例如为生物体的脏器的情况下，在被摄体100的表面可观察到多个细微的凹槽。直线偏振光通过存在于被摄体100的表面上的凹槽100a被反射，并向偏振光摄像部140入射。偏振光摄像部140在被摄体100被3种以上的各直线偏振光照射时，依次拍摄被摄体100。该偏振光摄像部140在由各直线偏振光照射被摄体100的期间内按各像素将偏振光透过轴的方向依次改变3次以上，从而获取多个偏振图像。在此，“按各像素将偏振光透过轴的方向依次改变3次以上”的意思是指，向各像素入射的光的偏振方向随着时间的经过而变化为3个以上的方向。如后文所述，所有像素中偏振光透过轴的方向可以一致，也可以不同。重要的是，在通过向某个方向偏振的光照射被摄体100的期间内，位于各像素之前的偏光器的偏振光透过轴以取3个以上的方位的方式发送变化。

图1B是示意地表示偏振面的角度不同的3种直线偏振光的偏振方向的立体图。图示的3个偏振状态10、12、14分别具有角度不同的偏振面。在图1B的示意性表示各偏振状态10、12、14的圆圈的内部，记载有双向箭头。该箭头表示规定直线偏振光的偏振面的电场矢量的振动方向。

图1B表示右手规则的XYZ坐标。在本说明书中，在由偏振光摄像部140获取的图像面内设定X轴及Y轴，在视线(光轴)方向上设定Z轴的方向。直线偏振光的偏振面是与振动的电场矢量平行且包含光轴的平面。在采用上述坐标系的情况下，直线偏振光的电场矢量的振动方向与XY平面平行。因此，偏振面的角度(ΨI)由相对于X轴的正方向形成偏振方向(电场矢量的振动方向)的角度来规定。在后面将参照图3进一步详细说明该角度ΨI。

在本发明中，从偏振光照明部120向被摄体100依次照射偏振面的角度不同的3种以上的直线偏振光，偏振光摄像部140在被摄体100被3种以上的各直线偏振光照射时依次拍摄被摄体100。

再次参照图1A。变动亮度处理部160基于从偏振光摄像部140输出的像素信号，求出偏振面的角度与各像素的亮度值之间的关系，生成“亮度最大角图像”及“亮度调制度图像”。在本说明书中，“亮度最大角图像”是指，对构成通过拍摄获取到的图像的各像素，由亮度值最大的偏振面的角度定义的图像。例如，在由某个坐标(x，y)确定的像素P(x，y)的亮度值在被摄体100被具有角度45°偏振面的直线偏振光照射时达到最大的情况下，对该像素P(x，y)设定亮度最大角即45°的值。1个“亮度最大角图像”是通过对各像素设定这种亮度最大角的值而构成的。另一方面，“亮度调制度图像”是指，对于各像素以亮度值随着偏振面的变化而变动的振幅与亮度平均值之比来定义的图像。若某个像素P(x，y)的亮度调制度为0.3，则对该像素P(x，y)设定0.3的值。1个“亮度调制度图像”是通过对各像素设定这种亮度调制度的值而构成的。

这样，本说明书中的“图像”不仅表示可通过人类的视觉直接识别的亮度图像，而且还广泛地包括对多个像素分别分配的数值的排列。例如，在表示1个“亮度最大角图像”的情况下，能够通过与“亮度最大角图像”的各像素上所设定的亮度最大角的值对应的明亮度表示图像。这样表现的“亮度最大角图像”包含可通过人类的视觉识别的明暗图案，但这不同于表示被摄体的亮度的通常的亮度图像。此外，在本说明书中，为了便于说明，有时将表示各种“图像”的数据本身称为“图像”。

图1A所示的分布推测部170根据亮度最大角图像及亮度调制度图像，推测1个像素内的被摄体100的表面上存在的V字凹槽100a的方位角分布。在从正对面观察V字凹槽100a时，V字凹槽100a内的倾斜面的法线的方位角垂直于V字凹槽100a延伸的方向。本发明中的分布推测部170在1个像素内存在1个或多个细微的V字凹槽100a的情况下，能够按每个像素推测出V字凹槽100a的方位角是怎样分布的。将在后面详细说明本发明中的分布推测部170根据什么原理推测V字凹槽100a的方位角分布。

(实施方式1)

图1C是示意地表示本发明的实施方式1中的图像处理装置的整体结构的图。

该图像处理装置包括内窥镜101和控制装置102。内窥镜101包括具有摄像传感器的前端部113、光导(Light guide)105、以及具有影像信号线111的***部103。内窥镜101的***部103具有与图示相比在左右方向上更长、且能够被挠性弯曲的结构。光导105在弯曲的状态下也能够传输光。另外，内窥镜有如本实施方式这样具有挠性***部103的软性镜、和具有不可弯曲的***部的硬性镜。内窥镜的另一种类型、即硬性镜具有如下结构，即，***部103利用中继光学***等向位于后方的摄像元件引导返回光。无论是软性镜还是硬性镜，本发明均可适用。

控制装置102包括光源104、图像处理器3002及同步装置112。从光源104发出的白色非偏振光经由光导105被导入前端部113的偏振面控制元件106。偏振面控制元件106例如由偏振板和液晶元件构成，能够通过电压将非偏振光转换为任意偏振面的直线偏振光。

偏振面控制元件106是能够使使用了液晶的偏振面旋转的器件。该结构例已公开在专利文献2、3及非专利文献1等中。偏振面控制元件106可由例如组合了强介电性液晶、偏振膜及1/4波长板等的电压施加型液晶器件构成。偏振面控制元件106将由光源104产生且通过了光导105的非偏振的光转换为在任意角度上具有偏振面的直线偏振光。

同步装置112向偏振面控制元件106发送偏振面旋转的指示而使照明的偏振面旋转。该偏振光照明通过照明透镜107照射被摄体。同步装置112同时向摄像元件3001发送摄影开始信号并获取影像，并多次实施以上处理。

来自被摄体的返回光通过摄影透镜109后在摄像元件3001上成像。将在后文说明该摄像元件3001的结构及动作。从摄像元件3001输出的摄像影像的信号经由影像信号线111后到达图像处理器3002。在本实施方式中，通过光源104、光导105、偏振面控制元件106及照明透镜107实现图1A的偏振光照明部120。此外，通过摄影透镜109及摄像元件3001实现图1A的偏振光摄像部140。由图像处理器3002实现图1A的变动亮度处理部160及分布推测部170。

接着，参照图2说明偏振面控制元件106的动作。

在偏振面为0°的状态203下拍摄第1图像，在偏振面为45°的状态204下拍摄第2图像，在偏振面为90°的状态205下拍摄第3图像，在偏振面为135°的状态206下拍摄第4图像。该角度也可以是45°以外的角度，只要是将180°除以3以上的整数而得到的角度即可。在摄像元件具有高灵敏度的情况下，或照明的照明度高的情况下，能够缩短曝光时间，因此能够更细致地设定旋转角。

根据上述文献可知，偏振面的旋转所需的时间有动作速度为20(ms)左右的较慢的类型到40～100(μsec)左右的高速型。若使用高速型的液晶将摄像元件的灵敏度提高到能够在该时间内进行拍摄的程度，则即使实施4个方向的偏振光旋转来进行拍摄，也能够使动态图像影像的摄影具有足够的性能。

从图1C可知，照明透镜107的光轴与摄影透镜109的光轴大致相等。这是为了在通过内窥镜观察时尽量防止在被摄体上产生影子。

另外，在内窥镜的通常的使用方法中，想对被摄体照射非偏振光的情况较多。在本发明中，通过例如相加从上述第1图像到第4图像的各不相同的偏振图像，从而能够生成非偏振光的平均亮度图像。根据本申请发明人的实验判断出，若相加向被摄体照射偏振面的角度ΨI为等间隔的多个偏振光时的返回光的图像，则能够抵消偏振效果，因此结果能够获得与使用非偏振光照明时相同的效果。

图3是表示偏振光照明中的偏振面的角度ΨI的定义的图。如上所述，朝向被摄体设定X-Y坐标系。偏振面的角度ΨI将X轴负方向设为0°，将Y轴正方向定义为正向。若角度ΨI在反射时得到保存，则反射光的偏振面的角度与入射光的偏振面的角度相同。若增加或减小偏振面的角度ΨI，则同一偏振状态以180°的周期反复。即，以偏振面的角度ΨI为变量的函数是具有180°周期的周期函数。另外，在本说明书中，有时将偏振光照明中的偏振面的角度ΨI称为“入射偏振面角度”。

图4A是表示偏振光摄像元件3001中的主要部分的截面结构的图，图4B是表示偏振光摄像元件3001中的主要部分的结构的立体图。

该偏振光摄像元件3001包括位于光入射侧的偏振面转换元件3101、和接受透过了偏振面转换元件3101的光的亮度摄像元件3102。亮度摄像元件3102是通过进行拍摄而获取亮度信息的图像传感器(CCD或MOS传感器)。在该偏振光摄像元件3001中，与现有的图案偏光器马赛克(mosaic)型的偏振光摄像元件不同，按亮度摄像元件3102的每1个像素，对应偏振面转换元件3101的1个像素。更详细地说，偏振面转换元件3101包括液晶层、和夹持该液晶层的电极，能够根据施加在电极上的电压，控制液晶层的光学性质。这种偏振面转换元件3101的各像素能够独立于其他像素而被设定为使向任意方向偏振的直线偏振光透过。但是，本实施方式的偏振面转换元件3101按照如下方式进行动作，即，在所有像素中在同一方向上具有偏振光透过面。如后文详细说明那样，通过偏振面转换元件3101的动作，能够依次改变向亮度摄像元件的各像素入射的光的偏振方向。因此，在本实施方式中，在计算偏振信息时，不需要使用周围像素值的空间性图像处理操作。因此，偏振图像的分辨率能够维持亮度摄像元件3102所具有的分辨率。

偏振面转换元件3101根据有无来自信号施加控制部3103的信号施加，能够像0度、45度、90度、135度这样向4个方向在时间上高速地改变偏振光的透过方向。由此，本实施方式的变更摄像元件3001能够按每1像素获取偏振度及偏振角。

在本实施方式中，偏振面转换元件3101与亮度摄像元件3102的距离Dps大致为零。因此，在位于各像素跟前的偏光器的偏振光透过轴取3个以上的方位来发生变化时，在偏振元件与摄像元件之间不会发生像素的位置偏移等，能够获取良好的偏振信息。因此，能够有效地利用精细的1像素内的超分辨功能。

图5A及图5B是表示偏振光摄像元件3001的其他结构的图。在该结构中，能够按每1像素同时获取彩色图像和偏振图像。在图5A的结构中，入射光首先通过彩色滤色器3201。接着，通过偏振面转换元件3101后，到达亮度摄像元件3102。在图5B的结构中，入射光首先通过偏振面转换元件3101。接着通过彩色滤色器3201后到达亮度摄像元件3102。

图6是更详细地表示图5A的结构的立体图。彩色滤色器3201与偏振面转换元件3101之间的距离Dcp、和偏振面转换元件3101与亮度摄像元件3102之间的距离Dcs均大致为零。

图7和图8A是表示该偏振光摄像元件的动作的图。图7表示能够按摄像元件的每1像素获取与不同的4个方向相关的偏振光亮度。即，在向亮度摄像元件3102的像素3305入射的光透过了偏振面转换元件3101的对应像素时，该光的偏振状态从状态3301变化到状态3304。即，在偏振面转换元件3101的对应像素中，透过偏振面旋转到不同的方向45°、90°、135°。因此，按时间逐次观测各方向的偏振光亮度。在另一个像素3306中，又另外在4个方向上观测偏振光亮度。像素3305和像素3306的观测角度可以各自完全独立地进行动作，但是在此设为在所有像素中透过偏振面以同一相位进行旋转。

图8A是表示偏振面控制元件106的偏振面被旋转的照明光与偏振光摄像元件的动作通过图1C所示的同步装置112取时间上的同步后进行动作的定时的图。图中的横轴表示时间的经过。在图8A所示的例子中，首先，在照明的偏振面的角度ΨI为0°的状态下，偏振光摄像元件3001的偏振面的角度按0°、45°、90°、135°的顺序高速旋转的同时实施拍摄。接着，照明的偏振面旋转为ΨI＝45°，反复进行偏振光摄像元件3001的动作。该反复动作实施到ΨI＝90°、ΨI＝135°而拍摄了共计16张后结束1组序列(sequence)。若将向被摄体照射1个ΨI的照明并以1个偏振观测角观测的1张图像摄像所需的时间设为T，则需要16T的时间。因此，优选的是，偏振光摄像元件3001选定能够以高灵敏度进行高速拍摄的摄像元件，且照明的照明度也足够高。

偏振光摄像的图案不限定于图8A所示的例子。例如，如图8B所示的例子那样，也可以以针对1种使照明侧的旋转角度ΨI旋转到所有角度的定时进行控制。此外，也可以进行两者混合的其他时序图的控制。

旋转4次引起的偏振光亮度的变动与实施方式1中的亮度变动相同，都以三角函数进行拟合处理。在后文中详细说明该处理。

接着，说明推测被摄体100的表面上所存在的多个凹槽在1个像素内的方位角分布的方法(1个像素内的超分辨)。

图9(a)及图9(b)分别是从上方观察被摄体上的相对大的凹槽的图、及表示比1个像素小的多个凹槽的图。在图9(a)所示的被摄体的像中，1个凹槽3301大于1个像素3302。而在图9(b)所示的被摄体的像中，在1个像素内存在多个细微的凹槽。此时，在以像素单位的亮度进行观测时，无法对各凹槽进行分辨。

图10是表示存在于1个像素内的凹槽的分布状态的图。凹槽的方向以规定与该槽的主轴正交的方向的角度Ψ来定义。在图10的中央，通过将Ψ方向下的直方图频度作为变动半径的长度的极坐标，表示分布函数D(Ψ)。即，作为图10所示的箭头3502的角度Ψ的函数，由D(Ψ)表示从原点到箭头3502的前端3503为止的距离。当包含在1个像素内的凹槽的3301的方向是随机的，不依赖于角度Ψ时，分布函数D(Ψ)描绘出圆。在分布函数D(Ψ)的周围所记载的8个凹槽3301a、3301b、…、3301h分别示意地表示角度Ψ为0°、45°、…、325°的凹槽。

推测分布函数D(Ψ)即为推测被摄体的表面上的凹槽在1个像素内的方位角分布。

分布函数D(Ψ)满足以下式1。

[数学式1]

$\underset{0}{\overset{\mathrm{\π}}{\∫}}D\left(\mathrm{\ψ}\right)\mathrm{d\ψ}=1$ (式1)

另外，在偏振观测中180度为基本周期，因此可推测的凹槽方向的周期也是π。若进行与该分布函数的Ψ相关的傅里叶级数展开，则如下所示。

[数学式2]

$D\left(\mathrm{\ψ}\right)=a_0+\underset{n=1}{\mathrm{\Σ}}{a}_n\cos \left(\mathrm{n\ψ}\right)+b_n\sin \left(\mathrm{n\ψ}\right)$

$=a_0+a_1\cos \left(\mathrm{\ψ}\right)+b_1\sin \left(\mathrm{\ψ}\right)+$ (式2)

$a_2\cos \left(2\mathrm{\ψ}\right)+b_2\sin \left(2\mathrm{\ψ}\right)+a_3\cos \left(3\mathrm{\ψ}\right)+b_3\sin \left(3\mathrm{\ψ}\right)+$

$a_4\cos \left(4\mathrm{\ψ}\right)+b_4\sin \left(4\mathrm{\ψ}\right)+a_5\cos \left(5\mathrm{\ψ}\right)+b_5\sin \left(5\mathrm{\ψ}\right)+L$

在此，系数a0、a1、b1、a2、b2、…为系数。为了确定分布函数D(Ψ)，只要求出上述系数即可。

接着，说明旋转偏振光照明的偏振面时的亮度的变动。在以下说明中，被摄体不是生物体脏器粘膜，而是以塑料、木头等一般材质的物体为例进行说明。这是因为，粘膜表面处的反射基本上是镜面反射，并且电介质表面的镜面反射不依赖于被摄体的材质，可以视为物理现象相同。

图11A及图11B表示本申请发明人将表面平滑的陶器制杯子和表面上具有细微凹凸的木板作为被摄体来进行偏振光摄像而得到的图像。位于图11A的左侧的2个图像是以入射偏振面角度ΨI＝0°的偏振光照明照射被摄体时的亮度图像。而位于图11A的右侧的2个图像是以入射偏振面角度ΨI＝90°的偏振光照明照射被摄体时的亮度图像。

图11B的4个图像分别是示意地描绘图11A的4个图像的图。从位于图11A及图11B的上段的图像可知，若是表面平滑的陶器，则即使改变偏振光照明的偏振光，也几乎观测不到亮度图案的变化。但是，若是存在多个凹凸的木板，则从位于图11A及图11B的下段的图像可知，判断出若改变偏振光照明的偏振面的角度ΨI，则观测到的亮度图像有大的变化。如下说明该差别。

图12表示向表面801入射入射角接近零的偏振光并通过相机观测直接反射的情形。在图12(a)、(b)中，所入射的偏振光的偏振面相差90°。但是，反射光的直线偏振光只有光的行进方向发生了变化，而能量、即亮度与入射光大致相同。其原因如下。

图13是表示基于菲涅耳理论的镜面反射率的入射角依赖性的图表。横轴表示入射角，纵轴表示菲涅尔反射率。折射率假设为NN＝1.8。可视为垂直入射的0°～15°附近的入射角度相当于范围901。从图表可知，在该入射角范围901内，无论是P波还是S波，反射率大致相同。因此，在偏振光大致垂直地向表面入射的情况下，相对于表面，P波和S波这样的偏振光没有区别，以相同的方式被反射。另外，该事实在折射率n＝1.4～2.0的自然物体上广泛地成立。

如上所述，在偏振光以大致零的入射角度向平滑的表面入射，且其被反射1次后进行观测的情况下，即便使偏振光照明的偏振面旋转角度ΨI，反射光的能量也不发生变化，因此所观测的亮度Y也不变。

图14A是表示改变向木板的表面入射的光(偏振光照明)的偏振面的同时拍摄亮度图像时的同一像素的亮度变动的图表。图14B是作为摄像对象的木板的亮度图像(非偏振光照明时的亮度图像)。图14C是示意地表示图14B所示的木板的表面的凹凸的图。

图15表示偏振光照明的偏振面的角度ΨI为0°、45°、90°、135°时得到的亮度图像的特定像素中的亮度Y的变动。从该图表可知，亮度Y相对于各偏振光照明的偏振面的角度ΨI周期性地变动。木板的表面不平滑，而是存在多个凹槽，因此入射光被多重反射。因此认为亮度Y依赖于照明的偏振角度ΨI而引起变动。详细说明其原因。

图16表示在表面上形成有凹槽1201、且在其斜面产生2次多重反射的情况。认为该多重反射发生在表面的凹凸较多的被摄体表面，例如布、木材、人的肌肤、皮等各种自然物。第1次和第2次反射的性质比较重要，而第3次以后的多重反射由于亮度小因此几乎可以忽略，所以仅考虑2次反射。一般，将反射的性质分为镜面反射和漫反射的情况下，假设如下4种现象。

1)第1次：漫反射第2次：镜面反射

2)第1次：漫反射第2次：漫反射

3)第1次：镜面反射第2次：漫反射

4)第1次：镜面反射第2次：镜面反射

其中，1)和2)通过最初的反射成为漫射光，成为非偏振光，向所有方向反射。但是，根据实验，在被摄体被着色且亮度暗的情况下，该第1次的漫反射成分比较弱。这意味着光朝向被摄体的内部的渗透少，根据菲涅耳理论，与其互补的3)、4)的镜面反射的现象占优。此外，如3)所示那样将第2次考虑为漫反射的情况下，根据其入射和反射的几何学关系可知，当然还会同时发生4)。此时，无论以偏振度为基准，还是以亮度为基准，都是镜面反射为主的亮度成分。

由此，4)的第1次和第2次都将镜面反射的现象考虑为主要的现象即可。在凹槽的斜面的表面不完全平滑、照明光也不完全是平行光的情况下，即使是镜面反射，也不同于理想的镜面。因此，根据实验确认到，即使在不完全满足正反射条件的位置上，也能够比较容易地观测、拍摄这2次反射，其偏振光特性是由镜面反射引起的。

接着，参照图16(a)、(b)。图16(a)及图16(b)分别表示存在于被摄体表面上的凹槽1201的一部分。凹槽1201的至少一部分在被摄体表面上向一个方向延长。将该延长方向称为“主轴方向”。现实的凹槽1201不需要直线延伸，也可以是曲线状延伸。即使是曲线状延伸的凹槽，其一部分也可以被视为近似地在主轴方向上延伸的直线状凹槽。

另外，存在于被摄体表面上的凹槽1201的截面可以近似为V字形状。因此，可以将存在于生物体的脏器表面上的凹槽称为“V字凹槽”。这种V字凹槽的截面不必是严格意义上的“V字”，也可以包含曲面。只要在被摄体表面上存在大致具有“V字型”的截面的凹槽，产生照明光在表面上2次反射而返回的现象，就能够适用以下说明。

如图16(a)所示，相对于凹槽的主轴方向1202垂直入射的偏振光照明为P波。再次参照图13，假设被摄体的凹槽1201的倾斜角为45°左右，则照明从正上方入射到凹槽上，则如从菲涅尔反射率的图表读取的那样，在该入射角范围902内，与S波相比，P波的反射率极其弱。此外，P波在经过1次及2次反射期间进一步变弱。而图16(b)所示的S偏振光即使经过2次反射，也不怎么减弱。其结果，在相对于凹槽成为P波的入射偏振面上，反射光的能量也极其弱，亮度会下降。而在成为S波的入射偏振面上，反射光的能量并没怎么衰减，亮度也高。

如上所述，若假设表面凹槽，则能够说明通过实验得到的入射光的偏振面的旋转引起的反射光的亮度变化。

本申请发明人发现了通过凹槽中的偏振光照明的2次反射得到的亮度Y的变化的函数形态进行实质上与入射了非偏振光时相同的变动。以下，说明这一点。

图17(a)是从表面的正上方观察被摄体表面的凹槽的图。这相当于从上方观察图16。在图17(a)记载了与摄像图像面平行的X-Y坐标。以Ψ表示在与凹槽1201的主轴方向1202垂直的方向和X轴的正部分之间形成的角度。图17(b)表示向被摄体入射的偏振光照明的偏振面的角度ΨI，图17(c)是在1个图中表示图17(a)的内容和图17(b)的内容的图。以后，通过角度Ψ指定凹槽的朝向。这与凹槽的主轴的方位角相差90°。

图18A是用于说明为了简化记载而设为ΨI＝0使得偏振面与X轴一致时相对于凹槽在垂直和水平的方向上分配的入射光能量的图。凹槽的方向由角度Ψ来确定。假设入射光如图16所示那样在凹槽内引起2次反射。此时，观测具有某一角度的偏振面的直线偏振光的亮度。图18B是表示观测到亮度的直线偏振光的角度ψ。若将角度的偏振光亮度设为 则可通过以下式来表示。其中，将凹槽的方向(Ψ)及主轴方向(π/2-Ψ)的能量反射率分别设为A及B。

[数学式3]

(式3)

该偏振光亮度通过对式3进行变形后可用以下式4来表示。从该式4可知偏振光亮度关于是以周期π进行变动的。

[数学式4]

(式4)

在此，不将入射偏振面角度设为0°，而是设为一般的ΨI。根据以上分析，由下式给出入射偏振面角度为ΨI、观测角度为时的偏振光亮度。

[数学式5]

(式5)

该式所示的偏振光亮度是在特定方向的观测角度下观测到的偏振光亮度，因此在观测非偏振光的平均亮度的情况下，使式3所示的偏振光亮度针对观测角度进行1个周期的积分即可。1个周期是180°＝π。通过该积分，所涉及的正弦函数、余弦函数成为零。即，如下式所示，在入射偏振面角ΨI的偏振光向由角度Ψ确定的凹槽入射并被2次反射时观测到的亮度PY(ΨI，Ψ)，对ΨI表现为180°的周期函数。

[数学式6]

(式6)

在亮度PY(ΨI，Ψ)为式6所示的ΨI的余弦函数的情况下，亮度PY(ΨI，Ψ)在Ψ＝ΨI时成为最大值。因此，将亮度PY(ΨI，Ψ)达到最大的角度Ψ＝ΨI称为亮度最大角YPH。此外，对于变动的振幅，考虑到余弦函数项以+1～-1发生变动，能够考虑亮度变动的调制度。将该比率称为亮度调制度YD。通过下式得到该亮度调制度YD。

[数学式7]

$\mathrm{YD}=\frac{\mathrm{MAX}-\mathrm{MIN}}{\mathrm{MAX}+\mathrm{MIN}}=\frac{B-A}{A+B}$ (式7)

另外，以像素单位给出亮度最大角YPH及亮度调制度YD。因此，将对构成图像的各像素设定了亮度最大角YPH的图像称为“亮度最大角图像YPH”。同样，将对构成图像的各像素设定了亮度调制度YD的图像称为“亮度调制度图像YD”。

该亮度最大角YPH及亮度调制度YD分别是与通常的偏振观测中的偏振光主轴角及偏振度对应的量，但该量的关系并不明确。因此，为了明确两者的关系，分析向凹槽入射非偏振光的照明时的2次反射的偏振状态。

图19是非偏振的光1501向凹槽入射时的图。在非偏振的光1501向具有Ψ角度的凹槽入射的情况下，认为能量在凹槽的主轴方向及其垂直方向上被均匀地分配，因此乘以能量反射率A、B而得到的能量向凹槽的主轴方向及其垂直方向上射出。在以角度进行偏振观测的情况下，根据图16的说明可知，偏振光亮度在凹槽的主轴方向上取最大值(反射率B)，在主轴的垂直方向上取最小值(反射率A)。若计算偏振度DOP，则得到下式。

[数学式8]

$\mathrm{DOP}=\frac{\mathrm{MAX}-\mathrm{MIN}}{\mathrm{MAX}+\mathrm{MIN}}=\frac{B-A}{A+B}$ (式8)

根据上述分析判断出，使偏振光照明中的偏振面的角度ΨI旋转时的亮度变动的相位角、即亮度最大角YPH和非偏振光照明时的偏振光主轴一致。同样还判断出，使偏振光照明中的偏振面的角度ΨI旋转时的亮度变动的振幅、即亮度调制度YD和非偏振光照明时的偏振度DOP一致。因此，能够在本发明的偏振光亮度的变动利用以非偏振光的照明为前提的菲涅尔反射理论和表面法线的分析。

本实施方式中的图像处理器3002获得上述的亮度最大角图像YPH及亮度调制度图像YD，从而获取被摄体的表面凹凸信息。

由上述(式5)给出向规定方向的角度为Ψ的1个凹槽入射了偏振光ΨI时的特定方向的偏振光亮度。为了计算从具有(式1)的分布的凹槽的集合中观测到的亮度，按凹槽方向和观测方向进行2重积分。

[数学式9]

(式9)

若在(式9)中代入(式1)和(式5)来执行积分，则傅里叶级数的奇数倍频率项全部消失，且4倍以上的偶数频率的项也消失。因此，(式9)的2重积分的结果如下。

[数学式10]

$P\_Y\left({\mathrm{\ψ}}_I\right)$

$=\underset{0}{\overset{\mathrm{\π}}{\∫}}\mathrm{d\θ}[\frac{A+B}{4}+\frac{A-B}{4}\cos 2(\mathrm{\ψ}-{\mathrm{\ψ}}_I)][a_0+a_2\cos 2\mathrm{\ψ}+b_2\sin 2\mathrm{\ψ}]$

$={\mathrm{\π}}^2\left(\frac{A+B}{4}\right)a_0+{\mathrm{\π}}^2\left(\frac{A-B}{8}\right)a_2{\cos 2\mathrm{\ψ}}_I+{\mathrm{\π}}^2\left(\frac{A-B}{8}\right)b_2\sin {2\mathrm{\ψ}}_I$ (式10)

$={\mathrm{\π}}^2\left(\frac{A+B}{4}\right)a_0+{\mathrm{\π}}^2\left(\frac{A-B}{8}\right)\sqrt{{a^2}_2+{b_2}^2}\cos 2({\mathrm{\ψ}}_I-{\mathrm{\ψ}}_0)$

由此得出的结论为，若观测将ΨI改变3次时的亮度变动，则能够推测凹槽分布函数的展开系数、即a0、a2、b2。

在本实施方式中，改变照明光的偏振面的角度ΨI时得到的不仅是亮度变动，还能够通过偏振光摄像元件观测每1个像素在观测方向上的偏振光亮度。因此，对于分布函数的展开系数，能够得到更多的信息。如上所述，由(式5)给出向规定方向的角度为Ψ的1个凹槽入射偏振光ΨI时的特定方向的偏振光亮度。因此，为了计算从具有(式1)的分布的凹槽的集合中观测到的偏振光亮度，按凹槽方向进行积分即可。

[数学式11]

(式11)

若在其中代入(式5)及(式1)进行计算，则

[数学式12]

(式12)

在此，P_Y是由(式10)给出的亮度变动部分，α和β如下。

[数学式13]

$a=[a_0\frac{\mathrm{\π}(A+B)}{8}+a_2\frac{\mathrm{\π}(A-B)}{8}\cos {2\mathrm{\ψ}}_I+b_2\frac{\mathrm{\π}(A-B)}{8}\sin {2\mathrm{\ψ}}_I+a_4\frac{\mathrm{\π}(A+B)}{16}\cos {4\mathrm{\ψ}}_I+b_4\frac{\mathrm{\π}(A+B)}{16}{\sin 4\mathrm{\ψ}}_I]$

$\mathrm{\β}=-[-a_2\frac{\mathrm{\π}(A-B)}{8}\sin {2\mathrm{\ψ}}_I+b_2\frac{\mathrm{\π}(A-B)}{8}\cos {2\mathrm{\ψ}}_I-a_4\frac{\mathrm{\π}(A+B)}{16}{\sin 4\mathrm{\ψ}}_I+b_4\frac{\mathrm{\π}(A+B)}{16}\cos {4\mathrm{\ψ}}_I]$

(式13)

在该α和β的式子中，a0、a2、b2这3个变量的值可通过(式9)的亮度变动的观测得到。因此，其余2个未知数即a4和b4能够从2次以上的ΨI的观测中解得。

根据以上分析可知，作为偏振基体(polarization base)的超分辨，若对凹槽的正交的2个方向假设能量反射系数，则能够推测1像素内的凹槽的方位角的角度分布。具体而言，改变角度ΨI来观测入射直线偏振光时的亮度的变动及偏振光亮度的变动，从而能够将1个像素内的凹槽的分布函数推测为傅里叶级数展开的系数a0、a2、b2、a4和b4。若仅观测亮度变动，则能够推测a0、a2、b2。通过进一步进行偏振光亮度的观测，还能够推测系数a4和b4。但是，无法推测更多的系数。因此，凹槽的方位角分布相对于半周期π被推测为对称形。

图20是表示图像处理器3002的结构例的框图。

输入将照明的偏振面角度ΨI改变为0°、45°、90°、135°并在该照明下分别拍摄的为0°、45°、90°、135°的共计16张偏振光亮度图像组3601。

在反射率设定部3609中，预先设定折射率等依赖于被摄体材质的朝向凹槽的主轴方向以及与其正交的方向的能量反射率、即A及B的数值。该A及B是参照图13说明的数值。例如，假设折射率NN＝1.8，凹槽倾斜角度为45°，则根据菲涅耳理论，能够设定为A＝0.05，B＝0.2。

偏振光亮度图像组3601被提供到变动亮度处理部1602。在变动亮度处理部1602中，通过以下说明的计算，求出非偏振光平均亮度图像1612、亮度最大角图像1603及亮度调制度图像1605。

如上所述，旋转偏振光照明的偏振面时的亮度变动是周期为180°的余弦函数。在变动亮度处理部1602中，将亮度变动拟合为余弦函数。表示亮度变动的Y(ΨI)以照明的偏振面的角度ΨI为变量，可表示为下式。

[数学式14]

$Y\left({\mathrm{\ψ}}_I\right)=Y_{\mathrm{\ψI}\_\mathrm{ave}}+A_I\cos \left(2({\mathrm{\ψ}}_I-{\mathrm{\ψ}}_0)\right)$ (式14)

图21表示该亮度变动的余弦函数，表示上述振幅AI、相位Ψ_o、平均值Y_{ΨI_ave}的意思。为了简化说明，4个采样点被描绘成正好在该余弦函数上。

根据4个等间隔的角度采样拟合余弦函数来推测上述值的方法如下。首先，通过以下的式求出非偏振光照明下的原图像的亮度Y_{ΨI_ave}。该式的右边表示相加从在ΨI＝0°、45°、90°、135°的偏振光照明下照射的被摄体中得到的4个亮度图像，并对相加后的值进行平均。亮度Y_{ΨI_ave}近似地再现非偏振光照明下的亮度图像，能够作为内窥镜的通常观察图像来加以利用。因此，可将亮度Y_{ΨI_ave}称为“非偏振光平均亮度图像”。

[数学式15]

(式15)

接着，进行从所采样的亮度到余弦函数的利用了最小2乘误差的最佳拟合。在此，根据0°、45°、90°、135°这4个方向的采样进行实施。因为根据振幅、相位、平均值这3种信息决定余弦函数，因此为了确定这些信息，只要是3个点采样以上，则实际上几个点都可以。但是，45°采样具有最佳拟合较简单的性质。

首先，如下定义偏振角度为0°、45°(＝π/4)、90°(＝π/2)、135°(＝3π/4)时的亮度的2乘误差E。

[数学式16]

$E={(Y({\mathrm{\ψ}}_I=0)-I_0)}^2+{(Y({\mathrm{\ψ}}_I=\frac{\mathrm{\π}}{4})-I_1)}^2+{(Y({\mathrm{\ψ}}_I=\frac{\mathrm{\π}}{2})-I_2)}^2+{(Y({\mathrm{\ψ}}_I=\frac{3\mathrm{\π}}{4})-I_3)}^2$

$={(Y_{\mathrm{\ψI}\_\mathrm{AVE}}+A_I\cos \left(2{\mathrm{\ψ}}_O\right)-I_0)}^2+{(Y_{\mathrm{\ψI}\_\mathrm{AVE}}+A_I\sin \left(2{\mathrm{\ψ}}_O\right)-I_1)}^2+$ (式16)

${(Y_{\mathrm{\ψI}\_\mathrm{AVE}}-A_I\cos \left({2\mathrm{\ψ}}_O\right)-I_2)}^2+{(Y_{\mathrm{\ψI}\_\mathrm{AVE}}-A_I\sin \left({2\mathrm{\ψ}}_O\right)-I_3)}^2$

根据下式求出使该2乘误差最小化的余弦函数的相位Ψo。

[数学式17]

$\frac{\∂E}{{\∂\mathrm{\ψ}}_O}=4A_I[(I_3-I_1)\cos \left({2\mathrm{\ψ}}_O\right)+(I_0-I_2)\sin \left({2\mathrm{\ψ}}_O\right)]=0$ (式17)

根据该式，通过下式得到解。

[数学式18]

$\left\{\begin{array}{c}{{\mathrm{\ψ}}_O}^{(+)}=\frac{1}{2}{\cos }^{-1}\left(\sqrt{\frac{c^2}{a^2+c^2}}\right)\\ {{\mathrm{\ψ}}_O}^{(-)}=\frac{1}{2}{\cos }^{-1}(-\sqrt{\frac{c^2}{a^2+c^2}})\end{array}\right.$ (式18)

[数学式19]

$\left\{\begin{array}{c}a\≡(I_3-I_1)\\ c\≡(I_0-I_2)\end{array}\right.$ (式19)

在反三角函数等数学函数中，通常受到以下限制。

[数学式20]

0≤acos(x)≤π(式20)

考虑该角度范围，根据a和c的大小关系分情况进行分析，如下所述那样，能够计算出取最小值的角度、和取最大值的角度。

[数学式21]

(式21)

可以将该取最大值的Ψ0max的值直接设为亮度最大角图像1603。

[数学式22]

$\mathrm{YPH}={\mathrm{\ψ}}_{O\max }$ (式22)

接着，求出振幅的最大值和最小值。首先，为了求出振幅A_I，用下式进行2乘误差的最小化。

[数学式23]

$\frac{\∂E}{{\∂A}_I}=0$ (式23)

[数学式24]

$A_I=\frac{1}{2}[(I_0-I_2)\cos \left({2\mathrm{\ψ}}_O\right)-(I_3-I_1)\sin \left(2{\mathrm{\ψ}}_O\right)]$ (式24)

利用振幅A_I，使振幅的最大值和最小值成为如下的值。

[数学式25]

$Y_{\max }=Y_{\mathrm{\ΨI}\_\mathrm{AVE}}+A_I$

(式25)

$Y_{\min }=Y_{\mathrm{\ΨI}\_\mathrm{AVE}}-A_I$

因此，若将(式25)的振幅最大值Ymax和最小值Ymin分别以MAX、MIN代入到(式7)，可求出亮度调制度图像1605。

另外，余弦函数的一般的最佳拟合在3个点以上的采样下能够实现，该方法例如记载在专利文献4中。

通过以上处理得到亮度最大角图像1603和亮度调制度图像1605。在图20中，对亮度最大角图像1603标以参照符号“YPH”，对亮度调制度图像1605标以参照符号“YD”。如图20所示，亮度最大角图像YPH及亮度调制度图像YD分别被发送到2次系数推测部3603。

如上所述，在变动亮度处理部1602中，与偏振观测无关地处理随着照明的偏振面角度ΨI的变动而产生的亮度变动。

在2次系数推测部3603中，根据处理亮度变动而得到的亮度最大角图像1603和亮度调制度图像1605，基于(式9)计算傅里叶展开系数。

首先，与(式15)同样地计算平均亮度1612。即，对在照明中仅使用偏振光源并使其偏振面旋转而拍摄到的亮度图像进行算数平均，从而能够近似地再现非偏振光照明下的亮度图像。因此，在通常观察和偏振光观察时不需要切换照明光，通过图像处理器的功能能够进行两种观察。该功能在单色和彩色时均成立。因此，能够得到普通非偏振光白色照明下的彩色亮度图像。此外，根据该平均亮度1612、即Y_{ΨI_ave}，能够按如下方式求出展开系数a0。

[数学式26]

$a_0=\frac{Y_{\mathrm{\ψI}\_\mathrm{ave}}}{\left(\frac{(A+B){\mathrm{\π}}^2}{4}\right)}=\frac{{4Y}_{\mathrm{\ψI}\_\mathrm{ave}}}{(A+B){\mathrm{\π}}^2}$ (式26)

利用通过(式9)得到的Ψ₀、即由变动亮度处理部1602得到的亮度最大角图像1603(YPH)及平均亮度1612(Y_{ΨI_ave})，如下求得a2及b2。

[数学式27]

$\stackrel{\&CenterDot;}{\&CenterDot;\&CenterDot;}{a}_2=\left\{\begin{array}{c}+\mathrm{DP}\&CenterDot;Y_{\mathrm{\&psi;I}\_\mathrm{AVE}}\&CenterDot;\left(\frac{8}{(A-B){\mathrm{\&pi;}}^2}\right)\frac{1}{\sqrt{1+{\tan }^{2}2{\mathrm{\&psi;}}_0}}L(0<{\mathrm{\&psi;}}_0<\frac{\mathrm{\&pi;}}{4},\frac{3\mathrm{\&pi;}}{4}<{\mathrm{\&psi;}}_0<\frac{5\mathrm{\&pi;}}{4},\frac{7\mathrm{\&pi;}}{4}<{\mathrm{\&psi;}}_0)\\ -\mathrm{DP}\&CenterDot;Y_{\mathrm{\&psi;I}\_\mathrm{AVE}}\&CenterDot;\left(\frac{8}{(A-B){\mathrm{\&pi;}}^2}\right)\frac{1}{\sqrt{1+\mathrm{ta}{n}^2{2\mathrm{\&psi;}}_0}}L(\frac{\mathrm{\&pi;}}{4}<{\mathrm{\&psi;}}_0<\frac{3\mathrm{\&pi;}}{4},\frac{5\mathrm{\&pi;}}{4}<{\mathrm{\&psi;}}_0<\frac{7\mathrm{\&pi;}}{4})\end{array}\right.$ (式27)

$\stackrel{\&CenterDot;}{\&CenterDot;\&CenterDot;}{b}_2=a_2\tan 2{\mathrm{\&psi;}}_0$

根据亮度变动的观测求出的展开系数如上，对与a4及b4而言，需要进行偏振观测。

在偏振光处理部3602中，将固定了照明时的最佳拟合成0°、45°、90°、135°采样下的亮度变动余弦函数。旋转了偏振光透过面时的亮度变动一般成为周期为180°的余弦函数这一点例如如(专利文献5)所示那样是众所周知的。若将观测的偏振面的角度设为则如下进行拟合。

[数学式28]

(式28)

该函数包含振幅、相位、平均值这3种信息。

图22表示该亮度变动的余弦函数，表示上述振幅、相位、平均值的意思。为了简化说明，4个采样点被描绘成正好在该余弦函数上。根据4个等间隔的角度采样拟合余弦函数后推测上述值的具体步骤与亮度变动的拟合相同，因此省略说明。

首先，如(式29)所示那样计算平均亮度该算数平均的意思相当于对角ΨI在偏振光照明下的偏振图像进行平均而得到的亮度图像。将该图像称为平均亮度图像3610。

[数学式29]

(式29)

偏振光最大角图像PPH是通过将(式12)取最大值的的值直接设为偏振光最大角图像PPH而生成的。

根据(式12)的最大值、最小值，利用(式8)来生成偏振度图像DP3606。

平均亮度图像偏振光最大角图像PPH3604及偏振度图像DP3606均按偏振光照明ΨI的各角度来决定。因此，在图20中，分别与照明对应地存在4张像。

在4次系数推测部3607中，根据这些图像按照如下方式推测展开系数a4、b4。

首先，将偏振光最大角图像PPH的角度设为γ。DP图像为DP的值本身。以下关系成立。

[数学式30]

$\tan 2\mathrm{\&gamma;}=\frac{\mathrm{\&beta;}}{\mathrm{\&alpha;}}$

(式30)

即，根据γ、DP的值，按照如下方式求出α和β。

[数学式31]

(式31)

β＝α·tan2γ

在此，根据(式9)，按照如下方式进行置换。

[数学式32]

$\left[\begin{array}{c}\mathrm{\&alpha;\&alpha;}\\ \mathrm{\&beta;\&beta;}\end{array}\right]=\frac{16}{A+B}\left[\begin{array}{c}\frac{\mathrm{\&alpha;}}{\mathrm{\&pi;}}-(\frac{(A+B)}{8}{a}_0+a_2\frac{(A-B)}{8}\cos 2{\mathrm{\&psi;}}_I+b_2\frac{(A-B)}{8}\sin {2\mathrm{\&Psi;}}_I)\\ \frac{\mathrm{\&beta;}}{\mathrm{\&pi;}}-(-a_2\frac{(A-B)}{8}\sin {2\mathrm{\&psi;}}_I+b_2\frac{(A-B)}{8}\cos {2\mathrm{\&psi;}}_I)\end{array}\right]$ (式32)

为了求出展开系数a4和b4而应求解的方程式如下所述那样成为冗余约束的联立方程，因此能够用伪逆矩阵进行求解。其中，表示Ψ_I0＝0°，Ψ_I0＝45°，Ψ_I0＝90°，Ψ_I0＝135°。

[数学式33]

$\left[\begin{array}{cc}{\cos 4\mathrm{\&psi;}}_{I0}& -\sin 4{\mathrm{\&psi;}}_{I0}\\ \sin 4{\mathrm{\&psi;}}_{I0}& \cos 4{\mathrm{\&psi;}}_{I0}\\ \cos {4\mathrm{\&psi;}}_{I1}& -\sin 4{\mathrm{\&psi;}}_{I1}\\ \sin 4{\mathrm{\&psi;}}_{I1}& \cos 4{\mathrm{\&psi;}}_{I1}\\ {\cos 4\mathrm{\&psi;}}_{I2}& -{\sin 4\mathrm{\&psi;}}_{I2}\\ {\sin 4\mathrm{\&psi;}}_{I2}& \cos {4\mathrm{\&psi;}}_{I2}\\ {\cos 4\mathrm{\&psi;}}_{I13}& -{\sin 4\mathrm{\&psi;}}_{I3}\\ {\sin 4\mathrm{\&psi;}}_{I3}& \cos 4{\mathrm{\&psi;}}_{I3}\end{array}\right]\left[\begin{array}{c}{a}_4\\ b_4\end{array}\right]=\left[\begin{array}{c}\mathrm{\&alpha;\&alpha;}\left({\mathrm{\&psi;}}_{I0}\right)\\ \mathrm{\&beta;\&beta;}\left({\mathrm{\&psi;}}_{I0}\right)\\ \mathrm{\&alpha;\&alpha;}\left({\mathrm{\&psi;}}_{I1}\right)\\ \mathrm{\&beta;\&beta;}\left({\mathrm{\&psi;}}_{I1}\right)\\ \mathrm{\&alpha;\&alpha;}\left({\mathrm{\&psi;}}_{I2}\right)\\ \mathrm{\&beta;\&beta;}\left({\mathrm{\&psi;}}_{I2}\right)\\ \mathrm{\&alpha;\&alpha;}\left({\mathrm{\&psi;}}_{I13}\right)\\ \mathrm{\&beta;\&beta;}\left({\mathrm{\&psi;}}_{I13}\right)\end{array}\right]$

$A\left[\begin{array}{c}{a}_4\\ b_4\end{array}\right]=B$ (式33)

$\left[\begin{array}{c}{a}_4\\ b_4\end{array}\right]={\left(A^{I}A\right)}^{-1}{A}^{I}B$

图23A及图23B是使用如上所述那样求得的傅里叶展开系数来求出实际的1个像素内的法线的方位角分布的实验结果。作为被摄体，将图24A和图24B所示的物体的凹槽A到H的内部中存在的1个像素作为对象，将展开系数代入到(式1)中进行了描绘。

图24是表示该被摄体的图，在塑料板上加工出A到I这8个槽并进行涂敷而得到。图24A是实物的亮度图像，图24B是其示意图。平面内的槽彼此的方位角度间隔为22.5°。

表1表示在各凹槽的位置处求出的展开系数。观察图23A及图23B可知，从A到H为止，凹槽分布的主轴依次旋转。由于是1个像素内的凹槽，因此应当与大的凹槽朝向没有直接相关，但结果是，在凹槽的倾斜面方向上有法线分布的主轴。

[表1]

通过将该超分辨方法与实施方式1组合，在亮度观测中会成为1个像素，因此即使是无法分辨的表面凹凸，也能够用偏振光推测出存在于表面的凹槽朝向(方位角)分布，从而可进行图像化，因此是非常有效的。此外，除了高精细地观察内窥镜图像的用途以外，通过将在此得到的展开系数用作根据凹槽统计量对被摄体表面进行分类、图案识别时的特征量，能够用于内窥镜图像的辅助診断等。

(实施方式2)

图25是表示实施方式2的图，是表示图1C中的图像处理器3002的一部分的图。在本实施方式中，能够分离来自脏器表面的散色光、和来自组织深部的散色光。本实施方式与实施方式1的结构的不同点在于，图20的结构中的偏振光处理部3602被更换为图25的偏振光处理部3901。

在偏振光内窥镜的现有例中，大多情况下主要目的是分离来自脏器表面的散色光、和来自组织深部的散色光来获得对比度高的图像。此时，偏振光照明使用P波，图像观测使用S波。即，需要使用向预定方向偏振的照明光，并观察与该方向正交的偏振光。但是，在现有例中，在将偏振光照明和偏振光摄像进行组合的偏振摄影与非偏振的通常彩色摄影之间，照明方法大为不同。因此，需要用于在内窥镜本身切换照明装置的机构。此外，若在偏振光摄影与通常彩色摄影之间共用光学***，则需要分离能够进行偏振光摄像的波段和能够进行通常拍摄的波段。因此，在例如380～780nm这样的共同的波段内，很难进行通常彩色摄影和偏振光摄影。本实施方式的图像处理装置由于具备使偏振面旋转的照明和偏振光摄像元件，因此无论是通常彩色摄影还是偏振光摄影均能够容易地执行。

在本实施方式中，与实施方式1相同，输入将照明的偏振面角度ΨI改变为0°、45°、90°、135°并在该照明下分别拍摄到的为0°、45°、90°、135°的合计16张偏振光亮度图像组3601。因此，使照明的偏振方向与观测的偏振方向(偏振光透过轴的方向)正交的组合之间存在变差(variation)。例如，选择ΨI＝0°，使用该照明下的45°、90°、135°这4种偏振光图像。基于这些偏振光图像，能够将各像素中的4个偏振光亮度视为图22中用○标记表示的4个采样点。将这些4个偏振光亮度拟合为余弦函数。根据这样得到的表示偏振光亮度与偏振光透过轴之间的关系的曲线，决定图22所示的Ymax和Ymin。若使用这样得到的Ymax及Ymin，则能够通过下述式求出表面散色光Is及内部散色光Id，并得到它们的图像。

[数学式34]

Is＝Ymax-Ymin(式34)

Id＝2Ymin

在本实施方式中，不在实施方式1的装置上增加特别的机构就能够分离表面散色光Is及内部散色光Id。在偏振光摄像元件被彩色化的情况下，将上述亮度作为彩色的各成分来处理即可。此时，根据(式29)获得通常的非偏振光彩色图像，并且根据(式34)能够得到成分因偏振而被分离的相同波段内的彩色图像。

偏振光照明角ΨI能够自由变更为0°以外的值。因此，能够通过任意的偏振光照明角ΨI，计算实施了将与该偏振方向正交的方向作为偏振光透过轴的观测时的结果。

也可以使用将偏振观测角固定为例如0°、将照明偏振角度改变为ΨI＝0°、45°、90°、135°这4个角度时的亮度变动。

(实施方式3)

以下，参照图26A及图26B说明本发明的图像处理装置的第3实施方式。本实施方式的图像处理装置不仅适用于内窥镜，而且是还适用于皮肤科、牙科等医学用途的带照明相机、指纹摄影装置、表面检查装置等。

图26A表示本实施方式的一个结构例。本实施方式的图像处理装置代替图1C的内窥镜101而包括装置400。该装置400包括环形照明4001、环状偏振面控制元件4002、摄影透镜4003及摄像元件4004。

图26B是表示图26A的概略外观的图。在本实施方式中，在环形照明4001上设置了环状偏振面控制元件4002。从光纤等光导向环形照明4001及偏振面控制元件4002输入非偏振光，如图2所示，使照明的偏振面旋转到例如0°、45°、90°、135°。

另外，环形照明4001也可以是不使用来自光源的光导的基于LED等的自发光光源。此外，若摄像光轴与照明光的光轴所构成的角度在15°以下，则也可以是环形照明以外的频闪(strobe)发光照明。通过使用环形照明，即使是用1个灯照明时难以观察的被摄体，也能够高精度地实施表面凹凸、凹槽的推测。尤其是，照明光的光轴与摄影光轴大致相同、且均匀化，因此能够适用为产品表面的伤痕及凹凸的检查装置、指纹摄影装置及皮肤科用的肌肤凹凸摄影装置等。摄像元件4004、未图示的图像处理器能够适用实施方式1中的图像处理器。

另外，在上述实施方式中，将照明的直线偏振光的旋转角度的间隔设定成了45°，但该角度不需要相同，可以彼此不同。此外，该角度的间隔也不限于45°。但是，为了决定余弦函数的3个参数，需要3个以上的采样。即，照明的直线偏振光的旋转角度需要改变为3种以上。在采样角度为3种角度时，例如可选择0°、60°、120°这3个角度。

(工业上的可利用性)

本发明能够广泛适用于医疗用内窥镜相机、皮肤科、牙科、内科、外科等医学用途的相机、工业用内窥镜相机、指纹摄像装置、表面检查装置等需要观察、检查、识别被摄体的表面凹凸的图像处理领域中。

符号说明

101     内窥镜

102     控制装置

103     ***部

104     光源

105     光导

106     偏振面控制元件

107     照明透镜

3002    图像处理器

109     摄影透镜

3001    摄像元件

111     影像信号线

112     同步装置

113     前端部

120     偏振光照明部

140     偏振光摄像部

150     图像处理部

160     变动处理部

170     分布推测部

Claims (4)

1.一种图像处理装置，具备：

偏振光照明部，其向被摄体依次照射偏振面的角度不同的3种以上的直线偏振光；

偏振光摄像部，其在通过3种以上的各上述直线偏振光照射上述被摄体时，依次拍摄上述被摄体，该偏振光摄像部获取多个偏振图像，多个偏振图像是在通过各上述直线偏振光照射上述被摄体的期间内在各像素中将偏振光透过轴的方向依次改变3次以上而得到的；

变动亮度处理部，其基于从上述偏振光摄像部输出的像素信号，求出上述偏振面的角度与各像素的亮度值之间的关系，生成根据上述亮度值取最大的上述偏振面的角度对各像素定义的亮度最大角图像、及根据随着上述偏振面的变化而产生的上述亮度值的变动的振幅与亮度平均值之比对各像素定义的亮度调制度图像；以及

分布推测部，其基于上述亮度最大角图像及上述亮度调制度图像，推测1个像素内的上述被摄体的表面上所存在的V字凹槽的方位角分布。

2.根据权利要求1所述的图像处理装置，其中，

上述亮度值是以像素单位对在上述被摄体被各上述直线偏振光照射的期间内按各像素使上述偏振光透过轴的方向依次改变3次以上而得到的多个偏振光亮度进行算数平均而得到的值，上述亮度值随着上述偏振光照明部的直线偏振光的上述偏振面的角度而变化。

3.根据权利要求2所述的图像处理装置，其中，

所述图像处理装置还具备：偏振光处理部，其生成根据偏振光摄像部的上述偏振光亮度取最大的上述偏振光透过轴的方向对各像素按上述偏振光照明部的偏振面的每个角度进行定义的偏振光最大角图像、及根据随着上述偏振光透过轴的方向的变化而产生的上述偏振光亮度的变动的振幅与偏振光亮度平均值之比对各像素进行定义的偏振度图像，

上述分布推测部基于上述偏振光最大角图像及上述偏振度图像，提高上述方位角分布的推测精度。

4.根据权利要求3所述的图像处理装置，其中，

上述分布推测部具备：

第1系数推测部，其基于上述变动亮度处理部的输出，推测表示上述V字凹槽的方位角分布的函数的傅里叶变换中的0次展开系数及2次展开系数；和

第2系数推测部，其基于上述偏振光处理部的输出，推测上述函数的上述傅里叶变换中的4次展开系数。