CN101542233B - 图像处理装置以及图像处理方法 - Google Patents
图像处理装置以及图像处理方法 Download PDFInfo
- Publication number
- CN101542233B CN101542233B CN2008800004895A CN200880000489A CN101542233B CN 101542233 B CN101542233 B CN 101542233B CN 2008800004895 A CN2008800004895 A CN 2008800004895A CN 200880000489 A CN200880000489 A CN 200880000489A CN 101542233 B CN101542233 B CN 101542233B
- Authority
- CN
- China
- Prior art keywords
- image
- polarized light
- information
- shadow
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Blocking Light For Cameras (AREA)
- Polarising Elements (AREA)
Abstract
提供一种图像处理装置等,不需要诸如使光源变动的大规模的***,就能够从如拍摄快照这样拍摄下来的图像中,抽出阴影区域和投影区域。进行与被摄物的图像中的影子有关的处理的图像处理装置(100)包括:图像信息取得部(110),取得与被摄物图像有关的包含亮度信息和偏振光信息的信息,所述亮度信息是与来自被摄物的光的亮度有关的信息,所述偏振光信息是与来自被摄物的光的偏振光有关的信息;影子区域抽出部(120),根据在图像信息取得部(110)取得的亮度信息和偏振光信息,从被摄物图像中抽出阴影区域和投影区域,所述阴影区域是因光的照射方式而在被摄物的表面产生的区域,所述投影区域是因被摄物本身将光遮住而在其他的物体上产生的区域;以及输出部(130),输出用于确定在影子区域抽出部(120)抽出的阴影区域以及投影区域的信息。
Description
技术领域
本发明涉及进行与被摄物的图像有关的处理的装置,尤其涉及进行与影子有关的处理的装置。
背景技术
近些年,利用影子(“影”:shadow)的图像处理方法不断被推广。例如,在非专利文献1中提出了一种利用来自已知形状的被摄物的“影”也就是利用被摄物的投影(cast shadow)的明暗分布来推定实际照明光源分布的方法。该方法是由光源和被摄物以及影子的关系在几何学上和光学上被模型化而得来的。通过将此想法利用于已知光源信息的环境中,从而可以根据影子来推定被摄物的三维形状。
并且,在图像处理中也采用了影子的校正处理,即,在摄影图像的一部分由于逆光或影子的影响而亮度降低的情况下,通过仅对影子这一区域的亮度进行校正,来表现美丽的图像。
在此,“影子”是指立体物体被光照射时产生的“影(shadow)”,包括“阴影(attached shadow)”和“投影(cast shadow)”。“阴影”是指因受光方式的不同,而立体的被摄物本身所产生的“影”,“投影”是指由于立体的被摄物本身将光遮住,而在其他的平面或其他的立体物体上产生的“影”。
由于非专利文献1中的方法是仅利用投影区域来推定光源分布的,而当在将阴影区域判断为投影区域进行处理的情况下,则不能正确地推定光源的分布。
并且,在进行影子校正处理的情况下,由于阴影区域是使被摄物产生立体感的要素,因此所希望的是仅对投影区域进行校正,而不对阴影区域进行处理。
为此,将影子区域分类为阴影区域和投影区域是非常重要的。
为了将影子区域分类为阴影区域和投影区域,在非专利文献2中,利 用受到了各种方向的光源照射的被摄物的图像,合成不产生镜面反射的理想状态的图像的线性化图像,并利用该线性化图像来对影子区域进行分类。
非专利文献1 佐藤ぃまり、佐藤洋一、池内克史 共著“物体の陰影に基づく光源環境推定(根据物体的影子来推定光源环境)”,情報処理学会論文誌:コンピュ一タビジョンとィメ一ジメディァ(信处理学会论文杂志:计算机视觉和图像媒体),Vol.41,No.SIG10(CVIM1),pp.31-40,2000
非专利文献2 石井育规、福井孝太郎、向川康博、尺长健“光学現象の分類に基づく画像の線形化(根据光学现象分类的图像的线性化)”,情报处理学会论文志:コンピュ一タビジョンとィメ一ジメディァ(信息处理学会论文杂志:计算机视觉和图像媒体),Vol.44,No.SIG5(CVIM6),pp.11-21,2003
然而,在上述非专利文献2中,由于需要受到各种方向的光源照射的被摄物的图像,因此造成使装置的规模变大的问题。并且,能够进行影子分类的影子仅为由移动光源产生的影子,而对于由不改变位置的光源产生的影子则不能进行分类。为此,对于室外由太阳光产生的影子或室内照明所利用的日光灯产生的影子区域就不能分类。
发明内容
因此,本发明的目的在于提供一种图像处理装置,其可以在一般的环境中,不需要诸如使光源变动的大规模的***,就能够从如拍摄快照这样拍摄下来的图像中抽出阴影区域和投影区域。
为了达成上述的目的,涉及本发明的图像处理装置,该图像处理装置,进行与被摄物的图像中的影子有关的处理,其中包括:图像信息取得部,取得与被摄物图像有关的包含亮度信息以及偏振光信息的信息,所述亮度信息是指与来自所述被摄物的光的亮度有关的信息,所述偏振光信息是指与来自所述被摄物的光的偏振光有关的信息;影子区域抽出部,根据在所述图像信息取得部取得的亮度信息以及偏振光信息,从所述被摄物图像中抽出阴影区域以及投影区域,所述阴影区域是指因光的照射方式而在被摄物的表面产生的区域,所述投影区域是指因被摄物本身将光遮住而在其他 的物体上产生的区域;以及输出部,输出确定在所述影子区域抽出部抽出的阴影区域以及投影区域的信息。
更具体而言,在本发明着眼于阴影区域和投影区域的偏振光特性的不同。在本发明通过关注作为偏振光信息的偏振度和偏振光推定误差等偏振光特性的不同,从而抽出阴影区域和投影区域。并且,由于要想将黑色的被摄物与影子分离是困难的,因此在本发明中,针对包含了影子区域和低反射率区域的低亮度区域进行区域抽出。据此,通过利用偏振光信息,从而可以针对包含影子区域的低亮度区域简单地抽出阴影区域以及投影区域。
并且,本发明不仅可以作为图像处理装置来实现,也可以作为图像处理方法来实现,还可以作为使计算机执行该方法中所包含的步骤的程序来实现,还可以作为记录这些程序的DVD等计算机可读取的记录介质来实现。
根据本发明,可以通过利用被摄物的偏振光信息来抽出阴影区域以及投影区域。据此,可以在一般的环境中,不需要诸如使光源变动的大规模的***,就能够从如拍摄快照这样拍摄下来的图像中抽出阴影区域和投影区域。
因此,通过本发明可以简单地抽出被摄物的阴影区域和投影区域,由此可以使图像变得更清晰,尤其在因光学***或摄像元件的小型化而带来图像清晰度问题的带照相机的移动电话、数码相机、数码摄影机等移动型摄像装置普及的今天,具有非常高的实用意义。
附图说明
图1是本发明的实施例1中的光学***上的区域划分装置的功能构成方框图。
图2是搭载了本发明的实施例1、2、4中的光学***上的区域划分装置的摄像机的构成图。
图3是示出图2所示的摄像机所具备的图案偏振器和摄像元件之间关系的模式图。
图4是本发明的实施例1中的光学***上的区域划分装置所进行的处 理的流程图。
图5是用于说明图2所示的摄像机所具备的图案偏振器的排列状态的模式图。
图6是用于说明正弦函数亮度变化和观测亮度点的模式图。
图8(a)~(d)分别是对图7(a)~图7(d)的浓淡明了化后的模式图。
图9中的图表示出了对于被摄物的折射率n=1.1,1.3,1.5,2.0时的镜面反射成分的入射角的偏振度。
图10中的图表示出了对于被摄物的折射率n=1.1,1.3,1.5,2.0时的漫反射成分的射出角的偏振度。
图11是用于说明被分类为阴影区域和投影区域的影子区域的模式图。
图12是用于说明阴影区域中的多次反射光的入射的模式图。
图13是用于说明投影区域中的多次反射光的入射的模式图。
图14是本发明的实施例1中的区域划分部的详细构成的功能方框图。
图15是本发明的实施例1中的区域划分部的处理流程图。
图16(a)、(b)、(c)示出了通过本发明的实施例1中的区域划分部,在光学上的区域划分结果。
图17是本发明的实施例1中的漫反射镜面反射分类处理的流程图。
图18示出了通过本发明的实施例1中的区域划分部的区域划分的具体例子。
图19示出了由区域划分部进行区域划分时的判断基准的具体例子。
图20是本发明的实施例1的变形例所涉及的区域划分部的功能构成方框图。
图21是图20所示的区域划分部进行漫反射镜面反射分类处理的流程图。
图22是本发明的实施例1的变形例所涉及的区域划分部的功能构成方框图。
图23是图22所示的区域划分部进行的处理的流程图。
图24是本发明的实施例1的变形例所涉及的区域划分部的功能构成方 框图。
图25是图24所示的区域划分部进行的处理的流程图。
图26是在本发明所涉及的图像处理装置中附加了法线信息生成部的装置的功能构成方框图。
图27是图26所示的光学上的区域划分装置以及法线信息生成部进行的处理的流程图。
图28是图26所示的法线信息生成部的详细构成方框图。
图29是图26所示的法线信息生成部进行的处理的流程图。
图30是利用了闪光设备的实施例1的变形例中的光学上的区域划分装置的功能构成方框图。
图31是图30所示的光学上的区域划分装置进行影子检测处理的流程图。
图32是本发明的实施例2所涉及的光学上的区域划分装置的功能构成方框图。
图33是本发明的实施例2所涉及的光学上的区域划分装置以及法线信息生成部进行的处理的流程图。
图34是本发明的实施例2中的区域划分部的详细的功能构成方框图。
图35是本发明的实施例2中的区域划分部进行的处理的流程图。
图36是本发明的实施例2中的法线信息生成部进行的处理流程图。
图37是本发明的实施例3中的光学上的区域划分装置的功能构成方框图。
图38是本发明的实施例3中的摄像条件判定部的详细的功能构成方框图。
图39示出了搭载了本发明的实施例3中的光学上的区域划分装置的摄像机的一个例子。
图40是本发明的实施例3中的光学上的区域划分装置以及法线信息生成部进行的处理的流程图。
图41是本发明的实施例3中的法线信息生成部进行的处理的流程图。
图42示出了搭载了利用了声纳的本发明实施例3的变形例中的光学上的区域划分装置的摄像机的构成例子。
图43是本发明的实施例3中的摄像条件判定部的详细的功能构成方框图。
图44是图42所示的光学上的区域划分装置以及法线信息生成部进行的处理的流程图。
图45是本发明的实施例4中的光学上的区域划分装置的功能构成方框图。
图46是本发明的实施例4中的光学上的区域划分装置以及法线信息生成部进行的处理的流程图。
图47是本发明的实施例4中的摄像条件判定部的详细的功能构成方框图。
图48是利用被摄物的形状信息来评价光学上的区域划分结果的可靠性的本发明变形例所涉及的光学上的区域划分装置的功能构成方框图。
图49是具备图48所示的光学上的区域划分装置的可靠性判定部的详细的功能构成方框图。
图50示出了搭载了图48所示的光学上的区域划分装置的摄像机的硬件构成的例子。
图51是图48所示的光学上的区域划分装置进行的光学上的区域划分处理的流程图。
图52是用于说明摄像机坐标系中的法向矢量的图。
图53(a)、(b)示出了内藏有本发明所涉及的图像处理装置的应用制品的例子。
图54是本发明的变形例所涉及的光学上的区域划分装置进行的影子检测处理的流程图。
图55(a)是被摄物的油画图像,(b)示出了与(a)所示出的图像相对应的偏振度ρ(偏振信息)。
图56示出了由该光学上的区域划分装置抽出的投影区域。
符号说明
100、100a~100e 光学上的区域划分装置
101 偏振光图像撮像部
102 偏振光信息生成部
103、103a~103c、1031 区域划分部
104、1041 法线信息生成部
105 发光部
106、106a 撮像条件判定部
107、107a 可靠性判定部
110 图像信息取得部
120 影子区域抽出部
130 输出部
200、200a~200c 摄像机
201 图案偏振器
202 摄像元件
203 存储器
204 CPU(中央处理单元)
205 角度感应器
206 撮像单位
207 发光装置
208 表示部
209 扬声器
210 声纳
211 形状信息生成部
301 影子区域检测部
302 数据库(DB)
303 偏振度比较部
304 偏振光推定误差比较部
305 区域判断部
306 蓄积部
307 区域参照部
308 漫反射假定法线信息生成部
309 镜面反射假定法线信息生成部
310 亮度比较部
311 低亮度像素检测部
312 光轴方向检测部
313 光轴方向比较部
314 阴影区域存在判断部
315 撮像环境检测部
316 撮像环境识别部
317 法线信息生成部
318 相位信息比较部
具体实施方式
以下,参照附图对本发明的实施例进行说明。并且,在本实施例中,以光学上的区域划分装置作为本发明所涉及的图像处理装置的一个例子来说明。
(实施例1)
首先,对本发明的实施例1中的光学上的区域划分装置的概要进行说明。
图1是本实施例中的光学上的区域划分装置100的功能构成方框图。该光学上的区域划分装置100是进行与被摄物的图像中的影子有关的处理的图像处理装置,在此为通过对被摄物进行摄像,而对被摄物的表面进行光学上的区域划分的装置,其中包括:图像信息取得部110、影子区域抽出部120以及输出部130。
图像信息取得部110是取得与被摄物图像相关的信息的处理部,具有偏振光图像摄像部101以及偏振光信息生成部102,所述与被摄物图像相关的信息包括亮度信息和偏振光信息,所述亮度信息是指与来自被摄物的光的亮度有关的信息,所述偏振光信息是指与来自被摄物的光的偏振有关的信息。并且,该图像信息取得部110按照每个构成被摄物图像的单位图像,取得亮度信息以及偏振光信息。
图像信息取得部110中的偏振光图像摄像部101是通过接受透过多个偏振器的光,来取得被摄物的偏振光图像的处理部,所述多个偏振器的偏振光主轴角度各不相同。
图像信息取得部110中的偏振光信息生成部102是一处理部,其根据由偏振光图像摄像部101取得的偏振光图像,利用多个偏振器的偏振光主轴角度和透过多个偏振器的光的亮度的对应关系,针对构成所述偏振光图像的各个图像区域生成偏振光信息,该偏振光信息是与接受的偏振光有关的信息。
影子区域抽出部120是一处理部,其根据在图像信息取得部110取得的亮度信息以及偏振光信息,按照每个单位图像,从被摄物图像中抽出阴影区域以及投影区域,所述阴影区域是指因接受光的各种照射方式而在被摄物表面产生的“影”的区域,所述投影区域是指因被摄物本身将光遮挡住而在其他的物体上产生的“影”的区域,并且,在本实施例中,作为一个例子示出了影子区域抽出部120具有进行区域划分的区域划分部103。
影子区域抽出部120中的区域划分部103是一处理部,其利用偏振光图像的亮度信息和在偏振光信息生成部102生成的偏振光信息的类似性(共通性),将偏振光图像划分为由在光学上共通的图像区域的集合构成的多个区域。此时,区域划分部103对图像区域的亮度和预先规定的阈值进行比较,在亮度比阈值小的情况下,对该图像区域进行区域划分,划分为包含影子区域(阴影区域以及投影区域)的低亮度区域(在本实施例中为影子区域)。
并且,该区域划分部103虽然对图像(在此为偏振光图像)进行区域划分,但是在本发明中作为影子区域抽出部的工作并非受区域划分所限,也可以是区域抽出(即,确定图像的一部分区域的处理)。也就是说,在本说明书中,为了便于对发明的理解,仅以区域抽出作为一个例子,对将图像的全部区域划分为包含阴影区域和投影区域的多个种类的区域中的某一个的区域划分进行说明,不过,作为本发明所涉及的图像处理装置并非限于这种区域划分,也可以是对图像的一部分区域进行确定的区域抽出。因此,在本说明书中的“区域划分(区域的划分)”也可以称为“区域抽出(区域的抽出)”。并且,在本说明书中“区域检测(区域的检测)”与“区域抽出(区域的抽出)”具有相同的意义。
输出部130是输出用于确定在影子区域抽出部120抽出的阴影区域以及投影区域的信息的处理部,具有标识符附加部131以及影子区域输出部 132。
在输出部130中的标识符附加部131针对构成在影子区域抽出部120抽出的阴影区域以及投影区域的单位图像,分别附加表示阴影区域以及投影区域的标识符,并输出附加的标识符。
输出部130中的影子区域输出部132输出被摄物图像中的阴影区域和投影区域所分别对应的部分(图像),以作为确定在影子区域抽出部120抽出的阴影区域和影子区域的信息。
图2示出了搭载了本实施例中的光学上的区域划分装置100的摄像机200的硬件构成的例子。图3是示出图2所示的图案偏振器201和摄像元件202之间的关系的模式图。此摄像机200是具有对摄像图像进行光学上区域划分功能的摄像装置,其包括:图案偏振器201、摄像元件202、存储器203、CPU204以及发光装置207。
如图3所示,图案偏振器201是将偏光主轴角度Ψi=0°、45°、90°、135°的四种偏振器编为一组,并排列成二维状的偏振器的集合。
如图3所示,摄像元件202是接受透过构成图案偏振器201的各个偏振器的光的被排列成二维状的像素(受光元件)的集合,并且最好是被设置成与摄像元件202的摄像面平行。并且,图案偏振器201中的四个(四种)偏振器和摄像元件202中对应的四个像素(受光元件)构成摄像单位206。通过此摄像单位206而得到的图像为偏振光信息生成部102以及区域划分部103中的各个处理的单位(“单位图像”)。即,光学上的区域划分装置100按照各个依据摄像单位206得到的单位图像(以下也称为“像素”),进行偏振光信息的生成以及区域划分。
存储器203包括作为CPU204的工作区域的RAM以及存储程序等的ROM。
CPU204是执行被存储在存储器203中的程序,并访问存储器203、控制摄像元件202以及发光装置207的处理器。
发光装置207是照射被摄物的闪光设备。
并且,图1所示的偏振光图像摄像部101是由图2所示的图案偏振器201以及摄像元件202实现的。图1所示的偏振光信息生成部102以及区域划分部103是由图2所示的CPU204执行在存储器203中存储的程序来 实现的。并且,存储器203也被作为存储由偏振光图像摄像部101取得的偏振光图像、由偏振光信息生成部102生成的偏振光信息、以及临时产生的各种参数等的工作区域来使用。
图4是本实施例中的光学上的区域划分装置100进行的处理的流程图。首先,偏振光图像摄像部101通过图案偏振器201,以摄像元件拍摄被摄物,从而摄像包含偏振光信息的偏振光图像(S101)。偏振光信息生成部102利用在偏振光图像摄像部101拍摄的偏振光图像的亮度变化,生成偏振光信息(S102)。区域划分部103利用在偏振光信息生成部102生成的偏振光信息或在偏振光图像摄像部101取得的亮度信息,将图像划分为漫反射区域、镜面反射区域以及低亮度区域(在本实施例中为阴影区域以及投影区域)(S103)。
以下,对本实施例中的光学上的区域划分装置100的各个构成要素的详细功能进行说明。
首先,对偏振光图像摄像部101的详细功能进行说明。偏振光图像摄像部101使来自被摄物的光通过图案偏振器201在摄像元件202受光,从而取得包含偏振光信息的偏振光图像。图5是从入射光方向看到的图3所示的摄像单位206的模式图。在该图中各个偏振器(各个像素)中的直线表示被设置在各个像素上的微小起偏板的偏振光主轴方向。即,此摄像单位206是具有偏振光光轴的回转角为(Ψi=0°、45°、90°、135°)的四种偏振光方向的像素。图案偏振器示出了使TM波透过、使TE波反射(不透过)的偏振特性。
这种特性例如可以利用非专利文献3所记载的光子晶体作成(非专利文献3:『川岛、佐藤、川上、长岛、太田、青木、共著“パタ一ン化偏光子を用ぃた偏光ィメ一ジングデバィスと利用技衍の開発(利用图案化偏振器的偏振光成像装置和利用技术的开发)”,電子情報通信学会2006年総合全国大会(电子信息通信学会2006年综合全国大会),No.D-11-52,P52,2006)。在光子晶体的情况下,在表面形成的沟槽,具有平行振动面的光成为TE波,具有垂直振动面的光成为TM波。
在摄影该偏振光信息时,亮度的动态范围和位(bit)数最好是尽量大(例如16位)。
以下,对偏振光信息生成部102的详细功能进行说明。偏振光信息生成部102是利用在偏振光图像摄像部101取得的偏振光图像来生成偏振光信息的处理部。
透过偏振器的亮度是根据偏振器的偏振光主轴角度而发生变化的。图6示出了透过不同的偏振光主轴角度为Ψi=0°、45°、90°、135°的四种偏振器的亮度401、402、403、404形成的一条正弦函数曲线。即,该正弦函数曲线示出了图5中的点501的偏振光特性。并且,偏振光主轴角度在0°和108°(п)是相同的。并且,在求此正弦函数曲线时,最好是使用摄影伽马=1的摄像机,或通过校正线性来校正成摄影伽马=1。这四个点正好被描画在一条正弦函数曲线上,其实,作为由多个观测点构成180度周期的正弦函数的最佳值,最好是以一条正弦函数曲线来表示。
此偏振光信息生成部102生成此曲线的振幅和相位信息以作为偏振光信息。具体而言,针对图案偏振器201的主轴角Ψ的反射光亮度I如以下这样近似。
I(ψ)=A·sin 2(ψ-B)+C(公式1)
在此,如图6所示,公式1中的A、B、C为常数,分别表示通过偏振器的亮度的变动曲线的振幅、相位、平均值。不过,公式1可以如下展开。
I(ψ)=a·sin 2ψ+b·cos 2ψ+C
(公式2)
另外,
(公式3)
即,在四个像素的采样(Ψi、Ii)中,只要求出使以下公式5成为最小的A、B、C,就可以实现正弦函数(公式1)近似。不过,Ii表示起偏板回转角Ψi时的观测亮度。并且,N为采样数,在此为4。
(公式5)
通过以上的处理,确定正弦函数近似的A、B、C这三个参数。
利用这样求出的参数,偏振光信息生成部102生成以下所示的某个或多个,以作为偏振光信息。
·偏振度ρ
·偏振光推定误差E
在此,偏振度是表示光偏振了多少的指标,偏振光相位是指依存于偏振光主轴角度并变化的亮度成为最大的角度,偏振光推定误差是指观测四个像素的采样的亮度和通过近似而得到的由上述的正弦函数决定的亮度的差的合计。
图7是将拍摄作为球体的塑料球的被摄物时的偏振度ρ、偏振光相位 以及偏振光推定误差E作为图像来表示的图。在该图中,图7(a)是作为被摄物的塑料球的图像,图7(b)示出了针对图7(a)的被摄物的偏振度ρ,图7(c)示出了针对图7(a)的被摄物的偏振光相位 (0°为黑,180°为白),图7(d)示出了针对7(a)的被摄物的偏振光推定误差E。并且,图8是图7中各个图的模式图(使浓淡明了化的图)。不论在图7还是在图8中,亮度高的值就大,在球的被遮挡边缘附近偏振度大,在没有被被摄物的投影覆盖的区域,偏振光相位以180°周期在球体的周围逆时针单调增加。此偏振光 相位是成为回转并发生了变化的亮度的最大值的角度,也是被摄物漫反射时的射出面的信息。
以下,对区域划分部103的详细功能进行说明。区域划分部103利用在偏振光信息生成部102生成的偏振光信息和在偏振光图像摄像部101取得的亮度信息,将图像划分为漫反射区域、镜面反射区域、阴影区域以及投影区域。
在此,对漫反射和镜面反射进行说明。被摄物表面的反射特性是以作为“光亮”的镜面反射成分和作为无光泽的反射成分的漫反射成分的和来表现的。漫反射成分是不论照射被摄物的光源在哪个方向上都能够观测到的成分,镜面反射成分是对于被摄物的法线方向和视线方向,几乎只有在光源存在与正反射方向上时才能观测到的对方向依存性强的成分。在偏振光特性中也是如此。
在被摄物是「光亮」的产生镜面反射的物体的情况下,当光从各个方向照射时,被摄物会受到很强的来自作为正反射成分的镜面反射的影响(例如,关于透明物体可参照非专利文献4:齐藤めぐみ、佐藤洋一、池内克史、柏木宽,“ハィラィトの偏光解析にもとづく透明物体の表面形状测定(根据光亮的偏振光分析的透明物体的表面形状测定)”電子情報通信学会論文誌(电子信息通信学会论文杂志)D-II,Vol.J82-D-II,No.9,pp.1383-1390,1999)。
图9和图10的图表分别示出了被摄物的折射率为n=1.1、1.3、1.5、2.0时的镜面反射成分以及漫反射成分的偏振度(例如,参照非专利文献5:“L.B.Wolff and T.E.Boult,″Constraining object features using apolarization reflectance model″、IEEE Transactions on PatternAnalysis and Machine Intelligence、Vol.13,No.7,pp.635-657,1991”)。在此,图9的横轴表示入射角,纵轴表示偏振度。并且,图10的横轴表示射出角,纵轴表示偏振度。通过这些图可知,光在从各个方向入射的情况下,与漫反射成分相比,镜面反射成分的偏振度高。据此,对于偏振光特性而言,也可以推测出是镜面反射成分占优势。这在射出角接近90°和遮挡边缘等除外的情况也适用。
以下,对阴影区域和投影区域进行说明。图11是用于说明阴影区域和 投影区域(影子区域的分类)的模式图。在此示出了,在某一个面1002上放置有一个球状物体的被摄物1001,并且该被摄物1001由光源1003照射。在该图中,区域1004和区域1005均表示影子区域。区域1004是由于被摄物1001的法线没有朝向光源1003而产生的“阴影区域”,区域1005是由作为遮挡物的被摄物1001将光遮挡后而在面1002上产生的“投影区域”。
以下,对阴影区域和投影区域的偏振光特性的不同之处进行说明。首先,假定在满足条件1的摄像场面进行摄影,该条件1是指在地上摄影的几乎所有的摄像场面中都能成立的条件。
条件1:在被摄物所在的摄像场面中,存在有物体,在该物体的近旁有宽广的面,且该宽广的面在该物体的一侧,在该物体的相反一侧存在有光源。
上述的条件例如出现在以下的摄像场面。
1.在室内场面中,在桌子上放置有作为被摄物的球。并且,该球被设置在天花板上的萤光灯照射。
2.在室内场面中,作为被摄物的人物坐在在地板上放置的椅子上。并且,该人物被从窗户射入的太阳光照射。
3.在室外场面中,作为被摄物的汽车行驶在道路上。并且,该被摄物被太阳光照射。
并且,由于墙壁或建筑物也具有宽广面,因此上述条件在地上的摄影的几乎所有的摄像场面中均成立。
在此条件1成立的情况下,首先对阴影区域进行说明。如图11所示,阴影区域是被摄物的法线与光源的方向相反而产生的影子(影)区域。在此,根据条件1可以考虑到,在与光源的相反的方向上存在宽广的面,并且在影子区域中实际上存在多次绕过的光(多次反射光),据此可以想到在阴影区域中被入射有来自各个方向的多次反射光。也就是说可以考虑到对于摄像机200和阴影区域所产生的像素的法线,存在成为正反射的多次反射光。图12是示出上述状态的模式图。在该图中,摄像机1006是搭载了本实施例中的光学上的区域划分装置100的摄像机,面1007是上述的宽广的面。
不过,如以前所述镜面反射成分的偏振度比漫反射成分高。为此,示出镜面反射成分的反射特性的阴影区域的偏振度相对比较高。
以下,对投影区域进行说明。如图11所示,投影区域是因某种遮挡物将光遮挡住而产生的影子(影)区域。在此若考虑条件1,则投影区域容易形成在具有与宽广的面接近的法线方向的面上。为此,与阴影区域相比,多次反射光仅从比较有限的方向入射。据此,可以考虑到在正反射方向上存在光源的可能性比较低。图13是上述状态的模式图。
而且,如图10所示,漫反射成分的偏振度相对比较低。据此可知投影区域的偏振光成分比较少。在影子区域,由于亮度本身比较小,因此推定较小的偏振光成分是比较困难的。为此,投影区域的偏振光推定误差就会变得非常大。
归纳以上所述,影子区域的偏振光特性可以分类为以下这样。
(1)阴影区域
·偏振度高,偏振光推定误差小。
·大多情况表示的是镜面反射特性。
(2)投影区域
·偏振度低,偏振光推定误差大。
·大多情况表示的是漫反射特性。
通过利用此分类基准,从而可以将影子区域分类为阴影区域和投影区域。例如,可以将偏振光信息为镜面反射的偏振光特性(偏振度高,或偏振光推定误差小)的低亮度区域分类为阴影区域。以下,对利用这样的性质进行区域划分的区域划分部103进行详细说明。
图14是图1所示的光学上的区域划分装置100的区域划分部103的详细功能构成方框图。该区域划分部103是进行区域划分的处理部,其利用在偏振光信息生成部102生成的偏振光信息和在偏振光图像摄像部101取得的亮度信息,将图像划分为漫反射区域、镜面反射区域、阴影区域以及投影区域,该区域划分部103包括:影子区域检测部301、DB(数据库)302、偏振度比较部303、偏振光推定误差比较部304、区域判断部305、以及蓄积部306。
影子区域检测部301是推定由偏振光图像摄像部101取得的图像中的 像素是否为影子区域的处理部。
DB302是预先存储由偏振度比较部303参照的阈值Th_PDS以及由偏振光推定误差比较部304参照的阈值Th_Err的存储器等。
偏振度比较部303是一处理部,从DB302中读出阈值Th_PDS,对于在影子区域检测部301被推定为不是影子区域的像素中的成为对象的像素的偏振度和阈值Th_PDS进行比较。
偏振光推定误差比较部304是一处理部,从DB302中读出阈值Th_Err,对于在影子区域检测部301被推定为是影子区域的像素,对成为对象的像素的偏振光推定误差E和阈值Th_Err进行比较。
区域判断部305按照在偏振度比较部303以及偏振光推定误差比较部304的比较结果,判断成为对象的像素是漫反射区域、镜面反射区域、投影区域以及阴影区域中的哪一个,并将结果蓄积到蓄积部306。
蓄积部306是存储由区域判断部305判断的区域划分结果的存储器等。
图15是该区域划分部103进行处理的流程图。首先,影子区域检测部301推定由偏振光像素摄像部101取得的图像中的像素是否为低亮度区域(在本实施例中为影子区域)(S201)。这是因为,例如利用影子区域中的亮度值低这一特性,可以将亮度值或通过偏振器的亮度的变动曲线的振幅在阈值以下的像素推定为影子区域。像这种用于推定影子区域的阈值可以通过实验来决定,例如对于16位的单色图像的亮度值可以设定为256。这样的阈值可以保持在DB302。图16(a)是针对图7(a)的图像(其模式图为图8(a))进行影子检测处理后的结果。图中的黑色区域是作为影而被检测出的结果。
在像素不是影子区域的情况下(S201的“否”),偏振度比较部303判断在该像素中是漫反射成分占优势还是镜面反射成分占优势(S202)。图17是由该偏振度比较部303进行漫反射和镜面反射的分类处理(S202)的流程图。在此,偏振度比较部303利用上述的“镜面反射的偏振度高”这一特性,来判断像素是漫反射占优势还是镜面反射占优势。首先,偏振度比较部303调查像素的偏振度比阈值Th_PDS小还是大(S211)。在像素的偏振度比阈值Th_PDS小的情况下(S211的“是”),区域判断部305则判断在该像素中是漫反射占优势(该像素是漫反射区域)(S212)。另外,在 偏振度比阈值Th_PDS大的情况下(S211的“否”),区域判断部305则判断在该像素中是镜面反射占优势(该像素是镜面反射区域)(S213)。区域判断部305将区域划分的结果蓄积到蓄积部306。
并且,阈值Th_PDS可以根据被摄物的折射率或被摄物的法线方向、光源方向、视线方向等来设定。如图9和图10所示,被摄物的镜面反射成分偏振度或漫反射成分偏振度可以通过求折射率和入射角、射出角来决定。因此,可以将在图9和图10求出的镜面反射成分偏振度或漫反射成分偏振度作为Th_PDS来利用。并且,在被摄物的折射率或被摄物的法线方向、光源方向、视线方向等信息不能得到的情况下,可以根据漫反射成分偏振度能够取得的最大值来决定阈值Th_PDS。例如,假设不存在折射率为2.0以上的被摄物,根据图10,可以考虑到漫反射成分偏振度的最大值为0.6左右,因此可以将阈值Th_PDS设定为0.7左右。像这样的阈值可以保持在DB302中。
在漫反射和镜面反射的分类处理(S202)结束后,区域判断部305检查所有的像素的光学上的分类是否结束(S203)。在存在还没有进行分类的像素的情况下(S203的“否”),影子区域检测部301检测其他的像素是否为影子区域(S201)。并且,在所有的像素在光学上的分类结束的情况下(S203的“是”),区域划分部103结束处理。
另一方面,像素为影子区域的情况下(S201的“是”),偏振光推定误差比较部304评价在上述公式8中定义的偏振光推定误差E的大小(S204)。即,偏振光推定误差比较部304对偏振光推定误差E的大小和阈值Th_Err进行比较。在比较结果为,偏振光推定误差E的大小比阈值Th_Err大的情况下(S204的“是”),区域判断部305将该像素判断为是投影区域(S205),另外,在偏振光推定误差E的大小比阈值Th_Err小的情况下(S204的“否”),区域判断部305则将该像素判断为是阴影区域(S206)。区域判断部305将区域划分结果蓄积到蓄积部306。
此时的阈值Th_Err可以以摄影图像的亮度值或公式2中的振幅成分A、偏离成分C为基准来决定。例如,在以振幅成分A为基准决定阈值Th_Err的情况下,可以决定为以下这样。
Th_Err=(Th_E)2·(2A)2·N(公式9)
该公式示出偏振光推定误差E与振幅成分A有多大的不同。在此,Th_E是一个适当地正的常数,可以试行决定,例如决定为0.3。并且,N是上述的采样数。像这样的阈值可以保持在DB302中。
图16(b)以及图16(C)分别示出了以上述的方法求出的投影区域以及阴影区域。在该图中,黑色区域是被选择的区域。通过对于像这样求出的投影区域和阴影区域进行在图像处理中被广泛使用的区域的收缩扩大处理,从而可以将投影区域和阴影区域进行分离。
图18示出了由区域划分部103进行的区域划分的例子。在此,示出了对于构成偏振光图像的各个像素的像素位置、振幅A、偏振度ρ、偏振光相位 偏振光推定误差E的具体值以及区域划分结果。在此所示的区域划分中的判断基准如图19所示。即,是漫反射区域还是镜面反射区域或是影子区域是根据振幅A是否在256以上来判断的(图15的S201),是漫反射区域还是镜面反射区域是根据偏振度ρ是否比0.7小来判断的(图17的S211),是投影区域还是阴影区域是根据偏振光推定误差E是否比上述公式9所示的阈值Th_Err大来判断的(图15的S204)。以这样的判断基准判断的结果如图18所示,像素(141、117)被判断为属于漫反射区域,像素(151、138)被判断为属于镜面反射区域,像素(111、144)被判断为属于阴影区域,像素(98、151)被判断为属于投影区域,像素(165、144)被判断为属于漫反射区域。
并且,在图15所示的处理中,虽然对于在像素中是漫反射成分还是镜面反射成分占优势的判断利用了偏振度(S202),不过也可以利用亮度值。图20是利用亮度值来判断是漫反射还是镜面反射的变形例所涉及的区域划分部103a的详细功能构成方框图。该区域划分部103a包括:影子区域检测部301、DB302、偏振光推定误差比较部304、区域判断部305、蓄积部306以及亮度比较部310。并且,对于在该图20中与图14相同的构成要素赋予相同的符号,在此省略详细说明。
亮度比较部310是一处理部,从DB302中读出阈值TH_IDS,并对成为对象的像素的亮度值和阈值TH_IDS进行比较。
图21是该区域划分部103a的处理流程图。并且对于图21中与图17相同的步骤赋予相同的符号,在此省略详细说明。亮度比较部310调查像素的亮度值比阈值TH_IDS大还是小(S214)。在像素的亮度值比阈值TH_IDS小的情况下(S214的“是”),区域判断部305将该像素判断为是漫反射占优势(S212)。另外,在亮度值比阈值TH_IDS大的情况下(S214的“否”),区域判断部305则判断该像素是镜面反射占优势(S213)。这样,利用亮度值判断了在该像素中是漫反射占优势还是镜面反射占优势。
并且,在图15所示的处理中,虽然是利用偏振光推定误差来判断像素是阴影区域还是投影区域的(S204),不过也可以不利用偏振光推定误差,而可以利用偏振度来进行判断。图22是利用偏振度来判断是阴影区域还是投影区域的变形例所涉及的区域划分部103b的详细的功能构成方框图。该区域划分部103b包括:影子区域检测部301、DB302、偏振度比较部303、区域判断部305以及蓄积部306。并且,对于在图22中与图14相同的构成要素赋予相同的符号,在此省略详细说明。
图23是该区域划分部103b的处理流程图。并且,对于在图23中与图15相同的步骤赋予相同的符号,在此省略详细说明。
在由影子区域检测部301判断像素是影子区域的情况下(S201的“是”),偏振度比较部303对公式6所定义的偏振度ρ和阈值Th_P进行比较,以判断该像素是阴影区域还是投影区域(S207)。当判断结果为,偏振度ρ比阈值Th_P小的情况下(S207的“是”),区域判断部305判断该像素为投影区域(S205),并且,在偏振度ρ比阈值Th_P大的情况下(S207的“否”),则区域判断部305判断该像素为阴影区域(S206)。这样,利用偏振度判断了像素是阴影区域还是投影区域。
并且,阈值Th_P可以根据被摄物的折射率或被摄物的法线方向、光源方向、视线方向等来设定。如图9以及图10所示,被摄物的镜面反射成分偏振度或漫反射成分偏振度可以通过求出折射率和入射角、射出角来决定。因此,可以将在图9以及图10所求出的镜面反射成分偏振度或漫反射成分偏振度作为Th_P来利用。并且,在不能得到被摄物的折射率或被摄物的法线方向、光源方向、视线方向等信息的情况下,可以根据漫反射成分偏振度能够取得的最大值来决定Th_P。例如,假设不存在折射率在2.0 以上的被摄物的情况下,由于根据图10可以考虑到漫反射成分偏振度的最大值为0.6左右,因此可以将阈值Th_P设定为0.7左右。
并且,在图15所示的处理中,在判断该像素是阴影区域还是投影区域之时(S204),可以不是利用偏振光推定误差和偏振度的某一个,而是可以利用这两个。图24是既利用偏振光推定误差又利用偏振度来判断像素是阴影区域还是投影区域的变形例所涉及的区域分割部103c的详细功能构成方框图。该区域划分部103c包括:影子区域检测部301、DB302、偏振度比较部303、偏振光推定误差比较部304、区域判断部305以及蓄积部306。并且,对于图24中与图14相同的构成要素赋予相同的符号,在此省略详细说明。该区域划分部103c虽然与图14所示的区域划分部103的构成要素相同,但是区域判断部305的区域划分中的判断基准与区域划分部103不同。
图25是该区域划分部103c的处理流程图。并且,对于图25中与图15相同的步骤赋予相同的符号,在此省略详细说明。在由影子区域检测部301判断为成为对象的像素是影子区域的情况下(S201的“是”),偏振光推定误差比较部304以及偏振度比较部303分别评价在公式8定义的偏振光推定误差E和在公式6定义的偏振度ρ,来判断该像素是阴影区域还是投影区域。即,偏振光推定误差比较部304对偏振光推定误差E和阈值Th_Err进行比较,偏振度比较部303对偏振度ρ和阈值Th_P进行比较。
在其结果为,偏振光推定误差E比阈值Th_Err大并且偏振度ρ的大小比阈值Th_P小的情况下(S208的“是”),区域判断部305判断该像素为投影区域(S205),另外,在偏振光推定误差E的大小比阈值Th_Err小且偏振度ρ的大小比阈值Th_P大的情况下(S208的“否”),则区域判断部305判断该像素为阴影区域(S206)。这样,在判断像素是阴影区域还是投影区域中,既利用了偏振光推定误差又利用了偏振度。
并且,偏振光推定误差E的阈值Th_Err可以取比仅以图15所示的处理的偏振光推定误差判断的情况大的值,偏振度ρ的阈值Th_P可以取比仅以图23所示的处理的偏振度判断的情况小的值。并且,在区域判断部305进行的判断(S208)中,也可以在偏振光推定误差E的大小比阈值Th_Err大且偏振度ρ的大小比阈值Th_P小的情况下,判断该像素为投影 区域。
并且,在图15的处理中,虽然在判断像素是阴影区域还是投影区域中利用了偏振光推定误差(S204),不过也可以利用阴影区域的偏振光特性为镜面反射这一特性来进行判断。例如,可以利用公式7所定义的偏振光相位 偏振光相位 示出了被摄物的法线的一个成分,偏振光相位 和被摄物的法线的一个成分的关系成为,根据被摄物是镜面反射成分占优势还是漫反射成分占优势,相位将相差90度,对此将在以后叙述。例如,通过图7(c)(其模式图为图8(c))可知,阴影区域的偏振光相位信息和旁边的偏振光相位信息大不相同。这是因为,阴影区域示出的是镜面反射成分这一偏振光特性,而其旁边区域示出的是漫反射成分这一偏振光特性。因此,通过评价被摄物的偏振光相位的连续性,来检测示出镜面反射成分的偏振光特性,从而检测阴影区域。
并且,本发明不仅可以作为图1所示的光学上的区域划分装置100单体来实现,而且还可以作为将利用光学上的区域划分装置100的输出来生成法线信息的处理部附加到光学上的区域划分装置100的构成来实现。
图26是将生成法线信息的处理部(法线信息生成部)附加到作为本发明所涉及的图像处理装置的一个例子的光学上的区域划分装置100的装置的功能构成方框图。法线信息生成部104是一处理部,利用在偏振光信息生成部102生成的偏振光信息,并按照在区域划分部103划分的区域,来生成用于确定对应的被摄物的表面的法线的法线信息。
图27是图26所示的光学上的区域划分装置以及法线信息生成部的处理流程图。该图相当于,在图4所示的流程的步骤S103之后附加上法线信息的处理步骤S104。在区域划分处理(S103)之后,法线信息生成部104利用在偏振光信息生成部102生成的偏振光信息,并按照在区域划分部103划分的区域,来生成用于确定对应的被摄物的表面的法线的法线信息(S104)。
在此,对根据偏振光信息来生成法线信息的算法进行说明。已知的方法是,根据偏振光相位 求出被摄物的法线信息中的包含光的入射和反射的光线的射出面(入射角)的角度的一个自由度。但是,根据被摄物是镜面反射占优势还是漫反射占优势,法线信息的求出方法是完全不同的(例如, 参照非专利文献6:“Ondfej Drbohlav and Sara Radim,‘Usingpolarization to determine intrinsic surface properties’,Proc.SPIEVol.3826,pp.253-263,1999”)。在漫反射成分占优势的情况下,可以将漫反射的射出面的信息作为起偏板回转后亮度变化成为亮度的最大值的角度来求。并且,在镜面反射成分占优势的情况下,可以将漫反射的入射面信息作为起偏板回转后亮度变化成为亮度的最小值的角度来求。在此,若偏振光亮度的变动曲线为180°周期的正弦函数,则在不考虑是漫反射占优势还是镜面反射占优势的情况下生成法线信息时,被推定的法线的一个自由度具有90°的误差。因此,对漫反射和镜面反射进行分类在根据偏振光信息生成法线信息的处理中是非常重要的。
图28是图26所示的法线信息生成部104的详细的功能构成方框图。该法线信息生成部104是根据区域划分部103所进行的区域划分结果,从偏振光信息生成法线信息的处理部,其包括:蓄积部306、区域参照部307、漫反射假定法线信息生成部308以及镜面反射假定法线信息生成部309。并且,对于该图中与图14相同的构成要素赋予相同的符号,在此省略详细说明。
区域参照图307是一处理部,通过参照被蓄积在蓄积部306中的区域划分结果,判断在成为对象的像素中是漫反射成分占优势(是否为漫反射区域)还是镜面反射成分占优势(是否为镜面反射区域),或者判断该像素是否为阴影区域。
漫反射假定法线信息生成部308是针对漫反射区域的像素以假定的漫反射生成法线信息的处理部。具体而言,将通过上述的近似法而得到的正弦函数中的亮度为最大的偏振光主轴角,作为与该像素相对应的被摄物的射出面的法线信息来生成。
镜面反射假定法线信息生成部309是针对镜面反射区域以及阴影区域的像素以假定的镜面反射生成法线信息。具体而言,将通过上述的近似法而得到的正弦函数中的亮度为最小的偏振光主轴角,作为与该像素相对应的被摄物的射出面的法线信息来生成。
图29是该法线信息生成部104的处理流程图。首先,区域参照部307根据区域划分部103所检测出的光学上的区域划分的结果,判断像素是否 为漫反射成分占优势(S301)。该处理可以是从蓄积了区域判断部305的结果的蓄积部306中读出区域划分结果。在被判断为是漫反射成分占优势的情况下(S301的“是”),漫反射假定法线信息生成部308以假定的漫反射生成关于该像素的法线信息(S302)。具体而言,将射出面中的法线的一个自由度作为起偏板回转亮度变化成为最大值的角度来求。即,将通过上述的近似法而得到的正弦函数中的亮度为最大的偏振光主轴角,作为与该像素相对应的被摄物的射出面的法线信息来生成。
并且,在被判断为像素是漫反射成分占优势的情况下(S301的“否”),区域参照部307判断是否为镜面反射成分占优势(是否为镜面反射区域)或者判断像素是否为阴影区域(S303)。在其结果为,在判断为是镜面反射成分占优势或者在判断为像素是阴影区域的情况下(S303的“是”),镜面反射假定法线信息生成部309针对该像素以假定的镜面反射生成法线信息(S304)。具体而言,将入射面中的法线的一个自由度作为起偏板回转亮度变化成为最小值的角度来求。即,将通过上述的近似法而得到的正弦函数中的亮度为最小的偏振光主轴角,作为与该像素相对应的被摄物的入射面的法线信息来生成。
另一方面,在判断为像素是投影区域的情况下,也就是说既不是漫反射成分占优势也不是镜面反射成分占优势,更不是阴影区域的情况下(S303的“否”),则判断为像素偏振光信息是误差占优势,不能生成正确的法线信息,则该法线信息生成部104不进行法线信息生成处理(S305)。
如以上所述,通过将作为后处理部的法线信息生成部附加到本发明所涉及的图像处理装置,从而实现了按照包含影子区域的光学上的区域来自动生成法线信息的法线信息生成装置。
并且,图14等所示出的影子区域检测部301也可以利用被搭载在摄像机200上的发光装置207(闪光设备等)。
这是因为,像黑窗帘这种反射率非常小的被摄物存在的情况下,仅利用上述的亮度值来进行判断是很难区别影子区域和黑窗帘的。以下利用附图,对利用了这种闪光设备的本实施例的变形例所涉及的光学上的区域划分装置进行详细说明。
图30是上述的变形例所涉及的光学上的区域划分装置100a的功能构 成方框图。在此,示出了光学上的区域划分装置100a以及利用光学上的区域划分装置100a的处理结果的法线信息生成部104。该光学上的区域划分装置100a在图1所示的光学上的区域划分装置100的基础上附加了发光部105。并且,对于图30中与图26相同的构成要素赋予相同的符号,在此省略详细说明。
发光部105是与光学上的区域划分装置100a的摄像工作连动的并将光投到被摄物的闪光设备。此时,该发光部105控制闪光设备的点亮。偏振光图像摄像部101与发光部105连动,拍摄两张闪光设备发光的状态和不发光的状态的图像。此时,使被摄物与摄像机200的位置关系不发生变化,而进行摄影。像这种摄影例如可以使用摄像机200的连拍功能等。
图31是本变形例所涉及的光学上的区域划分装置100a所进行影子检测处理的流程图。即示出了与图15中的影子区域检测处理(S201)不同的方法的流程图。首先,影子区域检测部301调查闪光设备不发光的状态下的像素的亮度值(S401)。在像素的亮度值比阈值高的情况下(S401的“否”),影子区域检测部301判断像素不是低亮度区域(在此为影子区域)(S402),则结束处理。
另外,在像素的亮度值在阈值以下的情况下(S401的“是”),由于像素为影子区域的可能性比较高,因此,影子区域检测部301制作使闪光设备发光的状态下拍摄的使用闪光设备的摄影图像和不使闪光设备发光的状态下拍摄的通常的摄影图像的差分图像(S403)。闪光设备的发光位置和摄像元件的位置十分接近,几乎相同的情况下,由闪光设备所产生的影不会出现在摄影图像上。这是因为视线方向和光源方向一致的缘故。为此,在没有使闪光设备发光的状态下的影子区域,通过使闪光设备发光,从而存在直接光。因此,影子区域的亮度值显著地增大。
另外,在像素不是影子区域而是反射率很小的黑窗帘的情况下,即使使闪光设备发光反射率也很小,因此亮度值几乎不变化。也就是说,在通过利用闪光设备差分图像的亮度值在阈值以上的情况下(S404的“是”),影子区域检测部301判断该像素为影子区域(S405),结束处理。并且,在通过利用闪光设备差分图像的亮度值比阈值小的情况下,影子区域检测部301判断该像素不是影子区域,而是低反射率区域(或低反射率像素) (S406),结束处理。
这样,即使是存在像黑窗帘这样反射率很小的被摄物,也能够正确地检测出影子区域,并能够将影子区域分类为阴影区域和投影区域。在此,关于阴影区域,可以通过假定镜面反射来生成正确的法线信息。并且,关于偏振光信息误差较多且即使是生成了法线信息精确度也非常低的投影区域,可以通过不进行法线信息生成处理,在尽可能的广区域内生成高精确度的法线信息。
如以上所述,根据本实施例所涉及的光学上的区域划分装置,可以在一般的环境中,不需要诸如使光源变动的大规模的***,就能够从如拍摄快照这样拍摄下来的图像中,将影子区域分类为阴影区域和投影区域。
并且,在本实施例中,虽然在图案偏振器201采用了光子晶体,不过也可以是薄膜型的偏振光元件,或导线栅格型或利用其他的原理的偏振光元件。并且,也可以不利用图案偏振器,而使摄像机200的镜头前安装的起偏器边回转边摄影,从而在时间序列上取得偏振光主轴不同的亮度。此方法例如在专利文献1中公开。
专利文献1:日本特开平11-211433号公报
(实施例2)
以下,对本发明的实施例2所涉及的光学上的区域划分装置进行说明。
图32是本实施例中的光学上的区域划分装置100b的构成方框图。该光学上的区域划分装置100b是通过摄像被摄物从而对被摄物的表面进行光学上的区域划分的装置,所具有的特征是将低亮度区域分类为“阴影区域或低反射率区域”和投影区域,与图1所示的光学上的区域划分装置100的不同之处在于,以区域划分部1031取代了区域划分部103。在此,示出了光学上的区域划分装置100b以及利用光学上的区域划分装置100b的处理结果的法线信息生成部1041。该法线信息生成部1041虽然不是本发明所涉及的图像处理装置中所必需的构成要素,但是作为利用本发明所涉及的图像处理装置的处理结果的后处理的一个例子在此示出。并且,对于图32中与图26相同的构成要素赋予相同的符号,在此省略详细说明。
区域划分部1031是一处理部,其利用偏振光图像的亮度信息和在偏振光信息生成部102生成的偏振光信息的类似性(共通性),将偏振光图像划 分为由在光学上共通的图像区域的集合构成的多个区域。此时,区域划分部1031对图像区域的亮度和预先规定的阈值进行比较,在亮度比阈值小的情况下,对该图像区域进行区域划分,划分为包含影子区域(在本实施例中为包含“阴影区域或低反射率区域”和投影区域的区域)的低亮度区域。在本实施例中区域划分部1031将低亮度区域分类为“阴影区域或低反射率区域”和投影区域,据此,将图像划分为漫反射区域、镜面反射区域、“阴影区域或低反射率区域”以及投影区域。
法线信息生成部1041是按照在区域划分部1031划分的区域,从偏振光信息中生成法线信息的处理部。该法线信息生成部1041与在实施例1说明的法线信息生成部104不同之处在于,将阴影区域作为“阴影区域或低反射率区域”来生成法线信息。
图33是本实施例中的光学上的区域划分装置100b以及法线信息生成部1041进行处理的流程图。并且,对于图33中与实施例1中的图4的共同的步骤赋予相同的符号,在此省略详细说明。
区域划分部1031利用在偏振光信息生成部102生成的偏振光信息或在偏振光图像摄像部101取得的亮度信息,将图像划分为漫反射区域、镜面反射区域以及低亮度区域(在本实施例中为“阴影区域或低反射率区域”以及投影区域)(S1031)。
法线信息生成部1041如后述那样,根据区域划分部1031进行的区域划分结果,从偏振光信息中生成法线信息(S104)。此时,关于投影区域,由于偏振光信息中误差较多,因此不进行法线信息生成处理。
首先,对反射率小的被摄物的偏振光特性的不同之处进行说明。在表面光滑且反射率小的被摄物,由于内部反射几乎为0,因此,漫反射成分变得非常小。另外,在正反射条件中,对光进行反射,镜面反射变大。即,在低反射率区域可以考虑到漫反射成分小,而镜面反射成分相对占优势。这是因为,反射率小的物体具有与以下所示的阴影区域同样的偏振光特性。
(1)“阴影区域或低反射率区域”
·偏振度高,偏振光推定误差小。
·大多情况表示的是镜面反射特性。
(2)投影区域
·偏振度低,偏振光推定误差大。
·大多情况表示的是漫反射特性。
通过利用该分类基准,可以将低亮度区域分类为“阴影区域或低反射率区域”和投影区域。以下,利用附图对该处理进行详细说明。
图34是图32所示的光学上的区域划分装置100b的区域划分部1031的详细功能构成方框图。该区域划分部1031包括:DB302、偏振度比较部303、偏振光推定误差比较部304、区域判断部305、蓄积部306以及低亮度像素检测部311。并且,对于图34中与实施例1中的图14的共同的步骤赋予相同的符号,在此省略详细说明。
低亮度像素检测部311是推定偏振光图像摄像部101所取得的图像中的某像素是否为低亮度区域(包含“阴影区域或低反射率区域”以及投影区域的区域)的处理部。
图35是该区域划分部1031进行处理的流程图。首先,低亮度像素检测部311评价偏振光图像摄像部101所取得的图像中的某些像素的亮度值(S501)。这与以前所述的步骤S201同样,评价亮度值是否在阈值以下。像这种用于推定低亮度区域的阈值可以通过实验来决定,例如对于16位的单色图像的亮度值可以设定为256。这样的阈值可以保持在DB302。在亮度值比阈值大的情况下(S501的“否”),区域划分部1031与以前所述的步骤S202采用同样的方法(偏振度比较部303所进行的比较),判断该像素中是漫反射成分占优势还是镜面反射成分占优势(S502)。在漫反射和镜面反射的分类处理(S502)结束后,区域判断部305检查所有的像素的光学上的分类是否结束(S203)。在存在还没有进行分类的像素的情况下(S503的“否”),低亮度像素检测部311评价其他的像素的亮度值。(S501)。并且,在所有的像素在光学上的分类结束的情况下(S503的“是”),区域划分部1031结束处理。
另外,在像素的亮度值在阈值以下的情况下(S501的“是”),判断该像素是“阴影区域或低反射率区域”还是投影区域(S504)。这与以前所述同样,是通过偏振光推定误差比较部304对公式8所定义的偏振光推定误差E的大小进行评价(对偏振光推定误差E和阈值Th_Err进行比较)而实现的。在比较结果为,偏振光推定误差E的大小比阈值Th_Err大的情况下(S504 的“是”),区域判断部305将该像素判断为是投影区域(S505),另外,在偏振光推定误差E的大小比阈值Th_Err小的情况下(S504的“否”),区域判断部305则将该像素判断为是“阴影区域或低反射率区域”(S506)。此时的阈值Th_Err可以通过以前的方法来决定。进行了区域划分的结果被蓄积到蓄积部306。
法线信息生成部1041根据区域划分部1031进行的区域划分结果,从偏振光信息中生成法线信息。该法线信息生成部1041的构成要素与实施例1中说明的法线信息生成部104相同,即如图26所示那样,包括:蓄积部306、区域参照部307、漫反射假定法线信息生成部308以及镜面反射假定法线信息生成部309。不过,该法线信息生成部1041与在实施例1说明的法线信息生成部104不同之处在于,将阴影区域作为“阴影区域或低反射率区域”来生成法线信息。
图36是该法线信息生成部1041的处理流程图。并且对于图36中与图29相同的步骤赋予相同的符号,在此省略详细说明。
首先,法线信息生成部1041的区域参照部307根据区域划分部1031所检测出的光学上的区域划分的结果,判断像素是否为漫反射成分占优势(S301)。该处理可以是从蓄积了区域判断部305的结果的蓄积部306中读出区域划分结果。在被判断为是漫反射成分占优势的情况下(S301的“是”),漫反射假定法线信息生成部308以假定的漫反射生成关于该像素的法线信息(S302)。具体而言,将射出面中的法线的一个自由度作为起偏板回转亮度变化成为最大值的角度来求。并且,在像素不是漫反射成分占优势的情况下(S301的“否”),若在镜面反射成分占优势或为“阴影区域或低反射率区域”的情况下(S306的“是”),镜面反射假定法线信息生成部309以假定的镜面反射来生成该像素的法线信息(S304)。具体而言,将入射面中的法线的一个自由度作为起偏板回转亮度变化成为最小值的角度来求。另外,在像素是投影区域的情况下(S303的“否”),则判断为像素的偏振光信息为误差占优势,不能生成正确的法线信息,法线信息生成部1041不进行法线信息生成处理(S305)。
如以上所述,根据本实施例所涉及的光学上的区域划分装置,可以在一般的环境中,不需要诸如使光源变动的大规模的***,就能够从如拍摄 快照这样拍摄下来的图像中,将低亮度区域分类为“阴影区域或低反射率区域”和投影区域。并且,关于“阴影区域或低反射率区域”,可以通过假定镜面反射,由法线信息生成部来生成正确的法线信息。并且,关于偏振光信息误差较多且即使是生成了法线信息精确度也非常低的投影区域,可以通过不进行法线信息生成处理,在尽可能的广区域内生成高精确度的法线信息。
并且,在步骤S504为了判断该像素是“阴影区域或低反射率区域”还是投影区域,可以不利用偏振光推定误差,而是与实施例1同样,利用偏振度、偏振光推定误差和偏振度这双方、以及偏振光相位。
(实施例3)
以下对本发明的实施例3中的光学上的区域划分装置进行说明。
图37是本实施例中的光学上的区域划分装置100c的构成方框图。该光学上的区域划分装置100c是通过摄像被摄物从而对被摄物的表面进行光学上的区域划分的装置,所具有的特征是只有在能够正确地生成法线信息的情况下才生成法线信息,除具有与图1所示的光学上的区域划分装置100的构成以外,还包括摄像条件判断部106。在此,示出了光学上的区域划分装置100c以及利用光学上的区域划分装置100c的处理结果的法线信息生成部104。该法线信息生成部104虽然不是本发明所涉及的图像处理装置中所必需的构成要素,但是作为利用本发明所涉及的图像处理装置的处理结果的后处理的一个例子在此示出。并且,对于图37中与图26相同的构成要素赋予相同的符号,在此省略详细说明。
摄像条件判定部106是一处理部,判断偏振光图像摄像部101将要拍摄的成为摄像对象的摄像场面,是否满足作为区域划分部103能够正确进行区域划分的摄像条件的预先规定的摄像条件。
图38是该摄像条件判定部106的详细的功能构成方框图。该摄像条件判定部106包括:DB302、光轴方向检测部312以及光轴方向比较部313。
光轴方向检测部312是检测光学上的区域划分装置100c的光轴方向的角度感应器等。
光轴方向比较部313是判断光学上的区域划分装置100c是否朝向水平面(地平面)上方的处理部。
在此,本发明的实施例与实施例1中的说明一样,摄像场面需要满足条件1。
条件1:在被摄物所在的摄像场面中,存在有物体,在该物体的近旁有宽广的面,且该宽广的面在该物体的一侧,在该物体的相反一侧存在有光源。但是,在被放置有光学上的区域划分装置100c的情况下,不限于满足上述的条件1。于是,在本实施例中,摄像条件判定部106判定是否满足上述的条件1。在此,若光源大多处于上方的情况下,条件1不满足以下的条件2。
条件2:“摄像者拍摄上方”
此条件2例如出现在以下的摄像场面。
1.在室外的场面中,拍摄天空或月亮、星辰等。
2.在室内的场面中,拍摄具有正在发光的萤光灯的天花板方向。
以下探讨上述的摄像场面1的情况,例如拍摄新月。新月的影子区域可以被视为是阴影区域。但是,该影子区域具有由被称为地球反射的来自地球的多次反射的反射光而带来的亮度。为此,虽然是阴影区域,由于多次反射光的入射方向仅限于地球,因此可以考虑到几乎不存在作为正反射成分的镜面反射成分。为此,光学上的区域划分装置100c不能正确发挥功能。于是,摄像条件判定部106判断光学上的区域划分装置100c是否能够正确地发挥功能(能够正确地进行区域划分),在能够正确发挥功能的情况下,进行阴影区域和投影区域的划分处理,在不能正确地发挥功能的情况下,中止影子区域的划分处理,并中止从影子区域中生成法线信息的处理。
图39示出了搭载了本实施例中的光学上的区域划分装置100c的摄像机200a的硬件构成的例子。此摄像机200a是具有对摄像图像进行光学上区域划分功能的摄像装置,其包括:图案偏振器201、摄像元件202、存储器203、CPU204、角度感应器205、表示部208以及扬声器209。并且,对于图39中与图2相同的构成要素赋予相同的符号,在此省略详细说明。
角度感应器205检测摄像机200a的光轴方向,并输出该信息。
表示部208在摄像场面由摄像条件判定部106判断为不满足上述的条件1的情况下,将此消息显示在显示器上。
扬声器209在摄像场面由摄像条件判定部106判断为不满足上述的条 件1的情况下,将此消息以声音输出。
并且,图38所示的光轴方向检测部312是通过图39所示的角度感应器205而被实现的。图38所示的光轴方向比较部313是通过图39所示的CPU204执行被存储在存储器203中的程序而被实现的。
图40是本实施例中的光学上的区域划分装置100c以及法线信息生成部1041进行处理的流程图。并且对于图40中与图4相同的步骤赋予相同的符号,在此省略详细说明。
在本实施例中,光轴方向检测部312(角度感应器205)取得表示光学上的区域划分装置100c(摄像机200a)的光轴方向的光轴方向信息(S106)。利用这样求出的光轴方向信息,判断摄像场面是否为能够生成法线信息的环境(S107)。这将由光轴方向比较部313判断光学上的区域划分装置100c(摄像机200a)的光轴方向是否朝向上方来进行。光轴方向比较部313例如在光轴朝向水平方向以上45度的情况下,判断光轴方向为朝向上方。此阈值45度可以通过实验来决定,并且这样的阈值可以保持在DB302。在此,在光轴方向被判断为朝向上方的情况下,摄像条件判定部106判断摄像场面是否满足条件1(S107的“否”),区域划分部103利用在偏振光信息生成部102生成的偏振光信息或在偏振光图像摄像部101取得的亮度信息,将图像分类为漫反射区域、镜面反射区域、影子区域(S108)。在此例子中,由于不满足条件1,因此不将影子区域分类为阴影区域和投影区域。接着,法线信息生成部104根据区域划分部103进行的区域划分结果,从偏振光信息中生成法线信息。图41是该处理(S109)的详细流程图。并且对于图41中与图29相同的步骤赋予相同的符号,在此省略详细说明。
首先,法线信息生成部104根据区域划分部103所检测出的光学上的区域划分的结果,判断像素是否为漫反射成分占优势(S301)。在被判断为是漫反射成分占优势的情况下(S301的“是”),法线信息生成部104以假定的漫反射来生成该像素的法线信息(S302)。具体而言,将射出面中的法线的一个自由度作为起偏板回转亮度变化成为最大值的角度来求。并且,在像素不是漫反射成分占优势的情况下(S301的“否”),若在镜面反射成分占优势的情况下(S307的“是”),法线信息生成部104以假定的镜面反射来生成该像素的法线信息(S304)。具体而言,将入射面中的法线的一个自 由度作为起偏板回转亮度变化成为最小值的角度来求。另一方面,在判断为像素是影子区域的情况下,也就是说既不是漫反射成分占优势也不是镜面反射成分占优势的情况下(S307的“否”),则判断为像素偏振光信息是误差占优势,不能生成正确的法线信息,则该法线信息生成部104不进行法线信息生成处理(S305)。
另外,在光轴方向被判断为不朝向上方的情况下(S107的“是”),摄像条件判定部106判断摄像场面满足条件1,区域划分部103不进行光学上的区域划分处理(S103),接着,法线信息生成部104生成法线信息(S104)。
并且,在摄像场面由摄像条件判定部106判定为满足条件1的情况下,表示部208将“不能进行区域划分”等在显示器上显示,扬声器209发出声音信号,将同样的消息传达给摄像者。
不过,在摄像场面由摄像条件判定部106判定为不满足条件1的情况下,不是不进行光学上的区域划分处理或法线信息生成处理,而是可以进行以下的处理,即:关于阴影区域,以假定的漫反射来生成法线信息,表示部208将“区域划分处理不稳定”等显示在显示器,扬声器209以声音信号将同样的消息传达给摄像者。
并且,在摄像场面由摄像条件判定部106判断为不满足条件1的情况下,法线信息生成部104可以利用近旁的法线信息,通过内插处理等对影子区域合成法线信息。关于内插处理可以利用以往的方法。
并且,摄像条件判定部106不仅限于利用光轴方向检测部312,例如也可以利用具有能够识别安装了光学上的区域划分装置100c的环境的功能的处理部。例如,可以通过利用声纳等来实现。以下,对具有这种环境识别功能的本实施例的变形例所涉及的光学上的区域划分装置进行说明。
图2示出了搭载了这种变形例所涉及的光学上的区域划分装置的摄像机200b的硬件构成的例子。该摄像机200b与图39所示的本实施例所涉及的摄像机200a的构成的不同之处在于,不具备角度感应器205而具备声纳210。并且,对于在图42中与图39相同的构成要素赋予相同的符号,在此省略详细说明。
图43是具备本变形例所涉及的光学上的区域划分装置的摄像条件判定部106a的详细的功能构成方框图。并且,此变形例所涉及的光学上的区域 划分装置与图37所示的本实施例中的光学上区域划分装置100c的构成的区别在于,不具备摄像条件判定部106而具备摄像条件判定部106a。该摄像条件判定部106a具有声纳,该声纳通过发出声波并接收声波的反射波来测定到周围的对象物的距离,且该摄像条件判定部106a的特点是,利用声纳来判断该光学上的区域划分装置的近旁是否有物体,在判断为没有物体的情况下,判定摄像场面不满足摄像条件,并且,该摄像条件判定部106a在功能上具有:DB302、摄像环境检测部315以及摄像环境识别部316。并且,对于在图43中与图38相同的构成要素赋予相同的符号,在此省略详细说明。
摄像环境检测部315是一处理部,测定到周围的对象物的距离,并将该距离信息作为摄像环境信息来生成,相当于图42所示的声纳210。
摄像环境识别部316是利用来自摄像环境检测部315的摄像环境信息,来判断摄像场面是否为能够实现光学上的区域划分的环境。
图44是本变形例所涉及的光学上的区域划分装置以及法线信息生成部104进行处理的流程图。并且对于图44中与图40相同的步骤赋予相同的符号,在此省略详细说明。
在本变形例所涉及的光学上的区域划分装置中,摄像环境检测部315以声纳210来取得摄像环境信息(S111)。该声纳210是主动声纳,发生超音波或音波,并通过接受其反射波来测定到周围的对象物的距离的装置。因此,通过利用声纳210,将摄像机200b的周围是否有物体以及在有物体的情况下到该物体的距离信息作为摄像环境信息来取得。并且,声纳210被广泛利用于鱼群探测器等,由于这是周知技术,因此省略详细说明。
这样,利用求出的摄像环境信息,判断摄像场面是否为能够实现光学上的区域划分的环境(S107)。这可以通过摄像环境识别部316对摄像机200b的近旁是否有物体的判断来实现。具体而言,摄像环境检测部315取得到摄像机200b的周围(全方位)的物体的距离信息,只要评价距离比一定的值TH_S短且立体角大即可。在这样的立体角的大小比阈值TH_SR小的情况下,摄像条件判定部106判断摄像场面不满足条件1(S107的“否”),区域划分部103利用偏振光信息生成部102生成的偏振光信息和偏振光图像摄像部101所取得的亮度信息,将图像分类为漫反射区域、镜面 反射区域、影子区域(S108)。由于没有满足条件1,因此不将影子区域分类为阴影区域和投影区域。进而,法线信息生成部104根据区域划分部103所进行的区域划分结果,从偏振光信息中生成法线信息(S109)。另外,在这样的立体角的大小比阈值TH_SR大的情况下,摄像条件判定部106判定摄像场面满足条件1(S108的“是”),由区域划分部103进行光学上的区域划分处理,之后由法线信息生成部104生成法线信息。
并且,这样的阈值TH_S、TH_SR可以通过实验求出,并且可以保持在DB302。
如以上所述,根据本实施例所涉及的光学上的区域划分装置,可以在一般的环境中,不需要诸如使光源变动的大规模的***,就能够从如拍摄快照这样拍摄下来的图像中,将低亮度像素分类为阴影区域和投影区域。并且,在分类困难的情况下,不是求出精确度低的结果,而是将不能进行处理之消息传达给摄像者,据此可以进行可靠性高的区域划分处理。
(实施例4)
以下,对本发明的实施例4中的光学上的区域划分装置进行说明。
图45是本实施例中的光学上的区域划分装置100d的构成方框图。该光学上的区域划分装置100d是通过摄像被摄物从而对被摄物的表面进行光学上的区域划分的装置,所具有的特征是不生成可靠性低的区域划分结果以及法线信息,除具备图1所示的光学上的区域划分装置100以外,还具备可靠性判定部107。在此,示出了光学上的区域划分装置100d以及利用光学上的区域划分装置100d的处理结果的法线信息生成部104。该法线信息生成部104虽然不是本发明所涉及的图像处理装置中所必需的构成要素,但是作为利用本发明所涉及的图像处理装置的处理结果的后处理的一个例子在此示出。并且,对于图45中与图26相同的构成要素赋予相同的符号,在此省略详细说明。并且,搭载了本实施例中的光学上的区域划分装置100d的摄像机具有与图2所示的实施例1中的摄像机200相同的硬件。
可靠性判定部107利用由区域划分部103进行的光学上的区域划分结果,评价光学上的区域划分结果的可靠性,在没有可靠性的情况下,废弃光学上的区域划分结果以及法线信息。其结果是,没有可靠性的区域的区 域划分结果以及法线信息被废弃。
图46是本实施例中的光学上的区域划分装置100d以及法线信息生成部104进行处理的流程图。并且对于图46中与图4以及图40相同的步骤赋予相同的符号,在此省略详细说明。可靠性判定部107利用区域划分部103的光学上的区域划分结果,评价是否满足上述的条件1,即评价光学上的区域划分结果的可靠性(S107)。在没有可靠性的情况下(S107的“否”),可靠性判定部107废弃光学上的区域划分结果以及由法线信息生成部104生成的法线信息(S110)。
在此,为了判断是否满足条件1,可以判断是否存在阴影区域,该阴影区域是由于受到影子区域内的正反射多次反射光的影响而成为镜面反射成分占优势的区域。为此,说明利用被摄像的偏振光图像的偏振度和亮度值评价可靠性的方法。在影子区域,示出镜面反射偏振光特性的图像不存在的情况下,即被摄像的图像上不存在阴影区域的情况下,可以判断为不满足条件1。
图47是可靠性判定部107的详细功能构成方框图。可靠性判定部107包括:DB302、蓄积部306以及阴影区域存在判断部314。
蓄积部306蓄积由区域划分部103进行的区域划分结果。
阴影区域存在判断部314是一处理部,其参照被蓄积在蓄积部306中的区域划分结果,判断是否能够划分成具有充分大小(预先规定的阈值以上)的阴影区域。
图46所示的可靠性判定部107的处理(S107、S110)详细流程如以下所示。
阴影区域存在判断部314参照被蓄积在蓄积部306中的区域划分结果,判断是否可以划分成具有充分大小的阴影区域(S107)。其结果为,摄像图像中不存在具有充分大小的阴影区域的情况下(S107的“否”),可靠性判定部107判断摄像场面不满足条件1,废弃与影子区域有关的光学上的区域划分结果以及法线信息(S110),所述具有充分大小的阴影区域例如是VGA图像中的100像素以上的区域。此时,表示部208将“不能实现区域划分”等显示在显示器上,扬声器209通过发出声音信号将此消息传达给摄像者。另外,在摄像图像中存在阴影区域的情况下(S107的“是”),可靠性判定部 107判断摄像场面满足条件1,并输出生成的法线信息。在此,阴影区域的大小的阈值可以通过实验来决定,并且这样的阈值可以保持在DB302。
如以上所述,根据本发明的光学上的区域划分装置,可以在一般的环境中,不需要诸如使光源变动的大规模的***,就能够从如拍摄快照这样拍摄下来的图像中,将低亮度像素分类为阴影区域和投影区域。并且,在分类困难的情况下,不是求出精确度低的结果,而是将不能进行处理之消息传达给摄像者,据此可以进行可靠性高的区域划分处理。
以上,虽然对本发明所涉及的图像处理装置,采用实施例1到实施例4以及变形例进行了说明,但是本发明并非受这些实施例以及变形例所限。
将各个实施例以及变形例中的任意的构成要素组合而实现的其他的实施方式,以及本领域技术人员所能够想到的对于本发明中的各个实施例以及变形例的变形均属于本发明的范畴。
并且,在由可靠性判定部107判断为摄像场面不满足条件1的情况下,不是不进行法线信息生成处理,而进行的处理是,表示部208将“区域划分处理不稳定”等显示在显示器上,扬声器209通过发出声音信号将这一消息传达给摄像者。
并且,在由可靠性判定部107判断为摄像场面不满足条件1的情况下,不是仅废弃影子区域,而是废弃所有的光学上的区域划分结果以及法线信息。
并且,在上述实施例以及变形例的一部分中,虽然示出了光学上的区域划分装置以及法线信息生成部,本发明所涉及的图像处理装置可以具有法线信息生成部也可以不具有法线信息生成部。法线信息生成部只不过是利用由区域划分部进行的区域划分的处理结果的处理部的一个例子。作为利用区域划分结果的其他的例子,可以考虑到的是,生成对被摄物的形状进行模式化的各种形状信息,或者通过校正影子区域来生成具有立体感的美丽图像的处理等。
并且,在实施例4中,是利用区域划分部103所进行的光学上的区域划分结果来评价光学上的区域划分结果的可靠性的,不过并非受可靠性的评价方法所限定,例如也可以是利用被摄物的形状信息来评价光学上的区域划分结果的可靠性。
图48是利用被摄物的形状信息来评价光学上的区域划分结果的可靠性的本发明变形例所涉及的光学上的区域划分装置100e的功能构成方框图。该光学上的区域划分装置100e是通过拍摄被摄物而将被摄物的表面进行光学上的区域划分的装置,所具有的特征是不输出可靠性低的区域划分结果,其除具有与图1所示的光学上的区域划分装置100相同的构成外,还具有可靠性判定部107a。
可靠性判定部107a是一处理部,生成被摄物的形状信息,并利用生成的形状信息来评价由区域划分部103进行的光学上的区域划分结果的可靠性,在没有可靠性的情况下,废弃光学上的区域划分结果,并且如图49所示,该可靠性判定部107a包括:DB302、法线信息生成部317以及相位信息比较部318。
DB302是存储相位信息比较部318在进行比较时所使用的阈值的存储部。
法线信息生成部317是一处理部,通过利用在形状信息生成部211生成的形状信息,将偏振光图像的各个像素所对应的法向矢量(nx、ny、hz)作为法线信息来生成,并从生成的法向矢量中算出投射到图案偏振器表面的法向矢量的一个自由度的信息
相位信息比较部318是一处理部,针对存在于影子区域中的所有像素,对在偏振光信息生成部102生成的偏振光相位 和在法线信息生成部317算出的法向矢量的一个自由度信息 进行比较,并通过判断比较的差是否比DB302中所存储的阈值小来判断这些值是否十分接近。
图50示出了搭载了这种光学上的区域划分装置100e的摄像机200c的硬件构成的例子。此摄像机200c是具有对摄像图像进行光学上区域划分功能的摄像装置,其包括:图案偏振器201、摄像元件202、存储器203、CPU204、角度感应器205、表示部208、扬声器209以及形状信息生成部211。此构成相当于在图39所示的摄像机200a上附加了形状信息生成部211。
形状信息生成部211生成被摄物的形状信息,例如是范围取景器或立体摄影机等。并且,图49中所示的法线信息生成部317是由图50所示的形状信息生成部211、CPU204以及存储器203等来实现的,相位信息比 较部318是由图50所示的CPU204以及存储器203等来实现的。
图51是这种光学上的区域划分装置100e所进行的光学上的区域划分处理的流程图。并且,该流程图相当于在图27所示的流程图中附加了步骤S120到S123。并且,在此示出了将图27中的步骤S103分成S103a以及S103b。以下说明步骤S120到S123。
可靠性判定部107a的法线信息生成部317通过利用在形状信息生成部211生成的形状信息,从而将偏振光图像的各个像素所对应的法向矢量(nx、ny、nz)作为法线信息来生成(S120)。在此,被生成的法向矢量被表现为,以光轴方向的焦点位置作为原点,以摄像元件202的光轴方向作为Zc方向的摄像机坐标系(Xc-Yc-Zc)。并且,图案偏振器201的主轴角Ψ和偏振光相位 与 中的摄像机坐标系的Xc轴一致,并且与 中的摄像机坐标系的Yc轴一致。图52是该坐标系的模式图。法线信息生成部317进一步通过根据像以上这样生成的法向矢量并按照以下的公式10进行计算,从而推定被投射到图案偏振器表面的法向矢量的一个自由度信息 (S121)。
但是,像这样求出的法向矢量的一个自由度信息 在漫反射成分占优势的情况下等于偏振光相位 即,在影子区域中存在的所有的像素中,在偏振光相位 和根据形状信息生成部211的形状信息求出的法向矢量的一个自由度信息 十分接近的情况下,则判断为影子区域内的像素全部为漫反射成分占优势,并且不存在正反射多次反射光的影响。于是,相位信息比较部318对在偏振光信息生成部102生成的偏振光相位 和在法线信息生成部317算出的法向矢量的一个自由度信息 进行比较,通过判断比较的差是否比被存储在DB302中的阈值小,来判断这些值是否十分接近(S122)。在十分接近的情况下(S122的“是”),可靠性判定部107a判断摄像场面不满足上述条件1,废弃关于影子区域的光学上的区域划分结果(S123)。另外,在摄像图像中存在阴影区域的情况下,可靠性判定部107a判断摄像场面满足条件1(S122的“否”),输出有关影子区域的光学上的区域划分结果。如以上所述,可以知道根据在被摄物中是镜面反射成分占优 势还是漫反射成分占优势,偏振光相位将会相差90°,因此,将这种用于比较相位信息的阈值设定为45°即可。当然,用于比较相位信息的阈值可以通过实验来决定。这样的阈值可以保持在DB302。
并且,作为光学上的区域划分装置100e所具备的法线信息生成部317,不仅限于利用在形状信息生成部211生成的形状信息来生成法线信息,也可以根据偏振光信息来生成法线信息。即,该光学上的区域划分装置100e可以不具备法线信息生成部317,而是具备实施例1中的法线信息生成部104。
并且,本发明不仅可以作为图像处理装置来实现,而且可以像图53所示那样,作为内藏本发明所涉及的图像处理装置的数字静态相机或数字摄影机等应用制品来实现。
并且,图14等所示的影子区域检测部301为了检测投影区域,首先利用亮度值对影子区域进行了判断(图15的S201等),不过本发明并非受此顺序所限,可以仅以在偏振光信息生成部102生成的偏振光信息来检测投影区域。像这样的处理,对于像油画等知道存在投影区域而不存在阴影区域的被摄物是有效的。这是因为,像黑色颜料这种反射率非常小的被摄物存在的情况下,仅利用上述的亮度值来进行判断是很难区别影子区域和黑色颜料的。以下利用附图,对本实施例的变形例所涉及的光学上的区域划分装置进行详细说明。
表示这种变形例所涉及的光学上的区域划分装置的构成的功能方框图由于与图26相同,因此省略构成说明。
图54是这样变形例所涉及的光学上的区域划分装置所进行的影子检测处理的流程图。即示出了与图15所示的影子区域检测处理(S201、S202、S204~S206)不同的其他的方法的流程图。如图54所示,偏振光比较部303调查像素的偏振度比阈值TH_PS小还是大(S407)。在像素的偏振度比阈值TH_PS大的情况下(S407的“否”),影子区域检测部301判断该像素不是投影区域(S402),判定该像素中是漫反射占优势还是镜面反射占优势(S202),结束处理。另外,在偏振度比阈值TH_PS小的情况下(S407的“是”),影子区域检测部301判断该像素为投影区域(S405),结束处理。
图55示出了将拍摄油画这一被摄物时的偏振度ρ作为图像来表示的 图。在该图中,图55(a)表示作为被摄物的油画的图像,图55(b)表示与图55(a)所示的图像相对应的偏振度ρ(即由偏振光信息生成部102生成的偏振光信息)。并且,在图56示出了,由这种变形例所涉及的光学上的区域划分装置利用图55(b)所示的偏振度ρ,来针对图55(a)所示的图像抽出投影区域。在该图中的黑色区域为被抽出的投影区域。并且,可以将像这样抽出的投影区域作为最终的投影区域来输出,或者,可以通过针对像这样被抽出的投影区域进行在图像处理中被广泛使用的区域的收缩扩大处理,从而将重新再次定义的区域作为最终的投影区域来输出。
像这样的变形例所涉及的光学上的区域划分装置所进行的图像处理的优点如以下所示。在图55和图56中,区域A表示投影区域,区域B表示黑色颜料区域。在图55(a)所示的图像中,由于这些区域A和区域B的亮度值几乎相同,因此很难分离区域A和区域B。但是,通过利用图55(b)的偏振光信息,从而可以如图56所示那样,能够正确地抽出区域,即可以知道区域A为投影区域,区域b不为投影区域。
本发明所涉及的图像处理装置作为进行与被摄物的图像中的影子有关的处理的图像处理装置,例如作为生成被摄物的三维形状信息的装置或作为利用这些信息使图像高清晰化的装置,在数字静态相机、数字摄影机、监视器等中有用。
Claims (19)
1.一种图像处理装置,进行与被摄物的图像中的影子有关的处理,其特征在于,包括:
图像信息取得部,取得与被摄物图像有关的包含亮度信息以及偏振光信息的信息,所述亮度信息是指与来自所述被摄物的光的亮度有关的信息,所述偏振光信息是指与来自所述被摄物的光的偏振光有关的信息;
影子区域抽出部,根据在所述图像信息取得部取得的亮度信息以及偏振光信息,从所述被摄物图像中抽出阴影区域以及投影区域,所述阴影区域是指因光的照射方式而在被摄物的表面产生的阴影区域,所述投影区域是指因被摄物本身将光遮住而在其他的物体上产生的投影区域;以及
输出部,输出确定在所述影子区域抽出部抽出的阴影区域以及投影区域的信息。
2.如权利要求1所述的图像处理装置,其特征在于,
所述被摄物图像由多个单位图像构成;
所述图像信息取得部按照每个所述单位图像取得所述亮度信息以及所述偏振光信息;
所述影子区域抽出部以所述单位图像为单位,抽出所述阴影区域以及所述投影区域;
所述输出部针对构成在所述影子区域抽出部抽出的阴影区域以及投影区域的单位图像,分别赋予表示阴影区域以及投影区域的标识符,并输出赋予的标识符。
3.如权利要求1所述的图像处理装置,其特征在于,
所述输出部分别输出与所述被摄物图像中的阴影区域以及投影区域对应的部分,以分别作为确定阴影区域以及投影区域的信息。
4.如权利要求1所述的图像处理装置,其特征在于,
所述图像信息取得部具有:
偏振光图像摄像部,通过接受透过多个偏振器的光,来取得具有所述亮度信息的被摄物的偏振光图像,所述多个偏振器的偏振光主轴角度不同;以及
偏振光信息生成部,利用所述多个偏振器的偏振光主轴角度和透过所述多个偏振器的光的亮度的对应关系,从取得的所述偏振光图像中生成针对构成该偏振光图像的各个单位图像的所述偏振光信息;
所述影子区域抽出部根据所述偏振光图像的亮度信息,按照每个所述单位图像,对该单位图像的亮度与预先规定的阈值进行比较,在所述亮度比所述阈值小的情况下,判断该单位图像属于包含阴影区域以及投影区域的低亮度区域,并针对属于所述低亮度区域的单位图像,根据所述偏振光信息生成部所生成的偏振光信息,来判断该单位图像是阴影区域还是投影区域,从而抽出所述阴影区域以及所述投影区域。
5.如权利要求4所述的图像处理装置,其特征在于,
所述偏振光图像摄像部由用于取得所述偏振光图像的多个摄像单位构成;
所述多个摄像单位分别具有:
多个偏振器,具有不同的偏振光主轴角度;
多个像素,接受通过所述多个偏振器的每一个偏振器的光;
所述偏振光信息生成部将由所述摄像单位得到的图像作为所述单位图像来生成偏振光信息。
6.如权利要求4所述的图像处理装置,其特征在于,
所述影子区域抽出部针对属于所述低亮度区域的单位图像,判断所述偏振光信息是否表示镜面反射的偏振光特性,在所述偏振光信息表示镜面反射的偏振光特性的情况下,将该单位图像作为阴影区域抽出。
7.如权利要求4所述的图像处理装置,其特征在于,
所述偏振光信息生成部生成偏振度以作为所述偏振光信息,所述偏振度是示出光偏振了多少的指标;
所述影子区域抽出部对属于所述低亮度区域的单位图像中的偏振度与预先规定的阈值进行比较,在所述偏振度比所述阈值小的情况下,将该单位图像作为投影区域抽出,在所述偏振度在所述阈值以上的情况下,将该单位图像作为阴影区域抽出。
8.如权利要求4所述的图像处理装置,其特征在于,
所述偏振光信息生成部生成偏振光推定误差以作为所述偏振光信息,所述偏振光推定误差是指,在所述偏振光图像摄像部得到的亮度与根据近似了所述偏振光主轴角度和所述亮度的对应关系的正弦函数而决定的亮度的差;
所述影子区域抽出部进一步对属于低亮度区域的单位图像中的偏振光推定误差和预先规定的阈值进行比较,在所述偏振光推定误差比所述阈值大的情况下,将该单位图像作为投影区域抽出,在所述偏振光推定误差在所述阈值以下的情况下,将该单位图像作为阴影区域抽出。
9.如权利要求4所述的图像处理装置,其特征在于,
所述偏振光图像摄像部取得第一偏振光图像和第二偏振光图像,所述第一偏振光图像是闪光设备针对所述被摄物发光的情况下的偏振光图像,所述第二偏振光图像是闪光设备针对被摄物没有发光的情况下的偏振光图像;
所述影子区域抽出部针对属于低亮度区域的单位图像算出所述第一偏振光图像以及所述第二偏振光图像中的亮度的差分,并将算出的差分与预先规定的阈值进行比较,在所述差分比所述阈值大的情况下,将该单位图像作为阴影区域或作为投影区域抽出。
10.如权利要求4所述的图像处理装置,其特征在于,
所述影子区域抽出部针对属于所述低亮度区域的单位图像,判断所述偏振光信息是否表示镜面反射的偏振光特性,在所述偏振光信息表示镜面反射的偏振光特性的情况下,将该单位图像作为“阴影区域或低反射率区域”抽出。
11.如权利要求4所述的图像处理装置,其特征在于,
所述偏振光信息生成部生成偏振度以作为所述偏振光信息,该偏振度是表示光偏振了多少的指标;
所述影子区域抽出部进一步对属于低亮度区域的单位图像中的偏振度和预先规定的阈值进行比较,在所述偏振度比所述阈值小的情况下,将该单位图像作为投影区域抽出,在所述偏振度在所述阈值以上的情况下,将该单位图像作为“阴影区域或低反射率区域”抽出。
12.如权利要求4所述的图像处理装置,其特征在于,
所述偏振光信息生成部生成偏振光推定误差以作为所述偏振光信息,所述偏振光推定误差是指在所述偏振光图像摄像部得到的亮度与根据近似了所述偏振光主轴角度和所述亮度的对应关系的正弦函数而决定的亮度的差;
所述影子区域抽出部进一步对属于低亮度区域的单位图像的偏振光推定误差和预先规定的阈值进行比较,在所述偏振光推定误差比所述阈值大的情况下,将该单位图像作为投影区域抽出,在所述偏振光推定误差在所述阈值以下的情况下,将该单位图像作为“阴影区域或低反射率区域”抽出。
13.如权利要求4所述的图像处理装置,其特征在于,
所述图像处理装置进一步具有摄像条件判定部,判定成为所述偏振光图像摄像部的拍摄对象的摄像场面是否满足预先规定的摄像条件,该预先规定的摄像条件是指所述影子区域抽出部能够正确地进行区域抽出的摄像条件;
在由所述摄像条件判定部判定为不满足摄像条件的情况下,所述影子区域抽出部停止对低亮度区域的区域抽出。
14.如权利要求13所述的图像处理装置,其特征在于,
预先规定的所述摄像条件是:在被摄物所在的摄像场面中,存在有物体,在该物体的近旁有宽广的面,且该宽广的面在该物体的一侧,在该物体的相反一侧存在有光源。
15.如权利要求13所述的图像处理装置,其特征在于,
所述摄像条件判定部具有检测所述偏振光图像摄像部的摄像方向的角度感应器,在由所述角度感应器检测出所述偏振光图像摄像部朝向水平面的上方的情况下,则判定所述摄像场面不满足所述摄像条件。
16.如权利要求13所述的图像处理装置,其特征在于,
所述摄像条件判定部具有声纳,该声纳通过发出声波并接收所述声波的反射波,来测定到周围的对象物的距离,所述摄像条件判定部通过所述声纳来判断该图像处理装置的近旁是否有物体存在,在判断为没有物体存在的情况下,判定所述摄像场面不满足所述摄像条件。
17.如权利要求4所述的图像处理装置,其特征在于,
所述图像处理装置进一步具有可靠性判定部,该可靠性判定部通过评价所述影子区域抽出部进行的区域抽出的结果,来判定区域抽出的可靠性,在判定为没有可靠性的情况下,废弃所述影子区域抽出部进行的区域抽出的结果。
18.如权利要求17所述的图像处理装置,其特征在于,
可靠性判定部根据所述影子区域抽出部进行的区域抽出的结果,判断在低亮度区域是否存在阴影区域,在低亮度区域不存在阴影区域的情况下,判定所述区域抽出没有可靠性。
19.一种图像处理方法,进行与被摄物的图像中的影子有关的处理,包括以下步骤:
图像信息取得步骤,取得与被摄物图像有关的包含亮度信息以及偏振光信息的信息,所述亮度信息是指与来自所述被摄物的光的亮度有关的信息,所述偏振光信息是指与来自所述被摄物的光的偏振光有关的信息;
影子区域抽出步骤,根据在所述图像信息取得步骤取得的亮度信息以及偏振光信息,从所述被摄物图像中抽出阴影区域以及投影区域,所述阴影区域是指因光的照射方式而在被摄物的表面产生的阴影区域,所述投影区域是指因被摄物本身将光遮住而在其他的物体上产生的投影区域;以及
输出步骤,输出确定在所述影子区域抽出步骤抽出的阴影区域以及投影区域的信息。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007205983 | 2007-08-07 | ||
JP205983/2007 | 2007-08-07 | ||
PCT/JP2008/002163 WO2009019887A1 (ja) | 2007-08-07 | 2008-08-07 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101542233A CN101542233A (zh) | 2009-09-23 |
CN101542233B true CN101542233B (zh) | 2011-12-28 |
Family
ID=40341128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008800004895A Active CN101542233B (zh) | 2007-08-07 | 2008-08-07 | 图像处理装置以及图像处理方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7936944B2 (zh) |
EP (1) | EP2072947B1 (zh) |
JP (2) | JP4308319B2 (zh) |
CN (1) | CN101542233B (zh) |
RU (1) | RU2009107143A (zh) |
WO (1) | WO2009019887A1 (zh) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4914234B2 (ja) * | 2007-01-31 | 2012-04-11 | 富士重工業株式会社 | 先行車両検出装置 |
RU2009107141A (ru) * | 2007-08-07 | 2010-09-10 | Панасоник Корпорэйшн (Jp) | Устройство формирования информации нормальных векторов и способ формирования информации нормальных векторов |
GB2465792A (en) * | 2008-11-28 | 2010-06-02 | Sony Corp | Illumination Direction Estimation using Reference Object |
US8390696B2 (en) * | 2009-01-06 | 2013-03-05 | Panasonic Corporation | Apparatus for detecting direction of image pickup device and moving body comprising same |
US8294713B1 (en) * | 2009-03-23 | 2012-10-23 | Adobe Systems Incorporated | Method and apparatus for illuminating objects in 3-D computer graphics |
US8823848B2 (en) * | 2009-06-11 | 2014-09-02 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | Microgrid imaging polarimeters with frequency domain reconstruction |
CN101990045B (zh) * | 2009-07-29 | 2014-02-19 | 鸿富锦精密工业(深圳)有限公司 | 数字图像检测***及方法 |
JP5440927B2 (ja) * | 2009-10-19 | 2014-03-12 | 株式会社リコー | 測距カメラ装置 |
JP5761601B2 (ja) * | 2010-07-01 | 2015-08-12 | 株式会社リコー | 物体識別装置 |
TWI429900B (zh) * | 2011-02-22 | 2014-03-11 | Benq Materials Corp | 偏光片的亮點瑕疵檢測方法與門檻值產生方法及其裝置 |
KR101283304B1 (ko) * | 2011-12-12 | 2013-07-12 | 기아자동차주식회사 | 운전자의 눈부심 검출 장치 및 그 방법과 이를 이용한 눈부심 차단 시스템 및 그 방법 |
LT5982B (lt) * | 2012-04-24 | 2013-12-27 | Uab Friday Lab | Su planšetiniu kompiuteriu arba išmaniuoju telefonu suderintas žuvų ieškiklis |
CN102866402B (zh) | 2012-08-22 | 2014-12-10 | 深圳市福锐达科技有限公司 | 基于wifi的无线式水情探测***及其方法 |
JP2014222447A (ja) * | 2013-05-14 | 2014-11-27 | ソニー株式会社 | 画像処理装置および方法 |
JP2015115041A (ja) * | 2013-12-16 | 2015-06-22 | ソニー株式会社 | 画像処理装置と画像処理方法 |
JP2015144194A (ja) * | 2014-01-31 | 2015-08-06 | ソニー株式会社 | 固体撮像素子および電子機器 |
JP6485078B2 (ja) * | 2014-02-18 | 2019-03-20 | パナソニックIpマネジメント株式会社 | 画像処理方法および画像処理装置 |
US9307159B2 (en) * | 2014-03-04 | 2016-04-05 | Panasonic Intellectual Property Management Co., Ltd. | Polarization image processing apparatus |
KR102166426B1 (ko) * | 2014-07-07 | 2020-10-16 | 삼성전자주식회사 | 렌더링 시스템 및 이의 렌더링 방법 |
US20170186170A1 (en) * | 2015-12-24 | 2017-06-29 | Thomas A. Nugraha | Facial contour recognition for identification |
JP6409088B2 (ja) * | 2016-04-28 | 2018-10-17 | シャープ株式会社 | 画像処理方法および画像処理装置 |
JP2018006818A (ja) * | 2016-06-27 | 2018-01-11 | キヤノン株式会社 | 画像読取方法及び画像読取装置 |
JP6650848B2 (ja) * | 2016-08-22 | 2020-02-19 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
CN106289061A (zh) * | 2016-09-30 | 2017-01-04 | 宁波市海洋与渔业研究院 | 一种手持式测量厚壳贻贝的工具及测量方法 |
US11023771B2 (en) * | 2017-02-09 | 2021-06-01 | Sony Corporation | Information processing apparatus, information processing method, and recording medium |
WO2018225164A1 (ja) * | 2017-06-06 | 2018-12-13 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および情報処理方法 |
US10943390B2 (en) | 2017-11-20 | 2021-03-09 | Fovia, Inc. | Gradient modulated shadow mapping |
WO2019123795A1 (ja) * | 2017-12-21 | 2019-06-27 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
JP7039616B2 (ja) * | 2017-12-22 | 2022-03-22 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および表面粗さ取得方法 |
US10636200B2 (en) * | 2018-01-19 | 2020-04-28 | Htc Corporation | Electronic device, method for displaying an augmented reality scene and non-transitory computer-readable medium |
US11126199B2 (en) * | 2018-04-16 | 2021-09-21 | Baidu Usa Llc | Learning based speed planner for autonomous driving vehicles |
US10650578B2 (en) | 2018-05-11 | 2020-05-12 | Microsoft Technology Licensing, Llc | Dynamic soft shadow |
US11966996B2 (en) * | 2020-02-10 | 2024-04-23 | Cognex Corporation | Composite three-dimensional blob tool and method for operating the same |
US12030243B2 (en) * | 2020-03-19 | 2024-07-09 | Ricoh Company, Ltd. | Measuring apparatus, movable apparatus, robot, electronic device, fabricating apparatus, and measuring method |
JP7399000B2 (ja) | 2020-03-26 | 2023-12-15 | セコム株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
KR20220157735A (ko) * | 2021-05-21 | 2022-11-29 | 삼성전자주식회사 | 전자 장치의 촬영 방법 및 그 전자 장치 |
CN115376009B (zh) * | 2022-06-09 | 2023-04-18 | 中国矿业大学(北京) | 一种基于偏振影像的阴影植被提取方法及*** |
CN116994354B (zh) * | 2023-09-28 | 2024-01-23 | 上海闪马智能科技有限公司 | 道路电力设施巡检方法、装置、存储介质及电子装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006011261A1 (ja) * | 2004-07-26 | 2006-02-02 | Matsushita Electric Industrial Co., Ltd. | 画像処理方法、画像処理装置および画像処理プログラム |
WO2006077710A1 (ja) * | 2005-01-19 | 2006-07-27 | Matsushita Electric Industrial Co., Ltd. | 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、および画像変換プログラム |
WO2006095779A1 (ja) * | 2005-03-10 | 2006-09-14 | Fuji Photo Film Co., Ltd. | 撮影システム |
WO2007029446A1 (ja) * | 2005-09-01 | 2007-03-15 | Matsushita Electric Industrial Co., Ltd. | 画像処理方法、画像処理装置及び画像処理プログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05264245A (ja) | 1992-03-19 | 1993-10-12 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
JPH11211433A (ja) | 1998-01-30 | 1999-08-06 | Toppan Printing Co Ltd | 成形品の表面形状測定方法及び測定システム |
JP3459981B2 (ja) * | 2000-07-12 | 2003-10-27 | 独立行政法人産業技術総合研究所 | 拡散および鏡面反射成分の分離方法 |
JP2002303513A (ja) | 2001-01-30 | 2002-10-18 | Fujitsu Ltd | 観測装置 |
JP3992177B2 (ja) * | 2001-11-29 | 2007-10-17 | 株式会社リコー | 画像処理装置、画像処理方法及びコンピュータ・プログラム |
JP3962588B2 (ja) * | 2002-01-07 | 2007-08-22 | キヤノン株式会社 | 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム |
JP2005049935A (ja) | 2003-07-29 | 2005-02-24 | Fuji Photo Film Co Ltd | 画像分離方法及び画像処理方法並びに装置 |
WO2007139067A1 (ja) * | 2006-05-29 | 2007-12-06 | Panasonic Corporation | 画像高解像度化装置、画像高解像度化方法、画像高解像度化プログラムおよび画像高解像度化システム |
US8396319B2 (en) * | 2006-07-18 | 2013-03-12 | The Trustees Of The University Of Pennsylvania | Separation and contrast enhancement of overlapping cast shadow components and target detection in shadow using polarization |
EP2120007A4 (en) * | 2007-02-13 | 2010-12-01 | Panasonic Corp | IMAGE PROCESSING SYSTEM, METHOD AND APPARATUS AND IMAGE FORMAT |
-
2008
- 2008-08-07 RU RU2009107143/28A patent/RU2009107143A/ru not_active Application Discontinuation
- 2008-08-07 WO PCT/JP2008/002163 patent/WO2009019887A1/ja active Application Filing
- 2008-08-07 JP JP2008551799A patent/JP4308319B2/ja active Active
- 2008-08-07 EP EP08790420.7A patent/EP2072947B1/en active Active
- 2008-08-07 CN CN2008800004895A patent/CN101542233B/zh active Active
- 2008-12-15 JP JP2008318758A patent/JP2009080846A/ja active Pending
-
2009
- 2009-01-30 US US12/362,958 patent/US7936944B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006011261A1 (ja) * | 2004-07-26 | 2006-02-02 | Matsushita Electric Industrial Co., Ltd. | 画像処理方法、画像処理装置および画像処理プログラム |
WO2006077710A1 (ja) * | 2005-01-19 | 2006-07-27 | Matsushita Electric Industrial Co., Ltd. | 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、および画像変換プログラム |
WO2006095779A1 (ja) * | 2005-03-10 | 2006-09-14 | Fuji Photo Film Co., Ltd. | 撮影システム |
WO2007029446A1 (ja) * | 2005-09-01 | 2007-03-15 | Matsushita Electric Industrial Co., Ltd. | 画像処理方法、画像処理装置及び画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
US7936944B2 (en) | 2011-05-03 |
JPWO2009019887A1 (ja) | 2010-10-28 |
EP2072947A4 (en) | 2015-03-25 |
CN101542233A (zh) | 2009-09-23 |
EP2072947A1 (en) | 2009-06-24 |
EP2072947B1 (en) | 2016-03-16 |
WO2009019887A1 (ja) | 2009-02-12 |
RU2009107143A (ru) | 2010-09-10 |
JP2009080846A (ja) | 2009-04-16 |
US20090141027A1 (en) | 2009-06-04 |
JP4308319B2 (ja) | 2009-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101542233B (zh) | 图像处理装置以及图像处理方法 | |
CN101542232B (zh) | 法线信息生成装置以及法线信息生成方法 | |
CN102113021B (zh) | 图像处理装置和模拟立体图像生成装置 | |
KR102565513B1 (ko) | 다중 기술 심도 맵 취득 및 융합을 위한 방법 및 장치 | |
US7948514B2 (en) | Image processing apparatus, method and computer program for generating normal information, and viewpoint-converted image generating apparatus | |
CN101960859B (zh) | 图像处理方法、图像处理装置、图像合成方法和图像合成装置 | |
CN102177719B (zh) | 摄像装置朝向检测装置和具备该装置的移动体 | |
CN107851322A (zh) | 用于为图像确定深度图的方法和装置 | |
CN103390290B (zh) | 信息处理设备及信息处理方法 | |
US20200090318A1 (en) | Flat surface detection in photographs for tamper detection | |
JP2004088757A (ja) | 3次元画像表示方法、及びその装置、光方向検出器、光方向検出方法 | |
JPH1069543A (ja) | 被写体の曲面再構成方法及び被写体の曲面再構成装置 | |
WO2023173886A1 (zh) | 隐藏摄像头的检测方法、终端及可读存储介质 | |
CN108732178A (zh) | 一种大气能见度检测方法和装置 | |
Kim et al. | A low-cost stereo-fisheye camera sensor for daylighting and glare control | |
JP3103028B2 (ja) | 被写体の傾き検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |