CN101326545B - 图像处理方法和图像处理*** - Google Patents

图像处理方法和图像处理*** Download PDF

Info

Publication number
CN101326545B
CN101326545B CN2006800202793A CN200680020279A CN101326545B CN 101326545 B CN101326545 B CN 101326545B CN 2006800202793 A CN2006800202793 A CN 2006800202793A CN 200680020279 A CN200680020279 A CN 200680020279A CN 101326545 B CN101326545 B CN 101326545B
Authority
CN
China
Prior art keywords
light source
brightness
image
image processing
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006800202793A
Other languages
English (en)
Other versions
CN101326545A (zh
Inventor
佐藤智
登一生
金森克洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101326545A publication Critical patent/CN101326545A/zh
Application granted granted Critical
Publication of CN101326545B publication Critical patent/CN101326545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

在荧光灯等亮度随时间变化的光源下，在能够拍摄多张光源状况不同的图像的摄像条件下拍摄多张图像(S11)。从已拍摄的多张图像检测亮度随时间的变化情况(S13)，利用该亮度随时间的变化情况推测影子区域(S13)，进行线性化图像的合成、基于光学特性的区域分割等图像处理(S14)。

Description

图像处理方法和图像处理***
技术领域
本发明涉及一种在例如家庭内等一般生活空间中的图像摄像与图像处理。 
背景技术
今天非常希望物理支援机器人(physical support robot)能够在家庭内等一般生活环境中进入实用。为实现这样的机器人的实用化，则需要检测对象物的位置、姿势，识别对象物、检测对象物的活动情况以及识别环境等处理。 
到目前为止，为进行这样的处理而广泛应用的是利用照相机的方法。它是通过对用照相机拍摄到的图像进行图案对照(pattern matching)、光流法检测、特征点抽出等图像处理来实现的。 
已知：在家庭内这样的一般生活环境中，由于光源变动所造成的镜面反射、影子的影响等这些图像处理的精度、检测率会恶化。于是，正在进行例如图像的线性化等研究，即，利用双色性反射模型、Lambertian模型等反射模型能够顽强地抵抗光源变动的影响的图像处理(例如非专利文献1，2)。 
在非专利文献1中，一般认为：在屋外环境下所观测的物体的颜色由不随时间变动的全天空光成份(all-sky light component)和太阳直射光被云彩遮盖使得亮度急剧变化的直射太阳光成份(direct sunlight component)构成。而且，在为检测移动物体而进行背景抽出算法(background subtraction method)之际，通过推测时间变化很大的直射太阳光成份的混合率来实现对不受影子、光源的亮度变化的影响的移动物体的检测。 
在非专利文献2中，利用光源位置已变化的多张图像制作不含镜面反射、影子仅含扩散反射的合成图像即线性化图像。通过利用这样的线性化图像来实现不受镜面反射的影响的图像处理。 
非专利文献1：奥村晃弘，岩井儀雄，谷内田正彦“屋外における移動物体の検出--照明变動と影への对策”画像の認識·理解シンポジウム(MIRU2000)，vol.II，pp.307-312，2000(奥村晃弘，岩井仪雄，谷内田正彦“屋外的移动物体的检测——解决照明变动和影子的措施”图像的辨别·理解学会) 
非专利文献2：石井育规，福井孝太郎，向川康博，尺長健“光学現象の分 
Figure DEST_PATH_GSB00000339946300021
に基づく画像の 
Figure DEST_PATH_GSB00000339946300022
形化”情報処理学会論文誌，vol.44，no.SIG5(CVIM6)，pp.11-21，2003(石井育规，福井孝太郎，向川康博，尺长健“基于光学现象的分类所进行的图像的线性化”信息处理学会论文志) 
发明内容
 -发明要解决的技术问题-
利用这样的光学模型的图像处理手法，大多数都需要多张光源的位置、亮度不同的图像。例如，在非专利文献1中，为推测全天空光成份与直射太阳光成份，需要两张以上仅仅是直射太阳光成份的亮度不同的图像。还有，在非专利文献2中，需要四张以上光源位置不同的图像。 
在该说明书中，称这样的光源亮度、位置不同的多张图像为“光源变动图像”。通常情况下，为拍摄这样的光源变动图像，需要改变光源的位置、亮度，并与该改变同步地拍摄图像。但是，在该方法下，需要使光源与照相机保持同步，***的规模便很大，拍摄成本将增加，这就是问题。 
图36示出了现有的用以拍摄光源变动图像的摄像***之例。首先，将被照物201与摄像装置202固定下来，在被照物201的周围搭起轨道203。能够将光源204固定在轨道203上的多个位置上。摄像装置202，通过与光源204的位置变化或者亮度变化同步地进行摄像，便能够拍摄下光源变动图像。但是，在该***中，因为需要配置覆盖被照物201的轨道203，所以***就变得非常大。特别是在被照物201是很大的物体的情况下，是极难设置该***的。再就是，因为摄像装置202进行摄像时，需要与光源204的位置变化或者亮度变化同步，所以控制变得很复杂，摄像所需要的时间将会加长。 
最近，为了将大佛像、建筑物等作为数字档案记录下来，或者是为了将办公室内、家庭内的环境作为电脑图像表示出来，有时候，需要拍摄多张光源的位置、亮度已变化了的图像。在这样被照物非常大的情况下，用图36的方法拍摄就变得非常困难。 
在进行即使不知道光源的位置信息也无妨的图像处理(例如图像的线性化)的情况下，如图37所示，摄像者或者摄像机器人205将光源204拿在是操作部的手中，边使光源204移动边由摄像装置202进行摄像。但是，需要进行在固定好照相机的位置的状态下移动光源这样的复杂操作，还是存在着摄像所需要的时间增大的问题。 
本发明正是为解决上述问题而研究开发出来的，其目的在于：在进行图像处理时，利用简易的设备便能够取得所谓的光源变动图像。 
-用以解决问题的技术方案- 
本发明是这样的，在亮度随时间变化的光源下，在能够拍摄多张光源状况不同的图像的摄像条件下由摄像装置对同一个被照物进行多次摄像，利用所拍摄的多张图像进行图像处理。 
根据本发明，利用亮度随时间变化的光源，设定能够拍摄多张光源状况不同的图像的摄像条件，由摄像装置拍摄多张图像。这样一来，不需要大规模的***、复杂的操作，便能够很容易地获得所谓的光源变动图像。 
本发明是这样的，在亮度随时间变化的光源下，由摄像装置对同一个被照物进行多次摄像，对所拍摄的多张图像中的多个对应点分别检测亮度值随时间的变化情况，利用各个对应点的亮度值随时间的变化情况来判断多张图像的光源状况是否相互不同，将多张图像中光源状况不同的图像作为光源变动图像保存起来，将除此以外的图像废除。 
本发明公开一种图像处理方法，其中包括以下步骤：摄像步骤，在亮度随时间变化的多个光源下，在能够拍摄多张光源状况不同的图像的摄像条件下由摄像装置对同一个被照物进行多次摄像，以及
图像处理步骤，利用在所述摄像步骤中拍摄的多张图像进行图像处理；所述图像处理步骤包括以下步骤：从所述多张图像检测亮度随时间的变化情况的步骤，对已检测的亮度随时间的变化进行FFT频率解析，将在该FFT频率解析中所检测出的频谱个数少的区域，作为所述多张图像中的影子区域而推测的步骤；从所述多个图像利用RANSAC方法，生成能够以下式那样利用线性结合表示任意方向的图像的、3张仅有扩散反射成分的图像即基底图像，通过将这3张基底图像适用于Shashua的方法而生成对应于摄像图像的光源状况的线性化图像的步骤， 其中，Ik是任意方向的图像，I1、I2、I3是3张仅有扩散反射成分的图像，ck 1、ck 2、ck 3是线性化系数；使用摄像图像中的各像素的亮度值ik(p)、所述线性化图像的各像素的亮度值ik(p) L、以及所推测的所述影子区域的信息，利用式子
Figure 56005DEST_PATH_GSB00000586482700012
进行所述摄像图像的区域分割的步骤，其中T是阈值，Shdw是影子区域。
根据本发明，利用亮度随着时间变化的光源由摄像装置拍摄多张图像。然后，再利用多张图像中的各个对应点的亮度随时间的变化情况仅将光源状况不同的图像作为光源变动图像保存好。这样一来，便不需要大规模的***、复杂的操作，即能够很容易地取得所谓的光源变动图像。 
-发明的效果- 
根据本发明，在例如家庭内那样的一般生活环境中很容易用非常简单的装置拍摄出光源的位置、亮度不同的所谓的光源变动图像。利用这样的图像在一般生活环境中也能够进行不受影子、光源的亮度变化影响的图像处理。 
附图的简单说明 
图1是显示用以实现本发明的第一个实施例所涉及的图像处理方法的构成的图。 
图2是显示用以实现本发明的第一个实施例所涉及的图像处理方法中的处理步骤的流程图。 
图3是用以说明亮度发生变化的光源的影响的概念图。 
图4是显示在图3的状况下观测的亮度值的图。 
图5是显示在图3的状况下任意地设定摄像时刻的情形的图。 
图6是用以说明在存在多个光源的情况下影子的行动的图。 
图7是显示光学现象即扩散反射、镜面反射以及影子的关系的概念图。 
图8是显示光源、摄像装置、被照物的法线方向的关系的概念图。 
图9是显示基于光学特性的区域分割的基准的曲线图。 
图10是用以说明荧光灯的发光模式的图。 
图11是用以说明荧光灯的发光模式的图。 
图12是显示在本发明的第一个实施例中所求得的图像处理结果之一例的图。 
图13是显示利用图12的结果所得到的基于光学特性的区域分割之例。 
图14是显示本发明的第一个实施例所涉及的图像处理方法中 的另一处理步骤之例的流程图。 
图15是显示在本发明的第一个实施例中所求得的图像处理结果之一例的图。 
图16是显示本发明的第二个实施例所涉及的图像处理方法中的处理步骤的流程图。 
图17是用以说明光源色谱的推测方法的概念图。 
图18是显示本发明的第二个实施例中的光源色谱的推测处理的流程的流程图。 
图19是显示用以实现本发明的第三个实施例所涉及的图像处理方法的构成的图。 
图20是显示本发明的第三个实施例所涉及的图像处理方法下处理的流程图。 
图21是显示在与光源的亮度变化同步的摄像时刻进行摄像的情况的概念图。 
图22是显示在图21的状况下所观测到的亮度值的图。 
图23是显示在相对光源的亮度变化而言十分长的曝光时间下进行摄像的情形的概念图。 
图24是显示在图23的状况下所观测到的亮度值的图。 
图25是显示在光源的亮度变化的幅度很大的情况下被照物的亮度变化之例的图。 
图26是显示在光源的亮度变化的幅度很小的情况下被照物的亮度变化之例的图。 
图27是显示将摄像间隔设定得比光源的明暗间隔长之例的概念图。 
图28是显示在本发明的第三个实施例中所求得的图像处理结果之一例的图。 
图29是显示本发明的第三个实施例所涉及的图像处理方法中的另一处理步骤之例的流程图。 
图30是用以说明离光源的距离与亮度变化幅度之关系以及基于此进行的区域分割的概念图。 
图31是用以说明离光源的距离与亮度变化幅度之关系以及基于此进行的区域分割的概念图。 
图32是显示本发明的第四个实施例所涉及的图像处理方法中的处理步骤的流程图。 
图33是显示利用亮度随时间变化的光源随机地进行摄像的情形的概念图。 
图34是显示用以实现本发明的第五个实施例所涉及的图像处理方法的构成的图。 
图35是显示用以实现本发明的第五个实施例所涉及的图像处理方法中的处理步骤的流程图。 
图36是显示现有的用以拍摄光源的亮度、位置发生了变化的图像的摄像***的构成的图。 
图37是显示现有的用以拍摄光源的亮度、位置发生了变化的图像的摄像方法的图。 
符号说明 
11，11a，11b光源 
20摄像装置 
30图像处理装置 
40摄像控制装置 
50光源控制装置 
OB被照物 
具体实施方式
在第一方面的发明中提供一种图像处理方法，该图像处理方法包括以下步骤：摄像步骤，在亮度随时间变化的光源下，在能够拍摄多张光源状况不同的图像的摄像条件下由摄像装置对同一个被照物进行多次摄像，以及图像处理步骤，利用在所述摄像步骤中拍摄的多张图像进行图像处理。所述图像处理步骤包括以下步骤：从所述多张图像检测亮度随时间的变化情况的步骤，利用已检测的亮度随时间的变化情况来推测所述多张图像中的影子区域的步骤，以及利用已推测出的所述影子区域的信息与所述多张图像来进行线性化 图像的生成、基于光学特性的区域分割、对所述被照物的形状信息的推测、对所述被照物的光学信息的推测以及光源信息推测中之至少一个的步骤。 
在第二方面的发明中提供一种图像处理方法，包括以下步骤：摄像步骤，在亮度随时间变化的光源下，在能够拍摄多张光源状况不同的图像的摄像条件下由摄像装置对同一个被照物进行多次摄像，以及图像处理步骤，利用在所述摄像步骤中拍摄的多张图像进行图像处理。所述图像处理步骤是一个对所述光源的色矢量进行推测的步骤。 
在第三方面的发明中提供一种图像处理方法，在第一及第二方面的发明中，所述光源是一个亮度周期性地变化的光源；设定相对于所述光源的亮度变化周期十分短的曝光时间作为所述摄像条件。 
在第四方面的发明中提供一种图像处理方法，在第一及第二方面的发明中，所述光源，是荧光灯、或者是发光二极管、或者是显示器。 
在第五方面的发明中提供一种图像处理方法，在第一及第二方面的发明中，所述摄像条件是曝光时间、摄像时刻以及摄像周期中之至少一个。 
在第六方面的发明中提供一种图像处理方法，在第一及第二方面的发明中，包括以下下步骤：取得所述光源的光源信息的步骤，以及以已取得的光源信息为基础来决定所述摄像条件的步骤。 
在第七方面的发明中提供一种图像处理方法，在第一到第六方面中之任一方面的发明中，所述光源信息，是所述光源的亮度变化周期、亮度变化幅度以及位置信息中之至少一个。 
在第八方面的发明中提供一种图像处理方法。该图像处理方法包括以下步骤：摄像步骤，在亮度随时间变化的光源下，在能够拍摄多张光源状况不同的图像的摄像条件下由摄像装置对同一个被照物进行多次摄像，以及图像处理步骤，利用在所述摄像步骤中拍摄的多张图像进行图像处理。所述图像处理步骤包括：对所述多张图像中的多个对应点分别求出亮度的变化幅度的步骤，以及利用对所 述各个对应点求出的亮度的变化幅度进行基于与所述光源的距离的区域分割的步骤。 
在第九方面的发明中提供一种图像处理方法，该图像处理方法包括以下步骤：摄像步骤，在亮度随时间变化的光源下，由摄像装置对同一个被照物进行多次摄像，亮度变化检测步骤，对在所述摄像步骤中所拍摄的多张图像中的多个对应点分别检测亮度值随时间的变化情况，以及图像判断步骤，利用所述各个对应点的亮度值随时间的变化情况来判断所述多张图像的光源状况是否相互不同，将所述多张图像中光源状况不同的图像作为光源变动图像保存起来，将除此以外的图像废除。 
在第十方面的发明中提供一种图像处理方法，在第九方面的发明中包括光源控制步骤，由光源控制装置控制所述光源的亮度使所述光源的亮度随时间变化。 
在第十一方面的发明中提供一种图像处理***。该图像处理***包括以下装置：摄像装置，在亮度随时间变化的光源下，在能够拍摄多张光源状况不同的图像的摄像条件下对同一个被照物进行多次摄像，以及图像处理装置，使用已由所述摄像装置拍摄的多张图像进行图像处理。 
在第十二方面的发明中提供一种图像处理程序，让电脑执行图像处理。让电脑执行以下步骤：摄像步骤，在亮度随时间变化的光源下，在能够拍摄多张光源状况不同的图像的摄像条件下由摄像装置对同一个被照物进行多次摄像，以及图像处理步骤，利用在所述摄像步骤中拍摄的多张图像进行图像处理。所述图像处理步骤包括以下步骤：从所述多张图像检测亮度随时间的变化情况的步骤，利用已检测的亮度随时间的变化情况来推测所述多张图像中的影子区域的步骤，以及利用已推测出的所述影子区域的信息与所述多张图像来进行线性化图像的生成、基于光学特性的区域分割、对所述被照物的形状信息的推测、对所述被照物的光学信息的推测以及光源信息推测中之至少一个的步骤。 
在第十三方面的发明中提供一种图像处理程序，让电脑执行图 像处理。让电脑执行以下步骤：摄像步骤，在亮度随时间变化的光源下，在能够拍摄多张光源状况不同的图像的摄像条件下由摄像装置对同一个被照物进行多次摄像，以及图像处理步骤，利用在所述摄像步骤中拍摄的多张图像进行图像处理。所述图像处理步骤是一个对所述光源的色矢量进行推测的步骤。 
下面，参考附图对本发明的实施例进行说明。 
(第一个实施例) 
图1是显示用以实现本发明的第一个实施例所涉及的图像处理方法的构成的图。在图1中，被照物OB，被亮度随着时间变化的多个光源11照射，被照相机等摄像装置20多次且连续拍摄。此时，设定曝光时间、摄像时刻、摄像周期等摄像条件以便能够拍摄下多张光源状况不同的图像。已拍摄的多张图像被送给图像处理装置30，由图像处理装置30进行影子区域推测等图像处理。由摄像装置20与图像处理装置30构成本发明所涉及的图像处理***。 
图2是显示该实施例所涉及的图像处理方法中的处理步骤的流程图。利用图1所示的摄像装置20对被照物OB进行多次摄像(步骤S11)，摄像条件是曝光时间比光源11的亮度变化周期短，被照物的位置被固定好且被亮度随时间变化的多个光源11照射。这样拍摄的多张图像的光学状况随着时间系列而不同。图像处理装置30，首先从所拍摄的多张图像检测亮度随时间的变化情况(步骤S12)，之后再利用已检测出的亮度随时间的变化情况来对图像中的影子区域进行推测(步骤S13)。然后，利用已推测的影子区域的信息进行图像的线性化，而合成不包含镜面反射、影子仅具有扩散反射成份的线性化图像。同时还进行基于光学特性的区域分割(步骤S14)。步骤S11对应于摄像步骤、步骤S12～S14对应于图像处理步骤。按顺序对这些处理步骤进行详细的说明。 
首先，在步骤S11，利用摄像装置20对被照物OB进行多次摄像，被照物OB的位置被固定好且被亮度随时间变化的多个光源11照射，摄像条件是曝光时间比光源11的亮度变化周期短。 
该实施例中所用的光源11可以采用荧光灯。荧光灯作为家庭内 的光源被广泛地应用。荧光灯的发光原理如下。若对灯两端施加电压，则从电极放出的电子被加速而与水银相碰撞。由于该碰撞而激发的水银产生紫外线，该紫外线被荧光粉变换为可见光。在这样的原理下，被交流驱动的荧光灯根据交流频率重复发光与消光，结果是，亮度随着时间而变化。 
因为东日本地区的交流频率是50Hz，西日本地区的交流频率是60Hz，所以这两个地区的荧光灯的闪烁频率(blinkingfrequency)分别是100Hz，120Hz，人的眼睛通常是观察不到的。 
但是，若使曝光时间比荧光灯的闪烁周期短，使摄像时刻(摄像周期)与闪烁周期不同，则即使对象物静止且照相装置也固定好了，所拍摄的也是亮度随时间变化的图像。这样的亮度变化被公认为闪变(flicker)，到目前为止一直被认为是图像处理中的一个大问题(参考例如日本公开特许公报特开平2-135986号公报)。在该实施例中，相反，是利用被认为是图像处理的障碍的闪变，而能够很容易地拍摄到目前为止一直很难取得且照明的亮度、位置等光源状况不同的即所谓的光源变动图像。 
图3是用以说明闪变产生的曲线图，示出了在荧光灯照明下被照物的某一点的亮度变化A1。纵轴表示亮度，横轴表示时间。A2是摄像时刻(时间ta1～ta11)，A3是曝光时间。如图4所示，此时，所观察到的亮度值A4随时间变化。换句话说，实际拍摄的亮度值A4，是各个摄像时刻ta1～ta11下曝光时间A3的亮度变化A1的积分值。 
通过将曝光时间设定为相对于光源的亮度变化周期而言十分短的时间来进行摄像，就能够拍摄出亮度随时间变化的图像。通常的荧光灯在交流频率的两倍的周期下亮度开始变动。换句话说，因为东日本地区的荧光灯的闪烁频率是100Hz，西日本地区的荧光灯的闪烁频率是120Hz，所以将曝光时间设定为相对于1/100秒或者1/120秒而言非常短的时间，例如2毫秒即可。而且，将曝光时间设定为照相机的最快快门速度(shutter speed)，例如1毫秒也无妨。 
如图5所示，为了使摄像时刻A5与光源的亮度变化A1的相位不一致，最好是随机地设定摄像时刻A5(时间tb1～tb11)。只要靠利用了产生随机数的程序等进行设定即可。结果是，得到了亮度值A6。 
补充说明一下，这里，以荧光灯作光源11为例进行了说明，当然，光源11并不限于荧光灯。例如，可以使用发光二极管(lightemitting diode)、显示屏等作光源11。 
近年来，LED照明从其亮度、高寿命等角度来看得到了迅速地普及。而且，LED照明还有取代当今正被广泛地应用在家庭内的荧光灯的可能性。最近已开始销售“LED悬吊光(LED-baseddownlight)”，再就是，已经开始进行以人眼感觉不到的速度让LED光源闪烁来发送数据这样的研究，即所谓的可见光通信的研究(参考例如「春山真一郎，“可視光通信”，電子情報通信学会論文誌A，Vol.J86-A，No.12，pp.1284-1291，2003”」(春山真一郎，“可见光通信”，电子信息通信学会论文志A))。因此，通过将摄像装置20的曝光时间设定得比LED的闪烁周期短，便能够拍摄出亮度随时间变化的即所谓的光源变动图像。换句话说，等到将来由LED照明替代了现在是主流的荧光灯照明以后，也同样能够实现该实施例的图像处理方法。 
最近，在数字摄像机等中采用了被成为“OLux colour nightview”的技术，该技术利用通常用于输出图像的液晶监视器作为照明面板(light panel)。在利用这样的数字照相机的情况下，上述处理也非常有效。 
连接在电脑上的液晶显示屏、显像管显示屏在垂直同步频率60Hz左右下进行画面的改写。换句话说，画面的亮度在对应于垂直同步频率的周期下变化。因此，在利用这些显示屏作光源11的情况下，也同样能够拍摄出多张光源状况不同的图像。 
因为等离子体显示屏是利用亮度不同的多个子场(subfield)图像的组合来显示灰阶(参考例如「德永勉，中村英人，鈴木雅博，三枝信彦，“A C型P D P の新駆動法の開発”，PIONEER R&D，vol.11， No.1，pp.17-23，2003 」“德永勉，中村英人，铃木雅博，三枝信彦，“AC型PDP的新驱动方法的开发”)，所以本来各个像素进行亮-不亮的2值变动。但是，因为各个像素非常小，所以等离子体显示屏被看作是像素聚集的光源。因此，即使在显示静画的情况下，亮度也是通过改变曝光时刻来随时间变化的。结果是，在利用等离子体显示屏作为光源11的情况下，同样能够拍摄出多张光源状况不同的图像。 
返回图2，在步骤S12中，从在步骤S11由摄像装置20拍摄的多张光源状况不同的图像检测在各对应点亮度随时间的变化情况。这里，在摄像装置20的位置被固定的情况下，图像处理装置30只要在已拍摄的多张图像中对每个像素检测亮度变化即可。 
补充说明一下，在该实施例中，摄像装置20的位置没有固定的必要。例如，在相机移动的情况下，只要跟踪图像上的特征点，确定多个图像之间的对应点并检测在该对应点的亮度变化情况即可。已知有这样的抽出特征点、跟踪特征点的方法，例如参考theHarris operator and the KLT(Kanade-Lucas-Tomasi)FeatureTracker(see，for example，Jianbo Shi and Carlo Tomasi，″GoodFeatures to Track″，IEEE Conference on Computer Vision andPattern Recognition，pp.593-600，1994)等。 
在步骤S12中，图像处理装置30检测的对象并非一定是图像上的亮度变化，不是亮度变化亦可。例如，可以使图像处理装置30检测图像上的各个对应点的RGB值的色矢量信息的变化。 
在步骤S13，利用在步骤S12已检测出的亮度随时间变化的信息对图像内的影子区域进行推测。 
这里，光源是单一的点光源，且在不存在外来光的情况下影子区域的亮度值成为0。在这样的情况下，通过将亮度值作为阈值进行区域分割，便能够推测出影子区域。但是，在存在多个光源的情况下，存在很多因为某一个光源的光达到不了而产生影子，但另外的光源的光却到达而使亮度值不成为0的区域。有关这样的影子区域，利用上述那样的只利用阈值的方法是很难进行推测的。 
图6是显示存在多个光源的情况下的影子区域的图。在图6中，两个光源A11a、B11b将光照射到被照物OB上。摄像装置20从上方拍摄被照物OB。首先，在影子区域A，因为来自光源A11a的光到达不了那里，所以产生了影子。在假定只有光源A11a照射被照物OB的情况下，影子区域A的亮度值会成为0，而实际上来自光源B11b的光却到达了那里。而且，在影子区域B，在假设仅有光源B11b照射被照物OB的情况下，亮度值成为0，而实际上来自光源A11a的光到达了那里。这样，在两个光源A11a、光源B11b都亮的情况下，影子区域A、B的亮度值都不会成为0。也就是说，很难推测影子区域。 
这里，假设光源A11a、B11b是LED光源且在互不相同的频率下闪烁。若光源A11a、B11b闪烁的角频率分别是ωA、ωB，则其亮度IA、IB分别用下式表示。 
(数学式1) 
IA＝EAcos(ωAt)    (式1) 
IB＝EBcos(ωBt+θB) 
这里，EA、EB是光源A11a、B11b的亮度的振幅的大小，t是时间，θB表示光源A11a、B11b闪烁的相位差。这里，若假定在摄像环境内除了光源A11a、B11b以外，不存在其它光源，则在摄像图像上的像素p的亮度值Ip便随时间变化，如下所示。 
(数学式2) 
Ip＝EpAcos(ωAt)+EpBcos(ωBt+θB)    (式2) 
这里，EPA、EPB分别是表示光源A11a、B11b对图像p的贡献度的系数，由像素p的法线方向、来自各个光源的光的入射角、从各个光源到被照物OB的距离、EA、EB以及反射率等决定。 
进一步地讲，若对在步骤S12检测到的各个像素的亮度的时间系列数据进行FFT(Fast Fourier Transform)，则从式(2)能够求出对应于光源A11a、光源B11b的亮度变化的频率成份。在图6中，象区域C、D、E那样，在两个光源A11a、B11b的光都到达的区域中，会检测出两个频率成份中的任一个频率成份。另一方面， 在由光源A11a产生影子的影子区域A中，因为(式2)成为 
EPA＝0 
，所以还是仅检测出一方的频率。同样，在仅由光源B11b产生影子的影子区域B中，(式2)成为 
EPB＝0 
，所以还是仅检测出一方的频率。换句话说，能够对图像的每一个点进行频率分析，对被检测到的频谱的个数进行计数，将个数较少的区域推测为图像上的影子区域。 
当然，该实施例中的影子区域的推测方法并不是只能用到亮度连续变化的光源上。例如，产生重复亮与不亮的不连续的亮度变化的光源也适用。 
在图6中，假定光源A11a、B11b重复进行ON与OFF。假定在该情况下，光源A11a、B11b都亮了以后，仅有光源A11a熄灭。此时，在具有由光源A11a产生的影子的影子区域A，因为来自光源A11a的光一开始就没有到达，所以即使光源A11a熄灭，亮度值也不变化。另一方面，在影子区域B以及区域C、D、E，由于伴随着光源A11a的熄灭入射光减少，所以亮度值下降。而且，在仅有光源B11b熄灭的情况下，由于光源B产生的影子的影子区域B的亮度值不变化，但影子区域A以及区域C、D、E的亮度值却下降。而且，在光源A11a亮的情况下，也是影子区域A的亮度值不变化，但影子区域B以及区域C、D、E的亮度值却增加。因此，能够从图像的亮度变化情况推测出影子区域。 
补充说明一下，这里说明的是有两个光源的情况。当然，光源的个数在3个以上也没有问题。而且，如上所述，因为利用各个光源的频率，所以在两个以上的光源同时都亮的状态下进行拍摄也无妨。此时，在同一个时刻重复闪烁的光源的亮度变化的频率相同也无妨。这在家庭内尤其重要。在一般家庭内安装多个相同的照明的情况很多。如后所述，在是多根荧光灯发光的照明的情况下，可以认为这些光源是亮度变化的相位不同的光源重复进行交替着闪烁的照明。因此，能够对以相同的频率重复闪烁的光源进行同样的处理， 就意味着在当今之主流即荧光灯照明中可以在不花费设置成本的情况下适用该实施例，利用价值相当高。 
之后，在步骤S14，图像处理装置30利用在步骤S13求得的对影子区域的推测结果进行例如图像的线性化处理。这里，对图像的线性化处理进行说明。 
为了分辨被照物的位置、姿势以及为了检测其动作所广泛采用的是利用相机的方法。这能够通过将例如图案对照、光流法检测、特征点抽出等图像处理方法应用到用照相机拍摄到的图像上来实现。这样的图像处理技术对没有噪音的图像很有效，但对于在象家庭那样的一般环境中所拍摄的图像来说却存在着很难得到充分的可靠性、精度的问题。(例如参考「阪野貴彦、池内克史“移動カメラによる時空間画像を用いた車両からのスペキユラ除去”，情報処理学会研究報告CVIM，2003-CVIM-141，pp.17-23，2003)。其主要原因在于：通常的图像处理所假定的物体仅仅具有扩散反射，而实际上图像数据的色信息、边缘信息受镜面反射、影子的影响随着相机位置、光源位置的不同会产生很大的变化。 
因此，作为进行图像处理的前处理，要对镜面反射、影子区域进行补正。图像的线性化，就是利用已边改变光源的位置边拍摄的多张图像，合成不存在镜面反射、影子仅含有扩散反射的线性化图像的图像处理方法(参考例如非专利文献2)。还进行基于光学特性的区域分割。对该手法进行详细的说明。 
图7是显示光学现象即扩散反射、镜面反射以及影子的关系的图。这里若假设是所谓的双色性反射模型，则物体的亮度就用扩散反射成份与镜面反射成份之和来表示。而且，根据Lambertain模型，扩散反射成份的亮度值Id用下式表示。 
(数学式3) 
Id＝n·s    (式3) 
这里，n是物体表面的法线方向矢量N与扩散反射率(albedo)之积，s表示光源方向单位矢量L与光源照明度之积(图8)。 
如图7所示，影子分为因物体的法线未朝向光源方向而产生的 attached shadow以及由于其它物体将光遮住而产生的castshadow这两种。在没有环境光、相互反射的影响的情况下，两者的亮度都成为0。但是，在(式3)中，attached shadow是负值，cast shadow是正值。 
这里，Shashua告诉我们：通过假定平行光源、完全扩散反射面，便能够借助进行光源方向不同的三张图像的线性结合表现任意任意光源方向的图像(「Shashua A.，“Geometry and Photometryin 3D Visual Recognition”，P.D.thesis，Dept.Brain andCognitive Science，MIT，1992」)。换句话说，若假定用矢量所表示的光源方向不同的三张图像分别为I1、I2、I3，则任意方向的图像Ik就能够象下式那样用线性结合来表示。 
(数学式4) 
I k = c k 1 I 1 + c k 2 I 2 + c k 3 I 3 (式4) 
这里，称(数学式4A) 
c k = c k 1 c k 2 c k 3 T
是对图像Ik的线性化系数组。称这样用线性和来制作的图像为线性化图像。该线性化图像是满足Lambertian模型的仅有扩散反射成份的合成图像。但是，因为真正的图像含有影子、光源反射等，所以不满足(式4)。这里，在非专利文献2中，拍摄光源方向不同的多张图像，利用RANSAC(see M.A.Fischler and R.C.Bolles，″Random Sample Consensus：A Paradigm for Model Fittingwith Applications to Image Analysis and AutomatedCartography″，Communications of the ACM，Volume 24，Issue6，pp.381-395)来制作满足(式4)仅有扩散反射成份的三张图像。这样做成的仅有扩散反射成份的图像被成为基底图像(baseimage)。通过将该基本图像应用Shashua的方法中便能够制成对应于拍摄图像的光源状况的线性化图像。也就是说，线性化图像用下式表示。 
(数学式5) 
I k L = c k 1 I 1 B + c k 2 I 2 B + c k 3 I 3 B (式5) 
不过，Ik L是输入图像k中的线性化图像，I1 B、I2 B与I3 B分别是按上述方法做成的三张基底图像。这样生成的线性化图像是不产生镜面反射的、理想状态下的图像。因此，通过利用该线性化图像进行图像处理便能够实现不受镜面反射、影子的影响的图像处理。 
在步骤S14，利用按上述求出的线性化图像进行基于光学特性的区域分割也无妨。这里，若假定输入图像k中的像素p的亮度值为ik(p)、对应于此的线性化图像的亮度值为ik(p) L，则扩散反射、镜面反射、cast shadow、attached shadow便能根据以下的关系式，象图9那样进行分类。T、Ts是阈值。 
(数学式6) 
Figure S2006800202793D00171
这里，因为假定(式6)是单一光源，所以利用阈值Ts将影子分类为cast shadow区域与attached shadow区域。但是，在一般生活空间那样的存在多个光源的环境下，这样的利用阈值对影子区域的分类是非常困难的。另一方面，在该实施例的图像处理方法中，因为已利用上述手法对影子区域进行推测，所以能够用以下关系式对扩散反射、镜面反射、cast shadow以及attached shadow进行分类。 
(数学式7) 
Figure S2006800202793D00172
这里，(数学式7A) 
ik(p)∈Shdw 
表示由影子区域推测步骤S13推测到第k张图像的像素p是影子区域。这样一来，在该实施例中，就是在目前图像的线性化很困难的 一般生活环境中，也能够进行基于光学特性的图像处理。 
如上所述，到目前为止，为得到多张光源状况不同的图像(光源变动图像)，需要利用图36那样的大型的摄像***，或者是进行图37那样的复杂的操作。相对于此，在该实施例中，用极其简单的结构利用亮度变化的光源就能够得到光源变动图像。这里，以利用由三根荧光灯构成的照明的情况为例对这一点进行说明。 
现在，假定是在用由图10(a)示意地显示的三根荧光灯41、42、43构成的照明照射被照物。在是内装有多根荧光灯的照明的情况下，为抑制荧光灯的闪变，很多情况下都是使每一根荧光灯的发光时刻的相位不同。图10(b)示意地示出了图10(a)的照明中的各个荧光灯41～43的亮度变化的曲线图。在图10(b)中，B1、B2以及B3分别显示图10(a)中的荧光灯41、42、43的亮度变化情况。 
从图10(b)可知，外侧的两根荧光灯41、43在同一个相位下重复闪烁，中央的荧光灯42相位反转后重复闪烁。从这一事实能够这样考虑，图10(a)的照明是模拟地示出的图11(a)，图11(b)那样的发光位置不同且交替着重复闪烁的两种光源。因此，根据上述手法便能够简单地拍摄多张光源状况不同的图像。结果是，在是内装有多根荧光灯的照明的情况下，能够低成本地实现图像的线性化 
图12是显示在该实施例中所求得的图像处理结果之一例的图。在该图中，图12(a)是显示在图6的构成中拍摄被照物OB的输入图像，图12(b)是显示影子区域内的像素A、B以及扩散反射区域内的像素P中亮度随时间变化的曲线。若对该亮度随时间的变化进行FFT(Fast Fourier Transform)等频率解析，则可知：像素A、B的亮度随时间的变化分别只包含单一的频率，像素P的亮度随时间的变化则是多个频率发生重叠。从这一事实可推测出：像素A、B是影子区域，但像素P却不是影子区域。通过对所有的像素进行该处理便推测出图12(c)那样的影子区域。之后，通过利用该推测结果与(式7)的关系式，便能够合成图12(d)所示那 样的线性化图像。而且还能够利用图12的结果进行基于图13所示那样的基于光学特性的区域分割。 
而且，该实施例所涉及的图像处理方法，在利用图像处理装置30对被照物OB的形状进行推测的情况下也是很有效的。以利用Photometric Stereo的手法为例进行说明。 
Photometric Stereo，是利用从不同的光源方向拍摄的三张以上的光源变动图像对被照物的法线方向与反射率进行推测的手法。例如，在“H.Hayakawa，“Photometric Stereo under a lightsource with arbitrary motion”，Journal of the Optical Society ofAmerica A，vol.11，pp.3079-89，1994”中说明的就是以下手法，即，若在图像上取得6个以上反射率相等的点作为已知信息，并作为约束条件，则即使光源的位置信息是未知的，也要推测以下的参数。 
·被照物的形状信息与光学信息：图像上的各点的法线方向与反射率 
·光源信息：光源方向与照明度 
已知：该手法一般只能用在仅有扩散反射成份的被照物上，对于存在影子、镜面反射成份的被照物却不能求出正确的推测值。因此，是这样认为的，以上述那样的图像的线性化处理作为前处理来进行而合成线性化图像即不合影子、镜面反射成份、仅有扩散反射成份的图像之后，再通过进行Photometric Stereo求正确的推测值。这里，说明的是进行已经将图像的线性化处理与PhotometricStereo合起来的处理来推测以上的参数的手法。 
图14是显示该实施例所涉及的图像处理方法中的另一处理步骤之例的流程图。在图14中，用同一个符号来表示与图2的流程图通用的步骤，详细说明省略不提。步骤S12～S15对应于图像处理步骤。 
首先，利用所述手法取得光源变动图像，合成线性化图像(步骤S11～S14)。再利用已合成的线性化图像取得被照物与光源的信息(步骤S15)。对该处理作详细说明。 
象下式那样用亮度矩阵I来表现从光源变动图像合成的线性化图像。 
(数学式8) 
Figure S2006800202793D00201
(式8) 
不过，i1 m(n)表示对第m张输入图像的线性化图像的像素n的亮度值。还有，图像的尺寸是p像素，已拍摄的图像张数是f张。这里，考虑图像的线性化处理。从(式5)、(式8)求出以下的关系。 
(数学式9) 
I＝B·C    (式9) 
B = I 1 B I 2 B I 3 B = i 1 ( 1 ) B i 2 ( 1 ) B i 3 ( 1 ) B . . . . . . . . . i 1 ( p ) B i 2 ( p ) B i 3 ( p ) B = b 1 b 2 . . . b p T
C = c 1 . . . c p = c 1 1 . . . c p 1 c 1 2 . . . c p 2 c 1 3 . . . c p 3
但利用(式3)，则(式8)便可用下式表示。 
(数学式10) 
I＝R·N·M·T＝S·L    (式10) 
Figure S2006800202793D00204
N = n 1 . . . n p T = n 1 x n 1 y n 1 z . . . . . . . . . n px n py n pz
M = m 1 . . . m f = m x 1 . . . m 1 xf m y 1 . . . m 1 yf m z 1 . . . m 1 zf
Figure S2006800202793D00211
S = s 1 . . . s p T = s 1 x s 1 y s 1 z . . . . . . . . . s px s py s pz = R · N
L = l 1 . . . l f = l x 1 . . . l 1 xf l y 1 . . . l 1 yf l z 1 . . . l 1 zf = M · T
这里，R、N、M、T、S、L分别代表表面反射矩阵、表面法线矩阵、光源方向矩阵、光源亮度矩阵、表面矩阵、光源矩阵。还有，r、n分别代表表面反射率、表面法线，t、m分别代表光源亮度、光源方向单位矢量。 
从(式9)、(式10)以下关系成立。 
(数学式11) 
S＝B·A    (式11) 
(数学式12) 
L＝A-1·C    (式12) 
这里，A是3×3矩阵。换句话说，通过推测矩阵A，能够进行与Photometric Stereo一样的处理。以下考虑对该矩阵A的推测。 
由(式10)可知，矩阵S的各个要素代表画面上各点的表面反射率与表面法线之积。也就是说，矩阵S的各个要素的平方表示画面上各点的表面反射率的平方。 
这里，若假定像素k(k＝1，…p’)的反射率相等，则能够认为该反射率相对为1，以下关系成立。 
(数学式13) 
(ATbk)2＝bk TAATbk＝1  k＝1，...p’  (式13) 
这里，若假定 
(数学式14) 
AAT＝D    (式14) 
则(数学式15)成为 
bk TDbk＝1  (式15) 
用(式13)来推测(式15)的矩阵D即可。 
这里，若着眼于从(式14)得知矩阵D是对称矩阵，则可知：为将(式15)解开为一个答案所需要的限制式的个数，也就是说，已知反射率相等的点的个数p’最少是6个。而且，通过对式(14进行特异值分解，很简单地就能将它解开。 
从以上所述可知，在反射率相等的6个点以上的像素已知的被照物中，亮度变化为多个值的光源，例如利用荧光灯拍摄多张图像，再利用该多张图像进行图像的线性化处理，就能够将(式10)分解，作为结果得到以下信息。 
·基于光学特性的区域分割(扩散反射、镜面反射、AttachedShadow、Cast Shadow) 
·被照物的形状信息与光学信息：图像上的各点的法线方向与反射率 
·光源信息：光源方向与照明度 
图15是显示在该实施例中所求得的图像处理结果之一例的图。该图中，图15(a)、图15(b)以及图15(c)与图12(a)、图12(b)以及图12(c)是通用的，省略详细说明。通过利用图15(c)所示那样的影子区域的推测结果与所述手法便能够推测出图15(d)所示那样的被照物OB的形状。当然，能够推测被照物的反射率、光源方向、照明度等，省略图示。 
如上所述，根据该实施例，在一般生活环境中，亮度随时间变化的光源下也很容易得到多张光源状况不同的图像。而且，利用该图像，能够推测影子区域、生成线性化图像、进行基于光学特性的区域分割、推测被照物的形状、取得光源信息等。 
(第二个实施例) 
图16是显示本发明的第二个实施例所涉及的图像处理方法中的处理步骤的流程图。在图16中，用同一个符号来表示与图2所示的第一个实施例的图像处理方法通用的步骤，详细说明省略不提。 步骤S12、S21与图像处理步骤相对应。而且，该实施例的构成与图1所示的第一个实施例的构成一样，省略说明。 
在该实施例中，不进行影子区域推测步骤S13，而且代替步骤S14进行对光源色矢量的推测(步骤S21)。这里，说明利用双色性反射模型对光源色矢量进行推测之例。 
在近年来的电脑研究中，不仅在进行考虑了形状这样的几何特征的图像处理的研究工作，而且还在进行考虑了光的物理法则的图像处理的研究工作。其中，拍摄图像之际对光源色矢量的推测是很重要的。这在例如数据档案等中表示各种各样的光源环境下的物体看上去的样子的变化之际很有效。 
这里，利用RGB彩色相机作摄像装置20，对利用荧光灯的闪烁推测光源色矢量的方法进行详细的说明。 
若假定是双色性反射模型，则物体的亮度就作为扩散反射成份与镜面反射成份之和表现出来。于是，图像上的像素p的色矢量Sp便作为扩散反射成份色矢量Sd p与镜面反射成份Ss p之和而用(式16)表现。 
(数学式16) 
S p = S p d + S p s (式16) 
但是，因为一般认为镜面反射是在入射光在物体表面的反射，所以可以认为镜面反射成份色矢量Ss p与光源色矢量SL相同或者是光源色矢量衰减后得到的。而且，由于扩散反射成份色矢量Sd p是由于内部反射所产生的色矢量，所以扩散反射成份色矢量Sd p依赖于物体固有的色矢量SPd p。于是，(式16)被改写为以下的式子。 
(数学式17) 
Figure S2006800202793D00232
(式17) 
这里，ms(θ，φ)、  md(θ)分别是镜面反射成份、扩散反射成份的加权值，而且，如图8所示的那样，θ，φ分别表示被照物的法线方向矢量N与光源方向单位矢量L所成的角度、被照物的法线方向矢量N与摄像方向单位矢量V所成的角度。 
这里，来看一看使用内装有图10所示那样的多根荧光灯的照 明的情况。如上所述，若利用这样的光源，则能够简单地拍摄光源状况不同的图像。 
而且，在是荧光灯的情况下，认为该光源色矢量全都一样。因此，被该照明所照射的像素p在时刻t的色矢量Sp(t)便用下式表示。 
(数学式18) 
S p ( t ) = S p 1 ( t ) + S p 2 ( t ) + S p 3 ( t )
Figure S2006800202793D00242
Figure S2006800202793D00243
(式18) 
这里，S1 p(t)、S2 p(t)、S3 p(t)表示各自的光源(荧光灯41、42、43)给像素p带来的在时刻t的色矢量、msi(θ，φ、t)表示第i个光源中镜面反射成份的混合率的加权值，mdi(θ，φ、t)表示第i个光源中扩散反射成份的混合率的加权值。如上所述，观测值成为时刻t的函数的理由是：因为光源的闪烁而使光源的亮度随时间t变化。不过，在该时间变动中，只有色矢量的数值变化。 
这里，若着眼于msi(θ，φ、t)与mdi(θ，φ、t)是标量，则可知：用(式18)表示的色矢量Sp(t)一定存在于由光源色矢量SL与物体固有色矢量SPd p组成的平面上。 
另一方面，在图像上的另一个点p’观测到的色矢量Sp(t)也同样，一定存在于由光源色矢量SL与物体固有色矢量SPd p’组成的平面上。 
图17是用以显示该关系的图。在图17中，因为使用RGB彩色照相机作摄像装置20，所以利用各点的RGB值作色矢量。在图17中，G1、G2分别表示点p、点p’的亮度随时间变化时色矢量在RGB空间上的集合的平面。这里，若考虑该两个平面G1、G2相交的直线V1，则它相当于两个平面G1、G2通用的光源色矢量SL。 
这样，便能够利用重复闪烁的光源推测光源色矢量。下面，示出了具体的处理之例。 
图18是显示对光源色矢量进行推测的处理流程之一例的流程图。在图18中，步骤S12A对应于图16中的步骤S12，步骤S211-S216对应于图16中的步骤S21。
首先，利用摄像装置20拍摄多张光源状况不同的图像(光源变动图像)(步骤S11)。所拍摄的多张图像施给该图像处理装置30。 
图像处理装置30，首先通过检测每一个像素的RGB值的变动来检测亮度随时间的变化(步骤S12A)。接下来，选择图像上的某一个像素(步骤S211)，在RGB空间标绘在对应于该像素的所有摄像时刻的RGB值(步骤S212)。对这样标绘的取样点集合进行主要成份分析，抽出第一及第二主要成份(步骤S213)。从(式18)可知：在不存在噪音的情况下，这样求得的两个主要成份所形成的平面与由光源色矢量SL与物体固有色矢量SPd p组成的平面相等。这里，在例如两个以上的像素的主要成份分析处理尚未结束时(步骤S214中的否)，选择图像上别的像素(步骤S215)，对已选择的像素进行主要成份分析。另一方面，对两个以上的像素的主要成份分析处理结束时(步骤S214中的是)，对每一个像素求出两个主要成份所构成的空间的交线，将它推测为光源色矢量(光源的RGB值)(步骤S216)。
补充说明一下，这里，说明的是利用RGB彩色相机作摄像装置20的情况，当然，摄像装置20并不限于此，使用利用级别更高的分光亮度计等也无妨。 
如上所述，根据该实施例，利用荧光灯那样的位置已固定、亮度随时间变化的多个光源、且光源色矢量相等的光源，在例如相对于光源的亮度变化周期而言非常短的曝光时间下拍摄多张图像，并检测亮度变化，便能够在不需要复杂设备的情况下，很容易地推测光源色矢量。 
(第三个实施例)) 
图19是显示用以实现本发明的第三个实施例所涉及的图像处理方法的构成的图。在图19中，用与图1相同的符号表示与图1通用的构成要素，这里对详细说明省略不提。与图1的构成不同的地方在于：设置有根据由图像处理装置30决定的摄像条件来控制摄像装置20的摄像条件的摄像控制装置40。 
图20是显示该实施例所涉及的图像处理方法中的处理步骤的流程图。在该实施例中，在实际进行摄像(步骤S35)之前，检测光源信息，利用该光源信息，设定最佳的摄像条件(步骤S31～S34)。步骤S35对应于摄像步骤，步骤S36～S38对应于图像处理步骤。这里，以对移动物体进行检测作为图像处理之例进行说明。 
首先，在比光源11的亮度变化周期为短的曝光时间下，用摄像装置20拍摄多张图像(步骤S31)。图像处理装置30，从已拍摄的图像中检测摄像环境内的光源信息(步骤S32)。具体而言，例如检测亮度随时间变化的光源11的亮度变化周期。这里，以利用荧光灯作光源11的情况为例进行说明。 
通常的荧光灯的亮度在交流频率的2倍的周期下产生变动。于是，所观测的亮度会象图4的亮度值A4那样随时间变化。这里，通过对已得到的亮度值进行正弦函数等适配处理(a process offitting)，便能够求出光源的亮度变化频率。利用Levenberg-Marquardt法等的最佳化法便能够实现这样的适配处理。 
当然，用相机对光源本身进行摄像，从该亮度变化中检测光源信息亦可。另外利用通信手段将光源信息通知给图像处理装置30亦可。若利用上述的可见光通信，这样的处理效果很好。换句话说，在利用LED光源的情况下，只要光源的亮度随着时间周期地调制，进行光源信息的通信即可。 
在步骤S33，为了能够拍摄多张光源状况不同的图像，设定摄像装置20的摄像条件，例如曝光时间、摄像时刻以及摄像周期等。 
这里，利用附图对曝光时间、摄像时刻、所观测的亮度值的关系进行说明。如在第一个实施例中所说明的那样，若在荧光灯照明下，在相对于光源的亮度变化而言十分短的曝光时间下重复摄像(图3)，则亮度值便会象图4那样随时间变化。 
另一方面，如图21所示，在与光源的亮度变化C1同步的摄像时刻C2(曝光时间C3)进行摄像的情况下，观测到有图22所示 的亮度值C4。从图21和图22可知，在与光源的亮度变化C1同步的摄像时刻C2进行摄像的情况下，所观测的亮度值C4不随时间变化。 
如图23所示，在相对光源的亮度变化C1来说十分长的曝光时间C5(摄像时刻C6)进行摄像的情况下，观测到有图24那样的亮度值C7。从图23和图24可知，在相对光源的亮度变化C1来说曝光时间C5十分长的情况下，观测到的亮度值C7几乎不变化。 
由上述可知，亮度是否随时间变化是通过设定曝光时间、摄像时刻来决定。 
这里，在步骤S33，设定出与在步骤S32所检测到的光源的亮度变化周期不同的摄像周期以及相对光源的亮度变化周期来说十分短的曝光时间。也就是说，进行设定使得摄像周期Ts相对光源的亮度变化周期T1满足以下的关系式。 
(数学式19) 
Ts ≠ Tl a (式19) 
不过，a是任意的正整数。只要按照下述方法进行设定即可。 
(数学式20) 
Ts = b Tl a (式20)不过，a≠c·b 
a、b是任意的正整数，c是所有的正整数。 
在步骤S33，利用光源的亮度、被照物与光源的距离、光源与摄像装置的距离等决定曝光时间、摄像时刻等摄像条件也无妨。关于这一点说明考虑亮度变化的幅度的情况。 
在拍摄亮度随时间变化的图像的情况下，为使该亮度变化的幅度最佳，选择摄像条件是很重要的。 
图25及图26是一曲线图，示出了在荧光灯照明下被照物的某一点的亮度变化情况之例。这里，图25显示的是光源的亮度变化D1的幅度很大的情况，图26显示的是光源的亮度变化D5的幅度 很小的情况。在两个图中，纵轴的亮度值E1、E2以及横轴的时间td1～td11(摄像时刻D2)分别表示相同的亮度值与相同的时刻。D3是曝光时间，黑点D4、D6是已观测到的亮度值。 
对图25与图26进行对比后可知，两种情况都是这样的，尽管在相同的摄像时刻D2进行了摄像，但因为光源的亮度变化D1、D5的幅度不同，所以观测到的亮度值D4、D6却有很大的不同。在图25的情况下，因为亮度变化D1的幅度非常宽，所以能够拍摄亮度值已变化非常大的多张图像。另一方面，在图26的情况下，因为亮度变化D5的幅度很小，所以多张图像中的亮度差不那么大。在该情况下，能够说使摄像间隔成为两倍，仅在例如时间td1、td3、td5、td7、td9、td11摄像也足够了。 
通常情况下，因为离光源越远，光量就越少，所以被照物的亮度变化幅度依赖于光源与被照物之间的距离。因此，可以这样做：在被照物离光源十分近的情况下，判断出光量充足，便将摄像间隔缩短；在被照物离光源十分远的情况下，判断出光量少，便将摄像间隔加长。 
当然这样设定的摄像条件并不限于摄像间隔。例如，曝光时间也能够进行同样的设定。在光量少的情况下，图像被暗电流等噪音掩埋掉，SN比恶化。但是，已知若能够延长曝光时间，则SN比会得到改善。于是，可以这样做：在被照物离光源十分近的情况下，判断出光量充足，便将曝光时间缩短；在被照物离光源十分远的情况下，判断出光量少，便将曝光时间加长。 
如图27所示，将摄像间隔(摄像时刻D8)设定得比光源的闪烁间隔长也没有关系。这里，如上所述，因为将摄像周期Ts设定为不成为光源的亮度变化周期T1的整数分之1，所以能够在相位相对光源的闪烁而变化的状态下进行摄像。这样一来，观测到的亮度值D9就有很大的变化，从而能够拍摄多张光源状况不同的图像。 
摄像控制装置40，根据在步骤S33所决定的摄像条件，设定摄像装置20的摄像条件(步骤S34)。摄像装置20根据所设定的摄 像条件按时间系列进行多次的摄像(步骤S35)。如上所述，因为根据光源的亮度变化周期来设定曝光时间、摄像时刻，所以所拍摄的多张图像成为光源状况不同的图像。 
与在步骤S31进行的摄像不同，在步骤S35所进行的摄像所设定的摄像条件是最佳的。如在第一个实施例中所叙述的那样，通常情况下，为了拍摄多张光源状况不同的图像，只要将摄像装置20的曝光时间设定得比光源的亮度变化十分短即可。但是，若使曝光时间过短，则图像的暗电流等的影响会增大，所拍摄的图像的SN比会恶化。因为希望用来进行图像处理的图像的SN比高，所以象该实施例那样使摄像条件最佳化的效果就很大。 
如上所述，在步骤S36，图像处理装置30从在步骤S35拍摄的多张图像中检测亮度的时间变化情况。之后，作为图像处理利用背景抽出算法对移动物体进行检测。换句话说，从亮度的时间变化情况推测后述的混合率，并合成背景图像(步骤S37)。对该背景图像与在步骤S35所拍摄的图像进行比较，检测移动物体(步骤S38)。 
这里，对背景图像的合成进行说明。在非专利文献1中，将所拍摄的图像的亮度分离为随时间不产生变动的光源的成份、亮度急剧变化的光源的成份，并推测该混合率，来制作对应于处理时的光源状况的背景图像。这样一来，在不受影子、光源的亮度变化的影响的情况下，便能进行对移动物体的检测。具体而言，一般认为：在屋外环境下所观测的物体的颜色由不随时间而变动的全天空光成份L1、与被云彩遮盖亮度急剧变化的直射太阳光成份L2构成。通过象(式21)那样推测该混合率来进行正确的背景图像的合成。 
(数学式21) 
R = R 1 + k R 2 G = G 1 + k G 2 B = B 1 + k B 2 (式21) 
这里，R、G、B代表被摄像的图像的R、G、B成份图像，R1、G1、B1代表成份L1中的R、G、B成份图像，R2、G2、B2代表成 份L2中的R、G、B成份图像。k表示各自的成份图像的混合率。 
在该手法中，假定的是不随时间而变动的光源为全天空光成份L1、亮度急剧变化的光源为直射太阳光成份L2，这并不限于屋外环境。例如，在家庭内用荧光灯作照明，可以将该荧光灯照明认为是亮度变化的光源成份L2。在该情况下，为了求出(式21)的成份L2中的成份图像R2、G2、B2，必须拍摄该荧光灯的亮度变化了的多张图像。为提高正确度与可靠性，通常，利用多个数据采用最小自乘法(the least squares method)、最优推测法(the maximumlikelihood estimate method)等进行这样的参数推测。最好是，此时所使用的数据的取样不偏离，变化幅度充分宽且没有偏离。 
在该实施例中，利用荧光灯那样的亮度随时间变化的光源以后，亮度随时间变化，而且能够拍摄产生了充分的亮度变化的光源变动图像。再就是，因为利用产生了充分的亮度变化的光源变动图像以后，能得到变化幅度十分宽且没有偏离的取样点，所以能够做成正确且可靠性高的背景图像。因此，能够使对移动物体的检测处理的精度、可靠度提高。 
图28是显示在该实施例中所求得的图像处理果之一例的图。该图中，图28(a)是显示在图6的构成中拍摄下被照物OB之后的输入图像(步骤S31)，图28(b)是已检测的光源信息(步骤S32)的示意图，是图28(a)的输入图像中的像素m、n的亮度随时间变化。通过对该亮度随时间的变化进行FFT(Fast FourierTransform)等频率解析来求出光源的闪烁频率。从这样求出的光源的闪烁频率决定最佳的摄像条件(步骤S33)，再设定到摄像装置20(步骤S34)以后，再次对被照物OB进行摄像(步骤S35)。结果，得到图28(c)所示的输入图像。 
如图28(d)所示，假定移动物体OB1照在最新的拍摄图像中。这里，如图28(d)所示，假定移动物体OB1映射在最新的拍摄图像中。另一方面，通过推测混合率来合成图28(e)那样的与现在的光源环境相适应的背景图像(步骤S36、S37)。之后，通过对图28(d)的图像与图28(e)的合成背景图像进行差分处理，便能够 如图28(e)所示检测出移动物体OB1。 
如上所述，根据该实施例，在一般生活环境中，也能够利用在亮度随时间变化的多个光源，使用在对该亮度变化周期而言最佳的摄像条件下所拍摄的图像，推测混合率，进行背景差分处理，从而检测出不受影子、光源的亮度变化影响的移动物体。 
在步骤S32中检测出的光源信息，并不限于光源的亮度变化周期，还可以是例如亮度变化幅度、光源的位置信息等。 
图29是显示该实施例所涉及的图像处理方法中的其它处理步骤之例的流程图。这里，假定图像处理是用以进行线性化处理的图像的区域分割。在图29中，对与图20的流程图通用的步骤采用同一个符号来表示，详细说明省略不提。与图20的不同之处在于：在步骤S36中检测亮度随时间的变化后，再执行进行区域分割的步骤S39这一点上。步骤S36、S39对应于图像处理步骤。 
假定在图像的线性化处理中光源是平行光源。平行光源是放置在无限远的点光源。例如太阳光等被认为是平行光源。另一方面，家庭内的荧光灯等因为光放射到很广的方向上，所以被认为是接近点光源的集合。已知有一种分割图像的方法用以在这样的接近点光源环境中进行图像的线性化处理(参考例如「佐藤智，高田和豊，登一生，“近接照明下にお时る画像の線形化の検討(近接照明下图像的线性化研究)”，情報処理学会研究報告2004-CVIM-145，pp.151-156，2004」)。 
在该手法中，将图像分割为处理区域，对每一个处理区域进行图像的线性化。之后，利用区域间线性化系数组具有很强的相关关系这一事实，在难以线性化的区域也能够进行线性化处理。而且，通过边改变区域分割方法边合成基底图像，便能够在接近照明下进行图像的线性化。 
在该情况下，问题是如何进行图像的分割等，根据「岡部孝弘，佐藤洋一，“近接光源下における物体の見えの近似のための画像分割とその効果(为得到近接光源下物体的被看到的样子的近似进行的图像分割及其效果)”，電子情報通信学会技術報告，PRMU2004- 148，pp.85-90，2004」，在这样的图像分割中表明：越接近光源，使该区域的大小越小即可。换句话说，通过求光源与画面上的各点的距离，便能够进行更好的区域分割。在该实施例中，在步骤S39能够进行这样最佳的区域分割。 
已知：通常情况下是离光源越远照射被照物的光量就越少。利用图30及图31对与光源的距离不同的被照物的两点的亮度变化进行说明。如图30(a)所示，假定设置有摄像装置20、光源11以及被照物OB，且光源11的亮度随时间变化。图30(b)示出的是此时拍摄的图像。在图30(b)中，光源11从右手前方照射。因此，与被照物左侧的像素D相比，被照物右侧的像素C与光源11的距离近。图31(a)示出了像素C与像素D的亮度变化Lc、Ld。从图31(a)可知，像素C与像素D的亮度变化幅度有很大差别。也就是说，亮度变化依赖于光源和被照物之间的距离，该距离越近变化幅度就越大；该距离越远变化幅度就越小。 
因此，在步骤S32检测光源的亮度变化周期之际，对每一个像素检测亮度变化的幅度。对变化幅度大的区域进行很密的区域分割，对变化幅度小的区域进行很疏的区域分割，这样便能够进行更好的区域分割。图31(b)示出了对图30(b)的图像进行区域分割后所得到的结果。通过进行这样的区域分割便能够更正确地进行图像的线性化处理。 
补充说明一下，在步骤S32中检测的光源信息并不限于与光源的亮度变化有关的信息。例如，检测随时间变化的光源的色矢量也无妨。例如在RGB彩色照相机中，图像信号通过棱镜、彩色滤波器等被分解为RGB信号等后，由光电转换元件作为电气信号检测出来。因此，检测出的亮度值便成为棱镜、彩色滤波器的特性与照相机的入射光的色矢量之积。也就是说，因为在入射光的色矢量随时间变化的情况下，被照物的亮度值也随着时间变化，故结果是能够拍摄光源的亮度值随时间变化的图像。 
(第四个实施例) 
图32是显示本发明的第四个实施例所涉及的图像处理方法中 的处理步骤的流程图。在图32中，用同一个符号来表示与图2所示的第一个实施例的图像处理方法通用的步骤，详细说明省略不提。该实施例所涉及的构成与图1所示的第一个实施例的构成相同，说明省略不提。 
在该实施例中，在步骤S41，由图像处理装置30利用在步骤S12中所检测的各个对应点的亮度值的时间变化来判断在步骤S11中所拍摄的多张图像的光源状况是否相互不同。然后，将多张图像中光源状况不同的图像作为光源变动图像保存起来(步骤S42)，将除此以外的图像废除(步骤S43)。再利用所保存的光源变动图像进行图像处理(未示)。步骤S11对应于摄像步骤，步骤S12对应于亮度变化检测步骤，步骤S41～S43对应于图像判断步骤。 
图33是显示在利用亮度随时间变化的光源的情况下的亮度值的变化的图。在图33中，E1是被照物的某一点的亮度变化，E2、E3分别是摄像装置20的摄像时刻及曝光时间。E4是所观测的亮度值。从图33可知，通过随机地进行拍摄便能够拍摄亮度不同的图像。然而，象时间te’6、te’7那样，在同一个相位下对光源的闪烁进行了拍摄，也能够拍摄亮度值E4大致相等的图像。 
这里，在步骤S41，从所拍摄的多张图像中检测出这样的相对光源的闪烁在同一个相位下拍摄的图像并将这些图像排出掉。这能够通过观测在步骤S12所检测到的图像上的一点或者多点的亮度变化来执行。这里，对从图像内选择m点的像素，利用该亮度值检测图像变化的方法进行说明。 
象下述这样将第k张图像的m点的亮度值考虑为矢量。 
(数学式22) 
ik′＝[ik(p1)ik(p2)…ik(pm)]T  (式22) 
这里，ik(p)显示第k张图像的像素p的亮度值。这里，利用以下的评价函数Ev(i′k)对在步骤S12检测的第k张图像进行评价。 
(数学式23) 
Ev ( i k &prime; ) = min l < k ( i l &prime; - i k &prime; ) 2 (式23) 
在评价函数Ev(i′k)的值十分大的情况下(步骤S41中是)，便做出产生亮度变化的判断，将第k张图像作为光源变动图像保存好。另一方面，在评价函数Ev(i′k)的值不十分大的情况下(步骤S41中否)，便做出没产生亮度变化的判断，将第k张图像废除。 
如上所述，通过设定摄像条件便能够拍摄亮度随时间变化的图像。但象图33的时间te’6、te’7那样，相对光源的闪烁在同一个相位下进行拍摄，也能够拍摄光源状况相同的图像。与此相对，在该实施例中，能够将光源状况与已经拍摄的图像相同的图像废除。 
只要对这样求得的光源变动图像进行在所述各个实施例中所说明的图像的线性化、光源色矢量推测以及背景抽出算法等处理即可。 
如上所述，根据该实施例，通过利用亮度随时间变化的光源对已经拍摄的图像的光源状况的异同进行检测，则即使不考虑摄像间隔、摄像时刻，也能够取得光源变动图像。因此，在一般生活环境中，也能够得到不受影子、光源的亮度变化影响的图像处理。 
(第五个实施例) 
图34是显示用以实现本发明的第五个实施例所涉及的图像处理方法的构成的图。在图34中，用与图1相同的符号表示与图1通用的构成要素，这里省略详细说明。与图1的构成的不同之处在于：设置有控制亮度随时间变化的多个光源11的光源控制装置50。 
图35是显示该实施例所涉及的图像处理方法中的处理步骤的流程图。在图35中，用同一个符号表示与第四个实施例中的图32的流程图通用的步骤，详细说明省略不提。 
在该实施例中，除了具有第四个实施例的各个步骤以外，还具有控制光源11的亮度随时间变动的步骤S51。在步骤S51中，通过控制光源11来生成光源11的亮度、位置已变化的环境。 
到目前为止，在例如图36那样的摄像***中，摄像装置202与光源204的亮度变化同步地进行摄像，这样拍摄了光源的位置、亮度变化了的光源变动图像。相对于此，在该实施例中，利用亮度随时间变化的光源11，摄像装置20不与光源11的变化同步，而是随机地摄像。 
如上所述，通过设定摄像条件便能够拍摄亮度随时间变化的图像。但象图33的时间te’6、te’7那样，相对光源的闪烁在同一个相位下进行拍摄，也能够拍摄光源状况相同的图像。与此相对，在该实施例中，能够将光源状况与已经拍摄的图像相同的图像废除。 
只要对这样求得的光源变动图像进行在所述各个实施例中所说明的图像的线性化、光源色矢量推测以及背景抽出算法等处理即可。 
如上所述，根据该实施例，通过利用亮度随时间变化的光源对已经拍摄的图像的光源状况的异同进行检测，则即使不考虑摄像间隔、摄像时刻，也能够取得光源变动图像。因此，在一般生活环境中，也能够得到不受影子、光源的亮度变化影响的图像处理。 
补充说明一下，通过让电脑执行程序便能够执行所述各个实施例所涉及的图像处理。 
在本发明中，不需要同步处理等复杂的控制，而且，不需要大规模的设备，就能够很容易地取得所谓的光源变动图像。因此，对为数字档案等取得信息、家庭内等环境复杂的一般生活环境中的模型化等很有效。而且，对拍摄很大的被照物的光源变动图像的情况也很有效。 
在本发明中，能够不受一般生活环境中成为问题的、由于多个光源所造成的影子、光源的亮度变化的影响，便能够进行图像处理。因此，在一般生活环境中作为机器人、汽车等图像处理装置、辨别装置等很有用。 

Claims (8)

1.一种图像处理方法，其特征在于：
包括以下步骤：
摄像步骤，在亮度随时间变化的多个光源下，在能够拍摄多张光源状况不同的图像的摄像条件下由摄像装置对同一个被照物进行多次摄像；以及
图像处理步骤，利用在所述摄像步骤中拍摄的多张图像进行图像处理，
所述图像处理步骤包括以下步骤：
从所述多张图像检测亮度随时间的变化情况的步骤；
对已检测的亮度随时间的变化进行FFT频率解析，将在该FFT频率解析中所检测出的频谱个数少的区域，作为所述多张图像中的影子区域而推测的步骤；
从所述多张图像利用RANSAC方法，生成能够以下式(1)那样利用线性结合表示任意方向的图像的、3张仅有扩散反射成分的图像即基底图像，通过将这3张基底图像适用于Shashua的方法而生成对应于摄像图像的光源状况的线性化图像的步骤，
I k = c k 1 I 1 + c k 2 I 2 + c k 3 I 3 - - - ( 1 )
其中，Ik是任意方向的图像，I1、I2、I3是3张仅有扩散反射成分的图像，ck 1、ck 2、ck 3是线性化系数；以及
使用摄像图像中的各像素的亮度值ik(p)、所述线性化图像的各像素的亮度值ik(p) L、以及所推测的所述影子区域的信息，利用式子
Figure FSB00000748197600012
进行所述摄像图像的区域分割的步骤，其中T是阈值，Shdw是影子区域。
2.根据权利要求1所述的图像处理方法，其特征在于：
所述光源是一个亮度周期性地变化的光源；
设定1ms或2ms的曝光时间作为所述摄像条件。
3.一种图像处理方法，其特征在于：
包括以下步骤：
摄像步骤，在亮度周期地变化的光源下，在能够拍摄多张光源状况不同的图像的摄像条件下，利用摄像装置对同一个被照物进行多次摄像，以及
图像处理步骤，利用在所述摄像步骤中拍摄的多张图像进行图像处理；
所述图像处理步骤包括：
在所述多张图像中通过对每个像素检测RGB值的变动而对亮度随时间的变化进行检测的步骤；
在检测出所述亮度随时间的变化后，针对所述多张图像中选择的像素，在RGB空间中标绘各摄像时刻的RGB值，对所标绘的取样点集合进行主成分分析，并提取第一和第二主成分的步骤；以及
在针对2个以上的像素结束了主成分分析时，针对进行主成分分析后的2个以上的像素，求取第1和第2主成分所延伸的空间的交线，并将该交线作为所述光源的色矢量而推测的步骤。
4.根据权利要求1或者3所述的图像处理方法，其特征在于：
所述光源，是荧光灯、或者是发光二极管、或者是显示器。
5.根据权利要求1或者3所述的图像处理方法，其特征在于：
所述摄像条件，是曝光时间、摄像时刻以及摄像周期中之至少一个。
6.根据权利要求1或者3所述的图像处理方法，其特征在于：
包括以下步骤：
取得所述光源的光源信息的步骤，以及
以已取得的光源信息为基础来决定所述摄像条件的步骤。
7.根据权利要求6所述的图像处理方法，其特征在于：
所述光源信息，是所述光源的亮度变化周期、亮度变化幅度以及位置信息中之至少一个。
8.一种图像处理***，其特征在于：
包括以下装置：
摄像装置，在亮度周期地变化的光源下，在能够拍摄多张光源状况不同的图像的摄像条件下对同一个被照物进行多次摄像，以及
图像处理装置，使用由所述摄像装置拍摄的多张图像进行图像处理；
所述图像处理装置，具有用于进行基于光学特性的区域分割的第一模块以及用于对所述光源的色矢量进行推测的第二模块，
所述第一模块具有：
从所述多张图像检测亮度随时间的变化情况的模块，
对已检测的亮度随时间的变化进行FFT频率解析，将在该FFT频率解析中所检测出的频谱个数少的区域，作为所述多张图像中的影子区域而推测的模块；
从所述多张图像利用RANSAC方法，生成能够以下式(1)那样利用线性结合表示任意方向的图像的、3张仅有扩散反射成分的图像即基底图像，通过将这3张基底图像适用于Shashua的方法而生成对应于被摄像图像的光源状况的线性化图像的模块，
I k = c k 1 I 1 + c k 2 I 2 + c k 3 I 3 - - - ( 1 )
其中，Ik是任意方向的图像，I1、I2、I3是3张仅有扩散反射成分的图像，ck 1、ck 2、ck 3是线性化系数；
使用摄像图像中的各像素的亮度值ik(p)、所述线性化图像的各像素的亮度值ik(p) L、以及所推测的所述影子区域的信息，利用式子
Figure FSB00000748197600032
进行所述摄像图像的区域分割的模块，其中T是阈值，Shdw是影子区域，
所述第二模块，具有：
在所述多张图像中通过对每个像素检测RGB值的变动而对亮度随时间的变化进行检测的模块；
在检测出所述亮度随时间的变化后，针对所述多张图像中选择的像素，在RGB空间中标绘各摄像时刻的RGB值，对所标绘的取样点集合进行主成分分析，并提取第一和第二主成分的模块；以及
在针对2个以上的像素结束了主成分分析时，针对进行主成分分析后的2个以上的像素，求取第1和第2主成分所延伸的空间的交线，并将该交线作为所述光源的色矢量而推测的模块。
CN2006800202793A 2005-08-19 2006-07-12 图像处理方法和图像处理*** Active CN101326545B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP239097/2005 2005-08-19
JP2005239097 2005-08-19
PCT/JP2006/313885 WO2007020760A1 (ja) 2005-08-19 2006-07-12 画像処理方法、画像処理システムおよび画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2008101298597A Division CN101383908B (zh) 2005-08-19 2006-07-12 图像处理方法和图像处理***

Publications (2)

Publication Number Publication Date
CN101326545A CN101326545A (zh) 2008-12-17
CN101326545B true CN101326545B (zh) 2012-05-30

Family

ID=37757428

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2006800202793A Active CN101326545B (zh) 2005-08-19 2006-07-12 图像处理方法和图像处理***
CN2008101298597A Active CN101383908B (zh) 2005-08-19 2006-07-12 图像处理方法和图像处理***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2008101298597A Active CN101383908B (zh) 2005-08-19 2006-07-12 图像处理方法和图像处理***

Country Status (4)

Country Link
US (2) US7609892B2 (zh)
JP (2) JP4113570B2 (zh)
CN (2) CN101326545B (zh)
WO (1) WO2007020760A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101326545B (zh) * 2005-08-19 2012-05-30 松下电器产业株式会社 图像处理方法和图像处理***
US7953277B2 (en) 2006-09-05 2011-05-31 Williams Robert C Background separated images for print and on-line use
US7931380B2 (en) * 2006-09-05 2011-04-26 Williams Robert C Imaging apparatus for providing background separated images
US7855732B2 (en) * 2006-09-05 2010-12-21 Pc Connection, Inc. Hand producer for background separated images
JP4882626B2 (ja) * 2006-09-15 2012-02-22 富士ゼロックス株式会社 画像処理装置、画像形成装置及びプログラム
EP2259600B1 (en) * 2008-04-03 2014-08-20 NLT Technologies, Ltd. Image processing method, image processing device, and recording medium
JP5108093B2 (ja) * 2008-05-14 2012-12-26 パナソニック株式会社 撮像装置及び撮像方法
US9041508B2 (en) * 2008-08-08 2015-05-26 Snap-On Incorporated Image-based inventory control system and method
GB2465792A (en) * 2008-11-28 2010-06-02 Sony Corp Illumination Direction Estimation using Reference Object
JP5165611B2 (ja) * 2009-02-04 2013-03-21 国立大学法人埼玉大学 高速度カメラの画像処理装置、画像処理方法及び高速度カメラ装置
JP4696278B2 (ja) * 2009-09-14 2011-06-08 国立大学法人 東京大学 領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム
AT508707B1 (de) * 2009-11-05 2011-06-15 Strobotech Johannes Strobl E U Verfahren zur bestimmung von luftporenkennwerten sowie erfassungseinheit dazu
CN102884419B (zh) 2010-01-26 2016-08-10 戴比尔斯英国有限公司 宝石闪耀分析
TW201138443A (en) * 2010-04-27 2011-11-01 Anmo Electronics Corp Digital imaging apparatus and related object inspection system
US8873833B2 (en) * 2012-02-17 2014-10-28 Sony Corporation System and method for effectively performing a scene representation procedure
JP5726792B2 (ja) * 2012-03-12 2015-06-03 株式会社東芝 情報処理装置、画像センサ装置及びプログラム
JP6011984B2 (ja) * 2012-06-05 2016-10-25 パナソニックＩｐマネジメント株式会社 照明評価装置及び照明評価方法
US20140133753A1 (en) * 2012-11-09 2014-05-15 Ge Aviation Systems Llc Spectral scene simplification through background subtraction
TW201531960A (zh) * 2013-11-14 2015-08-16 Sicpa Holding Sa 用於驗證產品的圖像分析
JP6380972B2 (ja) * 2014-05-02 2018-08-29 オリンパス株式会社 画像処理装置および撮像装置
JP2016034094A (ja) * 2014-07-31 2016-03-10 ソニー株式会社 画像処理装置、画像処理方法、プログラム、およびイメージセンサ
CN104298240A (zh) * 2014-10-22 2015-01-21 湖南格兰博智能科技有限责任公司 导游机器人及其控制方法
CN105704402B (zh) * 2014-11-28 2019-01-11 深圳超多维科技有限公司 微透镜阵列的成像方法与成像装置
CN104573670B (zh) * 2015-01-27 2018-10-09 上海市刑事科学技术研究院 多功能曲面物证图像展平仪
JP6786225B2 (ja) * 2016-02-23 2020-11-18 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
US10188207B2 (en) 2016-03-23 2019-01-29 Communications Test Design, Inc. Apparatus and method for simultaneously testing a plurality of mobile devices
JP2018006818A (ja) * 2016-06-27 2018-01-11 キヤノン株式会社 画像読取方法及び画像読取装置
JP6869652B2 (ja) * 2016-07-01 2021-05-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6877936B2 (ja) * 2016-09-28 2021-05-26 キヤノン株式会社 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
JP6850613B2 (ja) * 2017-01-11 2021-03-31 コイト電工株式会社 明滅度測定装置、明滅度測定方法、明滅度測定プログラムおよび記憶媒体
US10038500B1 (en) * 2017-05-11 2018-07-31 Qualcomm Incorporated Visible light communication
CN107301393B (zh) * 2017-06-20 2018-03-23 安徽泓森物联网有限公司 自适应开关大数据管理平台
DE102017213761A1 (de) * 2017-08-08 2019-02-14 Osram Gmbh Oberflächenrekonstruktion eines beleuchteten objekts mittels fotometrischer stereoanalyse
KR20230117634A (ko) * 2017-08-14 2023-08-08 가부시키가이샤 코쿠사이 엘렉트릭 기판 처리 장치, 플라스마 생성 장치, 기판 처리 방법,반도체 장치의 제조 방법 및 프로그램
US11338851B2 (en) * 2017-09-07 2022-05-24 Ford Global Technologies, Llc Hitch assist system featuring trailer location identification
JP7106259B2 (ja) * 2017-10-06 2022-07-26 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
JP6944350B2 (ja) * 2017-11-13 2021-10-06 アルパイン株式会社 撮影画像表示システム、電子ミラーシステム及び撮影画像表示方法
JP2019121069A (ja) * 2017-12-28 2019-07-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10630905B2 (en) * 2018-08-29 2020-04-21 Adobe Inc. Real time shadow and glare analysis for document capture
US10997453B2 (en) * 2019-01-29 2021-05-04 Adobe Inc. Image shadow detection using multiple images
JP7007324B2 (ja) * 2019-04-25 2022-01-24 ファナック株式会社 画像処理装置、画像処理方法、及びロボットシステム
WO2021117099A1 (ja) * 2019-12-09 2021-06-17 株式会社アルステクネ 画像処理方法、プログラム、及び画像処理装置
CN113391439A (zh) * 2020-03-12 2021-09-14 平湖莱顿光学仪器制造有限公司 一种颜色相关的显微镜成像***及其控制方法
CN112751610A (zh) * 2020-12-29 2021-05-04 武汉光迅科技股份有限公司 一种测量smzm调制臂相移函数的方法与***
US20240114250A1 (en) * 2022-09-30 2024-04-04 Rovi Guides, Inc. Systems and methods for shadow detection and reduction in document capture

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4873651A (en) * 1987-04-21 1989-10-10 Case Western Reserve University Method and apparatus for reconstructing three-dimensional surfaces from two-dimensional images
JPH02135986A (ja) 1988-11-17 1990-05-24 Nec Corp 撮像素子駆動回路
JPH10162146A (ja) * 1996-11-29 1998-06-19 Oki Electric Ind Co Ltd 個人識別装置
JPH11265440A (ja) * 1998-01-14 1999-09-28 Hitachi Ltd 任意光源位置の画像合成方法および表示装置
JP2002117413A (ja) * 2000-10-10 2002-04-19 Univ Tokyo 光源環境変化をリアルタイムに反映する画像生成装置および画像生成方法
JP2002197466A (ja) * 2000-12-27 2002-07-12 Nec Corp 被写体領域抽出装置、被写体領域抽出方法、及び被写体領域抽出プログラムを記録した記録媒体
JP4131097B2 (ja) 2000-12-27 2008-08-13 カシオ計算機株式会社 画像処理方法、画像処理装置、及び、画像処理プログラム
JP2004021373A (ja) * 2002-06-13 2004-01-22 Matsushita Electric Ind Co Ltd 物体及び光源情報推定方法並びに物体及び光源情報推定装置
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
CN101326545B (zh) * 2005-08-19 2012-05-30 松下电器产业株式会社 图像处理方法和图像处理***

Also Published As

Publication number Publication date
US7961940B2 (en) 2011-06-14
CN101383908A (zh) 2009-03-11
JP2008135073A (ja) 2008-06-12
JP4113570B2 (ja) 2008-07-09
US20100027879A1 (en) 2010-02-04
JP4154447B2 (ja) 2008-09-24
CN101326545A (zh) 2008-12-17
US7609892B2 (en) 2009-10-27
US20090028424A1 (en) 2009-01-29
CN101383908B (zh) 2012-02-08
WO2007020760A1 (ja) 2007-02-22
JPWO2007020760A1 (ja) 2009-02-19

Similar Documents

Publication Publication Date Title
CN101326545B (zh) 图像处理方法和图像处理***
Sayles et al. Invisible perturbations: Physical adversarial examples exploiting the rolling shutter effect
JP4783795B2 (ja) 照明および反射境界の区別
Martull et al. Realistic CG stereo image dataset with ground truth disparity maps
Narasimhan et al. Chromatic framework for vision in bad weather
US8547421B2 (en) System for adaptive displays
CN110148204B (zh) 用于在真实环境的视图中表示虚拟对象的方法和***
US20180012411A1 (en) Augmented Reality Methods and Devices
CA2973956C (en) Apparatus and method for performing motion capture using shutter synchronization
CN103609102A (zh) 高分辨率多光谱图像捕捉
Tancik et al. Flash photography for data-driven hidden scene recovery
EP2933781A2 (en) Method and system for representing a virtual object in a view of a real environment
Pauly et al. Lessons from a space lab: an image acquisition perspective
Murray Human lightness perception is guided by simple assumptions about reflectance and lighting
Anwar et al. Fog classification and accuracy measurement using SVM
Mentens et al. Daylight glare probability prediction for an office room
JP2010271152A (ja) 形状推定システム、撮影装置、形状推定方法、プログラム及び記録媒体
Han et al. Why Don't You Clean Your Glasses? Perception Attacks with Dynamic Optical Perturbations
Rodriguez A methodology to develop computer vision systems in civil engineering: Applications in material testing and fish tracking
Sorokin et al. Recovery of optical parameters of a scene using fully-convolutional neural networks.
Madhan Somesh et al. Real-Time Haze Removal Using Filter Function
Sandhan Constrained Optimization for Translucent Hindrance Removal from a Single Image
Sharma Counting moving people by staring at a blank wall
Liu et al. Image Dehazing: Improved Techniques
Sorokin et al. Restoration of lighting sources for virtual reality systems using convolutional neural networks, computer vision algorithms, and disparity maps

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant