JP2002232907A - Digital image pickup device, program and recording medium - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a digital camera that can properly obtain lighting component data denoting the effect of a lighting environment applied to an object onto an image. SOLUTION: The digital camera is provided with a difference image generating section 201, an object pixel decision section 202, and a lighting component data generating section 204. The difference image generating section 201 obtains difference image data 233 between 1st image data 231 acquired with flash ON and 2nd image data acquired with flash OFF and the object pixel decision section 202 identifies a pixel that is an arithmetic object when lighting component data 236 are obtained from the 1st image data 231, the 2nd image data 232, and the difference image data 233. Then the lighting component data generating section 204 obtains the lighting component data with respect to each pixel that are an arithmetic object and obtains the average value of the data as the lighting component data 236 of the entire image.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、画像から被写体へ
の照明光を推定する技術に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for estimating illumination light on an object from an image.

【０００２】[0002]

【従来の技術】従来より、画像に基づいて被写体への照
明光を推定する技術が提案されている。例えば、富永昌
治、「色恒常性を実現するカメラ系とアルゴリズム」、
信学技報 PRU95-11(1995-05)（７７〜８４頁）には、多
数のフィルタを介して取得された画像から被写体への照
明光の分光分布および被写体の分光反射率を推定する技
術が開示されている。このような技術を利用することに
より、被写体を他の照明光にて照明した際に取得される
であろう画像を演算処理により求めることが可能とな
る。2. Description of the Related Art Conventionally, there has been proposed a technique for estimating illumination light on a subject based on an image. For example, Shoji Tominaga, "Camera system and algorithm to achieve color constancy",
IEICE Technical Report PRU95-11 (1995-05) (pages 77-84) describes a technique for estimating the spectral distribution of illumination light to a subject and the spectral reflectance of the subject from images acquired through a number of filters. Is disclosed. By using such a technique, it is possible to obtain an image that would be obtained when the subject is illuminated with other illumination light by arithmetic processing.

【０００３】[0003]

【発明が解決しようとする課題】ところが、被写体への
照明光の分光分布や被写体の分光反射率を求める際に使
用される画像には露出の影響による不適切な値の画素や
ノイズが多数含まれており、画像全体に対して演算を行
った場合、ノイズ等の影響を受けた精度の低い照明光の
分光分布が求められてしまう。また、照明光の分光分布
を１つだけ求める手法は、照明の光源が複数存在する場
合には想定外の演算結果を導き出すこととなる。However, an image used for obtaining the spectral distribution of illumination light to a subject and the spectral reflectance of the subject contains many pixels and noises of inappropriate values due to the influence of exposure. Therefore, when the calculation is performed on the entire image, a low-accuracy spectral distribution of the illumination light affected by noise or the like is required. Further, the method of obtaining only one spectral distribution of the illumination light leads to an unexpected calculation result when there are a plurality of illumination light sources.

【０００４】本発明は上記課題に鑑みなされたものであ
り、被写体への照明光の分光分布（より一般的に表現す
るならば被写体への照明環境が画像に与える影響を示す
データ）を画像から適切に求めることを主たる目的とし
ている。SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problem, and it is intended to convert the spectral distribution of illumination light to a subject (in a more general expression, data indicating the effect of the illumination environment on the subject on the image) from the image. The main purpose is to seek properly.

【０００５】[0005]

【課題を解決するための手段】請求項１に記載の発明
は、デジタル撮像装置であって、同一の被写体を示す複
数の画像のデータを取得する撮像手段と、演算対象とな
る画素の位置を特定する手段と、前記複数の画像中の前
記演算対象となる画素の値に基づいて照明環境が画像に
与える影響を示す照明成分データを求める手段とを備え
る。According to a first aspect of the present invention, there is provided a digital imaging apparatus, comprising: an imaging unit for acquiring data of a plurality of images representing the same subject; and a position of a pixel to be calculated. Means for specifying, and means for obtaining illumination component data indicating an influence of an illumination environment on an image based on a value of a pixel to be calculated in the plurality of images.

【０００６】請求項２に記載の発明は、請求項１に記載
のデジタル撮像装置であって、前記照明成分データを用
いて照明環境の影響が取り除かれた画像のデータに相当
する物体色成分データを求める手段をさらに備える。According to a second aspect of the present invention, there is provided the digital imaging apparatus according to the first aspect, wherein the object color component data corresponding to the data of the image from which the influence of the illumination environment has been removed using the illumination component data. Is further provided.

【０００７】請求項３に記載の発明は、請求項１または
２に記載のデジタル撮像装置であって、前記被写体への
照明環境を変更する照明変更手段をさらに備え、前記撮
像手段が、前記照明変更手段による照明環境の変更前お
よび変更後のそれぞれにおいて画像を取得する。According to a third aspect of the present invention, there is provided the digital imaging apparatus according to the first or second aspect, further comprising illumination changing means for changing an illumination environment for the subject, wherein the imaging means comprises the illumination device. Images are acquired before and after the lighting environment is changed by the changing unit.

【０００８】請求項４に記載の発明は、請求項１または
２に記載のデジタル撮像装置であって、前記複数の画像
のそれぞれが、互いに異なる特性を有する複数のフィル
タのいずれかを介して取得される。According to a fourth aspect of the present invention, there is provided the digital image pickup apparatus according to the first or second aspect, wherein each of the plurality of images is obtained through one of a plurality of filters having mutually different characteristics. Is done.

【０００９】請求項５に記載の発明は、デジタル撮像装
置であって、同一の被写体を示す複数の画像を取得する
撮像手段と、画像中の複数の領域を決定する手段と、前
記複数の画像に基づいて、前記複数の領域のそれぞれに
おいて照明環境が画像に与える影響を示す照明成分デー
タを求める手段とを備える。According to a fifth aspect of the present invention, there is provided a digital imaging apparatus, comprising: an imaging unit for acquiring a plurality of images representing the same subject; a unit for determining a plurality of regions in the image; Means for obtaining illumination component data indicating an influence of an illumination environment on an image in each of the plurality of regions based on

【００１０】請求項６に記載の発明は、請求項５に記載
のデジタル撮像装置であって、前記複数の領域のそれぞ
れにおいて演算対象となる画素の位置を特定する手段を
さらに備え、前記照明成分データを求める手段が、前記
複数の画像中の前記演算対象となる画素の値に基づい
て、前記複数の領域のそれぞれに対応する照明成分デー
タを求める。The invention according to claim 6 is the digital imaging device according to claim 5, further comprising means for specifying a position of a pixel to be calculated in each of the plurality of regions, wherein the illumination component A means for obtaining data obtains illumination component data corresponding to each of the plurality of regions based on a value of a pixel to be calculated in the plurality of images.

【００１１】請求項７に記載の発明は、コンピュータに
画像処理を実行させるプログラムであって、前記プログ
ラムのコンピュータによる実行は、前記コンピュータ
に、演算対象となる画素の位置を特定する工程と、同一
の被写体を示す複数の画像中の前記演算対象となる画素
の値に基づいて照明環境が画像に与える影響を示す照明
成分データを求める工程とを実行させる。According to a seventh aspect of the present invention, there is provided a program for causing a computer to execute image processing, wherein the execution of the program by the computer is the same as the step of specifying the position of a pixel to be operated on by the computer. Obtaining illumination component data indicating the effect of the illumination environment on the image based on the value of the pixel to be calculated in the plurality of images indicating the subject.

【００１２】請求項８に記載の発明は、コンピュータに
画像処理を実行させるプログラムであって、前記プログ
ラムのコンピュータによる実行は、前記コンピュータ
に、画像中の複数の領域を決定する工程と、同一の被写
体を示す複数の画像に基づいて、前記複数の領域のそれ
ぞれにおいて照明環境が画像に与える影響を示す照明成
分データを求める工程とを実行させる。[0012] The invention according to claim 8 is a program for causing a computer to execute image processing, wherein the execution of the program by the computer is the same as the step of determining a plurality of areas in an image by the computer. Obtaining illumination component data indicating the influence of the illumination environment on the image in each of the plurality of regions based on the plurality of images representing the subject.

【００１３】請求項９に記載の発明は、コンピュータに
画像処理を実行させるプログラムを記録した記録媒体で
あって、前記プログラムのコンピュータによる実行は、
前記コンピュータに、演算対象となる画素の位置を特定
する工程と、同一の被写体を示す複数の画像中の前記演
算対象となる画素の値に基づいて照明環境が画像に与え
る影響を示す照明成分データを求める工程とを実行させ
る。According to a ninth aspect of the present invention, there is provided a recording medium storing a program for causing a computer to execute image processing, wherein the computer executes the program.
The computer includes a step of specifying a position of a pixel to be calculated, and illumination component data indicating an influence of an illumination environment on the image based on a value of the pixel to be calculated in a plurality of images showing the same subject. And the step of determining

【００１４】請求項１０に記載の発明は、コンピュータ
に画像処理を実行させるプログラムを記録した記録媒体
であって、前記プログラムのコンピュータによる実行
は、前記コンピュータに、画像中の複数の領域を決定す
る工程と、同一の被写体を示す複数の画像に基づいて、
前記複数の領域のそれぞれにおいて照明環境が画像に与
える影響を示す照明成分データを求める工程とを実行さ
せる。According to a tenth aspect of the present invention, there is provided a recording medium on which a program for causing a computer to execute image processing is recorded, wherein the execution of the program by the computer causes the computer to determine a plurality of areas in the image. Based on the process and a plurality of images showing the same subject,
Obtaining illumination component data indicating an influence of an illumination environment on an image in each of the plurality of regions.

【００１５】[0015]

【発明の実施の形態】＜１． 第１の実施の形態＞図１
は本発明の第１の実施の形態に係るデジタル撮像装置で
あるデジタルカメラ１の全体を示す斜視図である。デジ
タルカメラ１は、撮影を行うレンズユニット１１、およ
び、レンズユニット１１にてデジタルデータとして取得
された画像を処理する本体部１２とを有する。DESCRIPTION OF THE PREFERRED EMBODIMENTS <1. First Embodiment> FIG.
1 is a perspective view showing an entire digital camera 1 which is a digital imaging device according to a first embodiment of the present invention. The digital camera 1 has a lens unit 11 that performs photographing, and a main unit 12 that processes an image acquired as digital data by the lens unit 11.

【００１６】レンズユニット１１は、複数のレンズを有
するレンズ系１１１、および、レンズ系１１１を介して
被写体の像を取得するＣＣＤ１１２を有する。そして、
ＣＣＤ１１２から出力される画像信号は本体部１２へと
送られる。また、レンズユニット１１には、操作者が被
写体を捉えるためのファインダ１１３、測距センサ１１
４等も配置される。The lens unit 11 has a lens system 111 having a plurality of lenses, and a CCD 112 for acquiring an image of a subject via the lens system 111. And
The image signal output from the CCD 112 is sent to the main unit 12. Further, the lens unit 11 includes a finder 113 and a distance measurement sensor 11 for the operator to capture the subject.
4 etc. are also arranged.

【００１７】本体部１２には、フラッシュ１２１および
シャッタボタン１２２が設けられ、操作者がファインダ
１１３を介して被写体を捉え、シャッタボタン１２２を
操作することにより、ＣＣＤ１１２にて電気的に画像が
取得される。このとき、必要に応じてフラッシュ１２１
が発光する。なお、ＣＣＤ１１２は各画素の値として
Ｒ，Ｇ，Ｂの各色に関する値を取得する３バンドの撮像
デバイスとなっている。The main body 12 is provided with a flash 121 and a shutter button 122. An operator captures a subject through the finder 113 and operates the shutter button 122, so that an image is electrically acquired by the CCD 112. You. At this time, if necessary, the flash 121
Emits light. Note that the CCD 112 is a three-band imaging device that acquires values for each color of R, G, and B as the value of each pixel.

【００１８】ＣＣＤ１１２からの画像信号は本体部１２
内部にて後述する処理が行われ、必要に応じて本体部１
２に装着されている外部メモリ１２３（いわゆる、メモ
リカード）に記憶される。外部メモリ１２３は本体部１
２下面の蓋を開けて取出ボタン１２４を操作することに
より本体部１２から取り出される。記録媒体である外部
メモリ１２３に記憶されたデータは別途設けられたコン
ピュータ等を用いて他の装置に渡すことができる。逆
に、他の装置にて外部メモリ１２３に記憶されたデータ
をデジタルカメラ１が読み出すことも可能である。An image signal from the CCD 112 is transmitted to the main body 12.
The processing described below is performed internally, and the main unit 1
2 is stored in an external memory 123 (a so-called memory card) mounted on the memory card 2. The external memory 123 is the main unit 1
2 When the cover on the lower surface is opened and the take-out button 124 is operated, it is taken out from the main body 12. The data stored in the external memory 123 as a recording medium can be transferred to another device using a separately provided computer or the like. Conversely, the digital camera 1 can read data stored in the external memory 123 by another device.

【００１９】図２はデジタルカメラ１を背後から見たと
きの様子を示す図である。本体部１２の背面の中央には
撮影された画像を表示したり、操作者へのメニューを表
示する液晶のディスプレイ１２５が設けられ、ディスプ
レイ１２５の側方にはディスプレイ１２５に表示される
メニューに従って入力操作を行うための操作ボタン１２
６が配置される。これにより、デジタルカメラ１の操
作、撮影条件の設定、外部メモリ１２３の保守、後述す
る画像の再生等ができるようにされている。FIG. 2 is a diagram showing a state when the digital camera 1 is viewed from behind. A liquid crystal display 125 for displaying a photographed image and displaying a menu for the operator is provided in the center of the back surface of the main body 12, and an input is made on the side of the display 125 in accordance with the menu displayed on the display 125. Operation buttons 12 for performing operations
6 are arranged. As a result, operations of the digital camera 1, setting of shooting conditions, maintenance of the external memory 123, reproduction of images to be described later, and the like can be performed.

【００２０】図３は、デジタルカメラ１の主要な構成を
示すブロック図である。FIG. 3 is a block diagram showing a main configuration of the digital camera 1.

【００２１】図３に示す構成のうち、レンズ系１１１、
ＣＣＤ１１２、Ａ／Ｄ変換部１１５、シャッタボタン１
２２、ＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３は画像
を取得する機能を実現する。すなわち、レンズ系１１１
により被写体の像がＣＣＤ１１２上に結像され、シャッ
タボタン１２２が押されると、ＣＣＤ１１２からの画像
信号がＡ／Ｄ変換部１１５によりデジタル変換される。
Ａ／Ｄ変換部１１５にて変換されたデジタル画像信号は
本体部１２のＲＡＭ２３に画像データとして記憶され
る。なお、これらの処理の制御はＣＰＵ２１がＲＯＭ２
２内に記憶されているプログラム２２１に従って動作す
ることにより行われる。In the structure shown in FIG.
CCD 112, A / D converter 115, shutter button 1
The CPU 22, the ROM 22, and the RAM 23 realize a function of acquiring an image. That is, the lens system 111
When the shutter button 122 is pressed, the image signal from the CCD 112 is digitally converted by the A / D converter 115.
The digital image signal converted by the A / D converter 115 is stored as image data in the RAM 23 of the main unit 12. Note that the CPU 21 controls these processes by the ROM 2.
2 is performed by operating according to the program 221 stored in the storage device 2.

【００２２】また、本体部１２に設けられるＣＰＵ２
１、ＲＯＭ２２およびＲＡＭ２３が画像を処理する機能
を実現する。具体的には、ＲＯＭ２２に記憶されている
プログラム２２１に従って、ＲＡＭ２３を作業領域とし
て利用しながらＣＰＵ２１が取得された画像に画像処理
を施す。The CPU 2 provided in the main body 12
1. ROM 22 and RAM 23 implement the function of processing images. Specifically, according to the program 221 stored in the ROM 22, the CPU 21 performs image processing on the acquired image while using the RAM 23 as a work area.

【００２３】外部メモリ１２３はＲＡＭ２３と接続さ
れ、操作ボタン１２６からの入力操作に基づいて各種デ
ータの受け渡しが行われる。また、ディスプレイ１２５
もＣＰＵ２１からの信号に基づいて画像の表示や操作者
への情報の表示を行う。The external memory 123 is connected to the RAM 23, and exchanges various data based on an input operation from the operation button 126. The display 125
Also, based on a signal from the CPU 21, an image is displayed and information is displayed to the operator.

【００２４】フラッシュ１２１は発光制御回路１２１ａ
を介してＣＰＵ２１に接続されており、ＣＰＵ２１から
フラッシュ１２１を点灯する旨の指示を受けた場合に
は、発光制御回路１２１ａがフラッシュ１２１の発光特
性が撮影ごとにばらつかないように制御を行う。これに
より、フラッシュ１２１からの光の分光分布（分光強
度）が一定となるように制御される。The flash 121 is a light emission control circuit 121a
When the CPU 21 receives an instruction to turn on the flash 121 from the CPU 21, the light emission control circuit 121a performs control so that the light emission characteristics of the flash 121 do not vary for each shooting. As a result, control is performed so that the spectral distribution (spectral intensity) of the light from the flash 121 is constant.

【００２５】図４は、主としてＣＰＵ２１、ＲＯＭ２２
およびＲＡＭ２３により実現される機能の構成を他の構
成とともに示すブロック図であり、図５は撮影および画
像処理の流れを示す図である。図４に示す構成のうち、
差分画像生成部２０１、対象画素決定部２０２、仮物体
色成分データ生成部２０３、照明成分データ生成部２０
４、物体色成分データ生成部２０５および画像再生部２
０６が、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３等により
実現される機能を示す。以下、これらの図を参照しなが
らデジタルカメラ１の動作について説明する。FIG. 4 mainly shows a CPU 21 and a ROM 22.
FIG. 5 is a block diagram showing a configuration of functions realized by the RAM 23 and other configurations, and FIG. 5 is a diagram showing a flow of photographing and image processing. Of the configuration shown in FIG.
Difference image generation unit 201, target pixel determination unit 202, temporary object color component data generation unit 203, illumination component data generation unit 20
4. Object color component data generation unit 205 and image reproduction unit 2
Reference numeral 06 denotes a function realized by the CPU 21, the ROM 22, the RAM 23, and the like. Hereinafter, the operation of the digital camera 1 will be described with reference to these drawings.

【００２６】まず、フラッシュがＯＮの状態にて撮影を
行い、フラッシュ光を浴びた被写体の画像（以下、「第
１画像」という。）を得る。すなわち、フラッシュ１２
１を点灯するとともにＣＣＤ１１２にて画像を取得し、
得られた画像（正確には、画像信号）がＡ／Ｄ変換部１
１５からＲＡＭ２３へと送られ、第１画像データ２３１
として記憶される（ステップＳＴ１１）。First, shooting is performed with the flash turned on to obtain an image of a subject exposed to the flash light (hereinafter, referred to as a "first image"). That is, the flash 12
1 is turned on and an image is acquired by the CCD 112,
The obtained image (accurately, an image signal) is converted by the A / D converter 1
15 to the RAM 23 and the first image data 231
(Step ST11).

【００２７】次に、フラッシュがＯＦＦの状態にて撮影
を行い、フラッシュ光を有しない照明環境下での被写体
の画像（以下、「第２画像」という。）を得る。すなわ
ち、フラッシュを用いることなくＣＣＤ１１２にて画像
を取得し、得られた画像がＡ／Ｄ変換部１１５からＲＡ
Ｍ２３へと送られ、第２画像データ２３２として記憶さ
れる（ステップＳＴ１２）。Next, photographing is performed with the flash turned off, and an image of the subject in an illumination environment having no flash light (hereinafter, referred to as a "second image") is obtained. That is, an image is obtained by the CCD 112 without using a flash, and the obtained image is transmitted from the A / D converter 115 to the RA.
It is sent to M23 and stored as the second image data 232 (step ST12).

【００２８】これらの２回の撮影は、連写のように迅速
に行われる。したがって、第１画像と第２画像との撮影
範囲は同一となる。また、２回の撮影はシャッター速度
（ＣＣＤ１１２の積分時間）および絞りが同一の条件に
て行われる。These two shootings are performed quickly as in continuous shooting. Therefore, the shooting ranges of the first image and the second image are the same. The two shootings are performed under the same conditions of the shutter speed (the integration time of the CCD 112) and the aperture.

【００２９】ここで、フラッシュ１２１の発光は、フラ
ッシュ光の分光分布が一定となるように発光制御回路１
２１ａにより制御される。図６は発光制御回路１２１ａ
の動作の流れを示す図である。Here, the light emission of the flash 121 is controlled so that the spectral distribution of the flash light becomes constant.
21a. FIG. 6 shows a light emission control circuit 121a.
It is a figure which shows the flow of operation | movement.

【００３０】フラッシュＯＮでの撮影の際に、あるい
は、撮影に先立って、まず、発光制御回路１２１ａがフ
ラッシュ１２１のフラッシュ電源への充電電圧（すなわ
ち、フラッシュ１２１に与えられる電圧）のモニタを開
始する（ステップＳＴ１０１）。そして、充電電圧が所
定の電圧（例えば、３３０Ｖ）に達したと確認されると
（ステップＳＴ１０２）、フラッシュ電源からフラッシ
ュ１２１へと電力を供給して発光を開始する（ステップ
ＳＴ１０３）。At the time of photographing with the flash ON or prior to photographing, first, the light emission control circuit 121a starts monitoring the charging voltage of the flash 121 to the flash power supply (that is, the voltage applied to the flash 121). (Step ST101). When it is confirmed that the charging voltage has reached a predetermined voltage (for example, 330 V) (step ST102), power is supplied from the flash power supply to the flash 121 to start light emission (step ST103).

【００３１】発光の開始と同時に発光制御回路１２１ａ
は発光時間のモニタを開始する（ステップＳＴ１０
４）。その後、発光開始から所定の時間が経過したこと
が確認されると（ステップＳＴ１０５）、発光が停止さ
れる（ステップＳＴ１０６）。At the same time as the start of light emission, the light emission control circuit 121a
Starts monitoring the light emission time (step ST10).
4). Thereafter, when it is confirmed that a predetermined time has elapsed from the start of light emission (step ST105), light emission is stopped (step ST106).

【００３２】このように、フラッシュ１２１の発光は一
定の電圧および発光時間となるように制御され、フラッ
シュ１２１の発光特性が撮影ごとにばらつくことはな
い。フラッシュ１２１の分光分布も上記発光制御により
一定に保たれ、この分光分布は予め計測されてＲＡＭ２
３にフラッシュ分光データ２３４として記憶されてい
る。なお、正確にはフラッシュ光の相対的な分光分布
（最大の分光強度を１として正規化された分光分布をい
い、以下「相対分光分布」という。）がフラッシュ分光
データ２３４として用いられる。As described above, the light emission of the flash 121 is controlled so as to have a constant voltage and a constant light emission time, and the light emission characteristics of the flash 121 do not vary for each photographing. The spectral distribution of the flash 121 is also kept constant by the light emission control, and this spectral distribution is measured in advance and stored in the RAM 2.
3 is stored as flash spectral data 234. Note that, more accurately, the relative spectral distribution of the flash light (the spectral distribution normalized by setting the maximum spectral intensity to 1; hereinafter, referred to as “relative spectral distribution”) is used as the flash spectral data 234.

【００３３】２回の撮影により、ＲＡＭ２３に第１画像
データ２３１および第２画像データ２３２が保存される
と、差分画像生成部２０１が第１画像データ２３１から
第２画像データ２３２を減算して差分画像データ２３３
を求める。これにより、第１画像の各画素のＲ，Ｇ，Ｂ
の各値から第２画像の対応する画素のＲ，Ｇ，Ｂの各値
がそれぞれ減算され、第１画像と第２画像との差分画像
が得られる（図５：ステップＳＴ１３）。When the first image data 231 and the second image data 232 are stored in the RAM 23 by two photographing operations, the difference image generation unit 201 subtracts the second image data 232 from the first image data 231 to obtain a difference. Image data 233
Ask for. Thereby, R, G, B of each pixel of the first image is obtained.
Are subtracted from the respective values of R, G, and B of the corresponding pixels of the second image to obtain a difference image between the first image and the second image (FIG. 5: step ST13).

【００３４】次に、第１画像データ２３１、第２画像デ
ータ２３２、差分画像データ２３３およびフラッシュ分
光データ２３４に基づいて被写体への照明環境が画像に
与える影響を示すデータが照明成分データ２３６として
求められる（ステップＳＴ１４）。照明成分データ２３
６は実質的には被写体への照明光の分光分布に相当する
が、照明光の分光分布を正確に示すデータとして求めら
れる必要はなく、およそ照明光の分光分布を示すデータ
として求められる。Next, based on the first image data 231, the second image data 232, the difference image data 233, and the flash spectral data 234, data indicating the effect of the illumination environment on the subject on the image is obtained as the illumination component data 236. (Step ST14). Lighting component data 23
6 substantially corresponds to the spectral distribution of the illuminating light on the subject, but does not need to be obtained as data that accurately indicates the spectral distribution of the illuminating light, and is obtained as data that approximately indicates the spectral distribution of the illuminating light.

【００３５】図７は照明成分データ２３６を求める処理
（ステップＳＴ１４）の流れの概要を示す図である（演
算内容の詳細については後述）。照明成分データ２３６
の算出では、まず、対象画素決定部２０２および仮物体
色成分データ生成部２０３により、演算対象となる画素
の決定および仮物体色成分データ２３５の生成が行われ
る。FIG. 7 is a diagram showing an outline of the flow of the processing (step ST14) for obtaining the illumination component data 236 (the details of the operation will be described later). Lighting component data 236
In the calculation of, first, the target pixel determination unit 202 and the temporary object color component data generation unit 203 determine a pixel to be calculated and generate the temporary object color component data 235.

【００３６】具体的には、画像中の一の画素（すなわ
ち、第１画像、第２画像および差分画像における一の画
素の位置）が注目画素（の位置）として決定され（ステ
ップＳＴ２０１）、各画像における注目画素の画素値が
所定の条件を満たすが否かが判断される（ステップＳＴ
２０２）。条件が満たされる場合には注目画素に対応す
る被写体上の微小領域の分光反射率が一画素分の仮物体
色成分データ２３５として求められる（ステップＳＴ２
０３）。Specifically, one pixel in the image (ie, the position of one pixel in the first image, the second image, and the difference image) is determined as (the position of) the pixel of interest (step ST201), and It is determined whether the pixel value of the target pixel in the image satisfies a predetermined condition (step ST).
202). If the condition is satisfied, the spectral reflectance of the minute area on the subject corresponding to the target pixel is obtained as temporary pixel color component data 235 for one pixel (step ST2).
03).

【００３７】また、仮物体色成分データ２３５が求めら
れた注目画素の位置が演算対象画素の位置（例えば、ｘ
ｙ座標）として所定の記憶場所に記憶される（ステップ
ＳＴ２０４）。なお、一画素分の仮物体色成分データ２
３５は、被写体上の対応する微小領域の分光反射率とし
て正確に求められる必要はなく、ほぼ分光反射率を示す
データとして求められる。The position of the pixel of interest for which the provisional object color component data 235 is obtained is the position of the pixel to be calculated (for example, x
(y coordinate) is stored in a predetermined storage location (step ST204). The temporary object color component data 2 for one pixel
Reference numeral 35 does not need to be accurately obtained as the spectral reflectance of the corresponding minute area on the subject, but is obtained as data substantially indicating the spectral reflectance.

【００３８】一の注目画素についてステップＳＴ２０２
〜ＳＴ２０４が実行されると、注目画素（の位置）を変
更させつつステップＳＴ２０２〜ＳＴ２０４が繰り返さ
れ、全画素について条件に応じつつ仮物体色成分データ
２３５の算出および演算対象画素の位置の記憶が行われ
る（ステップＳＴ２０５）。Step ST202 for one target pixel
When steps ST204 to ST204 are executed, steps ST202 to ST204 are repeated while changing (the position of) the pixel of interest, and the calculation of the temporary object color component data 235 and the storage of the position of the pixel to be calculated are performed according to the conditions for all the pixels. This is performed (step ST205).

【００３９】演算対象画素ごとの仮物体色成分データ２
３５が求められると、各演算対象画素に関する第２画像
の画素値および仮物体色成分データ２３５から演算対象
画素に関する照明成分データが求められる（ステップＳ
Ｔ２０６）。その後、演算対象画素ごとの照明成分デー
タの平均値が画像全体に関する照明成分データ２３６と
して求められる（ステップＳＴ２０７）。これにより、
実質的に被写体への照明光の分光分布が求められる。Temporary object color component data 2 for each calculation target pixel
When 35 is obtained, illumination component data regarding the calculation target pixel is obtained from the pixel value of the second image regarding each calculation target pixel and the temporary object color component data 235 (step S).
T206). Thereafter, the average value of the illumination component data for each pixel to be calculated is obtained as illumination component data 236 for the entire image (step ST207). This allows
Substantially, the spectral distribution of the illumination light to the subject is determined.

【００４０】次に、ステップＳＴ２０２における演算対
象画素（正確には、演算対象画素の位置）の特定につい
て説明する。演算対象画素の特定は、照明成分データ２
３６を求める際の画像中の不適切な画素やノイズ成分を
除去する処理に相当する。すなわち、第１画像、第２画
像および差分画像に基づいて、照明成分データ２３６の
算出には不適切な値を有する画素が演算対象から取り除
かれる。Next, the specification of the calculation target pixel (more precisely, the position of the calculation target pixel) in step ST202 will be described. The calculation target pixel is specified by the illumination component data 2
This corresponds to a process of removing inappropriate pixels and noise components in the image when calculating 36. That is, based on the first image, the second image, and the difference image, pixels having an inappropriate value for calculating the illumination component data 236 are removed from the calculation target.

【００４１】フラッシュＯＮにて取得される第１画像で
は明るい画像が取得されるため、注目画素の画素値のい
ずれかの色成分がほぼ飽和している場合に演算対象画素
から外される。例えば、Ｒ，Ｇ，Ｂの色成分の値が０〜
２５５の範囲内であるとした場合、いずれかの色成分の
値が２５０以上であると演算対象画素として取り扱わな
いという判定がなされる。Since a bright image is obtained in the first image obtained by turning on the flash, if any color component of the pixel value of the target pixel is substantially saturated, it is excluded from the calculation target pixel. For example, if the values of the R, G, and B color components are 0 to
If the value is within the range of 255, if the value of any color component is 250 or more, it is determined that the color component is not treated as a calculation target pixel.

【００４２】フラッシュＯＦＦにて取得される第２画像
では比較的暗い画像が取得されるため、注目画素の画素
値のいずれかの色成分が黒つぶれしている場合に演算対
象画素から外される。例えば、Ｒ，Ｇ，Ｂの色成分の値
が０〜２５５の範囲内であるとした場合、いずれかの色
成分の値が４以下であると演算対象画素として取り扱わ
れない。Since a relatively dark image is obtained in the second image obtained when the flash is turned off, if any color component of the pixel value of the target pixel is black, the pixel is excluded from the calculation target pixel. . For example, when it is assumed that the values of the R, G, and B color components are in the range of 0 to 255, if the value of any one of the color components is 4 or less, it is not treated as a calculation target pixel.

【００４３】差分画像は実質的にフラッシュ光のみにて
撮影が行われた際の画像に相当するため、背景などの暗
い部分やフラッシュ光を反射して明るくなりすぎている
画素は演算対象画素から外される。すなわち、差分画像
においても、画素値の各色成分が低すぎたり高すぎる場
合には演算対象画素としては取り扱われない。Since the difference image substantially corresponds to an image obtained when the photographing is performed only with the flash light, a dark portion such as a background or a pixel which becomes too bright by reflecting the flash light is excluded from the calculation target pixel. Removed. That is, also in the difference image, if each color component of the pixel value is too low or too high, it is not treated as a calculation target pixel.

【００４４】以上の３つの判定をステップＳＴ２０２に
おいて行うことにより、第１画像、第２画像および差分
画像のいずれにおいても適切な画素値を有する画素の位
置が演算対象画素の位置として求められる。By performing the above three determinations in step ST202, the position of a pixel having an appropriate pixel value in any of the first image, the second image, and the difference image is obtained as the position of the pixel to be calculated.

【００４５】次に、仮物体色成分データ生成部２０３に
より演算対象画素において第２画像から照明環境の影響
を取り除いた成分（実質的に被写体の分光反射率に相当
する。）が仮物体色成分データ２３５として求められ、
その後、演算対象画素の照明成分データが求められる原
理について説明する。Next, a component (substantially equivalent to the spectral reflectance of the subject) obtained by removing the influence of the illumination environment from the second image in the calculation target pixel by the provisional object color component data generation unit 203 is the provisional object color component. Determined as data 235,
Then, the principle of obtaining the illumination component data of the calculation target pixel will be described.

【００４６】まず、被写体を照明する照明光（光源から
の直接的な光および間接的な光を含む照明環境における
照明光いう。）の分光分布をＥ(λ)とし、この分光分布
Ｅ(λ)を３つの基底関数Ｅ₁(λ)，Ｅ₂(λ)，Ｅ₃(λ)お
よび加重係数ε₁，ε₂，ε₃を用いて、First, the spectral distribution of illumination light for illuminating a subject (referred to as illumination light in an illumination environment including direct light and indirect light from a light source) is defined as E (λ). ) Using three basis functions E ₁ (λ), E ₂ (λ), E ₃ (λ) and weighting coefficients ε ₁ , ε ₂ , ε ₃ .

【００４７】[0047]

【数１】 (Equation 1)

【００４８】と表し、同様に、一の演算対象画素（以
下、「対象画素」という。）に対応する被写体上の位置
の分光反射率Ｓ(λ)を３つの基底関数Ｓ₁(λ)，Ｓ
₂(λ)，Ｓ₃(λ)および加重係数σ₁，σ₂，σ₃を用い
て、Similarly, the spectral reflectance S (λ) at a position on the subject corresponding to one calculation target pixel (hereinafter, referred to as “target pixel”) is calculated by three basis functions S ₁ (λ), S
₂ (λ), S ₃ (λ) and weighting factors σ ₁ , σ ₂ , σ ₃

【００４９】[0049]

【数２】 (Equation 2)

【００５０】と表すと、ＣＣＤ１１２上の対象画素に入
射する光Ｉ(λ)（レンズユニット１１内のフィルタ等を
無視した場合の入射光）は、In this case, the light I (λ) incident on the target pixel on the CCD 112 (the incident light when the filter in the lens unit 11 is ignored) is

【００５１】[0051]

【数３】 (Equation 3)

【００５２】と表現される。また、対象画素のＲ，Ｇ，
Ｂのいずれかの色（以下、「対象色」という。）に関す
る値がρ_cであり、ＣＣＤ１１２の対象色の分光感度を
Ｒ_c(λ)とすると、値ρ_cは、Is expressed as follows. In addition, R, G,
Assuming that a value relating to any color of B (hereinafter, referred to as “target color”) is ρ _c and the spectral sensitivity of the target color of the CCD 112 is R _c (λ), the value ρ _c is:

【００５３】[0053]

【数４】 (Equation 4)

【００５４】により導かれる。Is derived by

【００５５】ここで、フラッシュＯＮの第１画像の対象
画素の対象色の値がρ_c1であり、フラッシュＯＦＦの第
２画像の対応する値がρ_c2である場合、差分画像の対応
する値ρ_sは、Here, when the value of the target color of the target pixel of the first image of flash ON is ρ _c1 and the corresponding value of the second image of flash OFF is ρ _c2 , the corresponding value ρ of the difference image _s

【００５６】[0056]

【数５】 (Equation 5)

【００５７】となる。Ｉ₁(λ)はフラッシュＯＮの際の
対象画素に入射する光であり、ε₁₁，ε₁₂，ε₁₃はフラ
ッシュ光を含む照明光に関する基底関数の加重係数であ
る。同様に、Ｉ₂(λ)はフラッシュＯＦＦの際の対象画
素に入射する光であり、ε₂₁，ε₂₂，ε₂₃はフラッシュ
光を含まない照明光に関する基底関数の加重係数であ
る。さらに、ε_si（ｉ＝１，２，３）は（ε_1i−ε_2i）
である。Is as follows. I ₁ (λ) is light incident on the target pixel when the flash is ON, and ε ₁₁ , ε ₁₂ , and ε ₁₃ are weighting coefficients of a basis function for illumination light including flash light. Similarly, I ₂ (λ) is the light incident on the target pixel when the flash is turned off, and ε ₂₁ , ε ₂₂ , and ε ₂₃ are the weighting coefficients of the basis functions for the illumination light not including the flash light. Further, ε _si (i = 1, 2, 3) is (ε _1i −ε _2i )
It is.

【００５８】数５において、基底関数Ｅ_i(λ)，Ｓ_j(λ)
は予め定められた関数であり、分光感度Ｒ_c(λ)は予め
計測により求めることができる関数である。これらの情
報は予めＲＯＭ２２やＲＡＭ２３に記憶される。一方、
２回の撮影においてシャッター速度（あるいは、ＣＣＤ
１１２の積分時間）および絞りが同一に制御され、第１
画像から第２画像を減算した差分画像は、照明環境の変
更のみの影響を受けた画像、すなわち、フラッシュ光の
みを照明光源とする画像に相当することから、後述する
手法により加重係数ε_siはフラッシュ光の相対分光分布
から導くことができる。In Equation 5, the basis functions E _i (λ) and S _j (λ)
Is a predetermined function, and the spectral sensitivity R _c (λ) is a function that can be obtained by measurement in advance. These pieces of information are stored in the ROM 22 and the RAM 23 in advance. on the other hand,
Shutter speed (or CCD) for two shots
112) and the aperture are controlled to be the same.
Since the difference image obtained by subtracting the second image from the image corresponds to an image affected only by the change of the illumination environment, that is, an image using only the flash light as the illumination light source, the weighting coefficient ε _si is _calculated by the method described below. It can be derived from the relative spectral distribution of the flash light.

【００５９】したがって、数５に示す方程式において未
知数は３つの加重係数σ₁，σ₂，σ ₃のみである。ま
た、数５に示す方程式は対象画素におけるＲ，Ｇ，Ｂの
３つの色のそれぞれに関して求めることができ、これら
３つの方程式を解くことにより３つの加重係数σ₁，
σ₂，σ₃を求めることができる。すなわち、対象画素に
対応する被写体上の位置の分光反射率が得られる。Therefore, in the equation shown in equation (5),
The intellect is three weighting factors σ₁, Σ_Two, Σ _ThreeOnly. Ma
In addition, the equation shown in Equation 5 represents the R, G, and B of the target pixel.
Can be determined for each of the three colors, these
By solving three equations, three weighting factors σ₁,
σ_Two, Σ_ThreeCan be requested. That is, the target pixel
The spectral reflectance at the corresponding position on the subject is obtained.

【００６０】次に、加重係数ε_siを求める手法について
説明する。既述のように差分画像はフラッシュ光のみを
照明光とする画像に相当し、差分画像における照明光の
相対分光分布は既知である。一方で、フラッシュから遠
い被写体上の領域はフラッシュ１２１に近い領域よりも
フラッシュ光を受ける度合いが小さい。したがって、差
分画像ではおおよそフラッシュ１２１から遠い位置ほど
暗く現れる。Next, a method for _obtaining the weighting coefficient ε _si will be described. As described above, the difference image corresponds to an image using only flash light as illumination light, and the relative spectral distribution of illumination light in the difference image is known. On the other hand, the area on the subject far from the flash receives the flash light less than the area near the flash 121. Therefore, in the difference image, the position farther from the flash 121 appears darker.

【００６１】そこで、３つの加重係数ε_s1，ε_s2，ε_s3
の値の相対関係を一定に保ったまま差分画像中の対象画
素の輝度に比例してこれらの加重係数の値を増減する。
すなわち、差分画像中の対象画素の輝度が小さい場合に
は加重係数ε_s1，ε_s2，ε_s3の値は小さな値として決定
され、輝度が大きい場合には加重係数ε_s1，ε_s2，ε _s3
の値は大きな値として決定される。３つの加重係数
ε_s1，ε_s2，ε_s3の相対関係は３つの基底関数Ｅ
₁(λ)，Ｅ₂(λ)，Ｅ₃(λ)の加重和がフラッシュ光の分
光分布と比例するように予め求められており、輝度と加
重係数ε_siとの比例関係は予め測定により求められる。Therefore, three weighting factors ε_s1, Ε_s2, Ε_s3
Target image in the difference image while maintaining the relative
The values of these weighting factors are increased or decreased in proportion to the luminance of the element.
That is, when the luminance of the target pixel in the difference image is small,
Is the weighting coefficient ε_s1, Ε_s2, Ε_s3Is determined as a small value
Weighting factor ε when the brightness is large._s1, Ε_s2, Ε _s3
Is determined as a large value. Three weighting factors
ε_s1, Ε_s2, Ε_s3Is based on three basis functions E
₁(λ), E_Two(λ), E_Three(λ) is the weight of the flash light
It is determined in advance to be proportional to the light distribution.
Weight coefficient ε_siIs proportionally obtained by measurement in advance.

【００６２】なお、加重係数ε_siは対象画素に対応する
被写体上の位置に照射されるフラッシュ光の分光分布を
示す値であり、第１画像および第２画像間におけるフラ
ッシュ１２１による照明光の変更量の分光分布を示す値
である。したがって、フラッシュ分光データ２３４より
加重係数ε_siを求める処理は、フラッシュ光の相対分光
分布からフラッシュ１２１による照明環境（照明光）の
分光変更量を求める処理に相当する。The weighting coefficient ε _si is a value indicating the spectral distribution of the flash light applied to the position on the subject corresponding to the target pixel, and changes the illumination light by the flash 121 between the first image and the second image. This is a value indicating the spectral distribution of the quantity. Therefore, the process of _{obtaining the} weighting coefficient ε _si from the flash spectral data 234 corresponds to the process of calculating the spectral change amount of the illumination environment (illumination light) by the flash 121 from the relative spectral distribution of the flash light.

【００６３】以上の原理に基づき、デジタルカメラ１の
仮物体色成分データ生成部２０３は差分画像データ２３
３の演算対象画素の画素値およびフラッシュ分光データ
２３４を参照しながら、各演算対象画素に対応する被写
体上の位置の分光反射率を求める。被写体の分光反射率
は、照明環境の影響が取り除かれた画像データに相当
し、仮物体色成分データ２３５としてＲＡＭ２３に記憶
される（ステップＳＴ２０３）。Based on the above principle, the provisional object color component data generation unit 203 of the digital camera 1
The spectral reflectance at the position on the subject corresponding to each calculation target pixel is obtained with reference to the pixel value of the calculation target pixel and the flash spectral data 234. The spectral reflectance of the subject corresponds to the image data from which the influence of the illumination environment has been removed, and is stored in the RAM 23 as temporary object color component data 235 (step ST203).

【００６４】仮物体色成分データ２３５が求められる
と、数３および数４（ただし、数３のε_iにε_2iを代入
する。）より第２画像の演算対象画素のＲ，Ｇ，Ｂの値
に基づいて加重係数ε₂₁，ε₂₂，ε₂₃に関する３つの方
程式を求めることができる。これらの方程式を解くこと
により画像における各演算対象画素に関する加重係数ε
_2iが求められる。求められた加重係数ε_2iは演算対象画
素におけるフラッシュ光を含まない照明環境の影響を示
す成分となる。The temporary object color component data 235 is obtained.
And Equations 3 and 4 (where ε of Equation 3_iTo ε_2iAssign
I do. ), The values of R, G, and B of the calculation target pixel of the second image
Weighting factor ε based on_{twenty one}, Ε_{twenty two}, Ε_{twenty three}Three people
An equation can be obtained. Solving these equations
The weighting coefficient ε for each pixel to be calculated in the image
_2iIs required. The calculated weighting coefficient ε_2iIs the target image
Illumination effects of flash-free lighting environment
Component.

【００６５】ここで、およそ均一な照明光の照明環境で
ある場合には演算対象画素ごとの加重係数ε_2iのばらつ
きは少ない。そこで、加重係数ε₂₁，ε₂₂，ε₂₃のそれ
ぞれについて全演算対象画素の平均値ε_21a，ε_22a，ε
_23aを求め、求められた３つの加重係数が画像全体に関
する照明成分データ２３６とされる（ステップＳＴ２０
７）。Here, when the illumination environment of the illumination light is approximately uniform, the variation of the weighting coefficient ε _2i for each pixel to be calculated is small. Therefore, for each of the weighting coefficients ε ₂₁ , ε ₂₂ , ε ₂₃ , the average values ε _21a , ε _22a , ε
_23a, and the obtained three weighting factors are used as illumination component data 236 for the entire image (step ST20).
7).

【００６６】照明成分データ２３６が求めされると、照
明成分データ２３６および第２画像データ２３２を用い
て、物体色成分データ生成部２０５ににより各画素の物
体色成分データ２３７が求められる（図５：ステップＳ
Ｔ１５）。具体的には、Ｒ，Ｇ，Ｂのそれぞれの色成分
に関して数６に示す方程式を求め、未知数σ_jが求めら
れる。When the illumination component data 236 is obtained, the object color component data 237 of each pixel is obtained by the object color component data generator 205 using the illumination component data 236 and the second image data 232 (FIG. 5). : Step S
T15). Specifically, the equation shown in Equation 6 is obtained for each of the R, G, and B color components, and the unknown σ _j is obtained.

【００６７】[0067]

【数６】 (Equation 6)

【００６８】その後、求められた照明成分データ２３６
および物体色成分データ２３７が必要に応じて外部メモ
リ１２３に個別に保存される（ステップＳＴ１６）。Thereafter, the obtained illumination component data 236
The object color component data 237 is individually stored in the external memory 123 as needed (step ST16).

【００６９】画像をディスプレイ１２５に表示する場合
には、照明成分データ２３６および物体色成分データ２
３７を用いて数３および数４に示した演算を行うことに
より画像再生部２０６により合成されて各画素のＲ，
Ｇ，Ｂの値ρ_r，ρ_g，ρ_bが求められ、目的とする画像
データが生成される。このとき、照明成分データ２３６
として別途準備された標準光（例えば、Ｄ６５）、白熱
電球、蛍光灯等の光の照明成分データ２３６を使用する
ことにより、照明環境が変更された画像をディスプレイ
１２５に表示することが可能となる。When displaying an image on the display 125, the illumination component data 236 and the object color component data 2
By performing the operations shown in Expressions 3 and 4 using Expression 37, the images are synthesized by the image reproduction unit 206 and the R,
The values ρ _r , ρ _g , and ρ _{b of} G and B are obtained, and target image data is generated. At this time, the illumination component data 236
By using the illumination component data 236 of light such as a standard light (for example, D65), an incandescent light bulb, a fluorescent light, and the like separately prepared, an image in which the illumination environment is changed can be displayed on the display 125. .

【００７０】以上のように、デジタルカメラ１では、フ
ラッシュＯＮの状態にて撮影された第１画像、フラッシ
ュＯＦＦの状態にて撮影された第２画像、および、フラ
ッシュ光の相対分光分布から照明環境が画像に与える影
響を示す照明成分データ２３６、および、画像から照明
環境の影響を取り除いた成分である物体色成分データ２
３７を求めることができる。すなわち、照明光の分光分
布や被写体の分光反射率をおよそ示すデータを照明環境
が変更された２枚の画像から簡単に求めることができ
る。照明環境の変更はフラッシュ１２１を用いて容易に
行われる。As described above, in the digital camera 1, the illumination environment is obtained from the first image photographed in the flash ON state, the second image photographed in the flash OFF state, and the relative spectral distribution of the flash light. Component data 236 indicating the effect of the image on the image, and object color component data 2 which is a component obtained by removing the effect of the illumination environment from the image.
37 can be obtained. That is, data that roughly indicates the spectral distribution of the illumination light and the spectral reflectance of the subject can be easily obtained from the two images in which the illumination environment has been changed. The lighting environment can be easily changed using the flash 121.

【００７１】また、デジタルカメラ１としては特殊な機
構を有さず、汎用のオンチップフィルタが設けられたＣ
ＣＤを有するデジタルカメラの簡単な仕様変更により照
明成分データ２３６および物体色成分データ２３７を求
めるデジタルカメラ１を実現することができる。これに
より、照明成分データ２３６および物体色成分データ２
３７を求める動作を汎用のデジタルカメラ１の特殊モー
ドとして実現することができ、新たな生産コストが生じ
ることはない。The digital camera 1 does not have a special mechanism, and has a general-purpose on-chip filter.
The digital camera 1 that obtains the illumination component data 236 and the object color component data 237 can be realized by simply changing the specifications of the digital camera having the CD. Thereby, the illumination component data 236 and the object color component data 2
The operation for obtaining 37 can be realized as a special mode of the general-purpose digital camera 1, and no new production cost is generated.

【００７２】さらに、デジタルカメラ１では照明成分デ
ータ２３６を求める際に、第１画像、第２画像および差
分画像に基づいて不適切な画素が演算対象から除かれ
る。すなわち、フラッシュ光が届かない部分、フラッシ
ュ光を反射して光って見える部分、その他ノイズ成分が
演算対象から除かれる。これにより、第１画像、第２画
像または差分画像の一部の画素値が不適切な値であった
としても、画像の全画素に関する適切な（すなわち、精
度の高い）照明成分データ２３６が求められ、画像の全
画素の物体色成分データ２３７も適切に求められる。Further, when obtaining the illumination component data 236 in the digital camera 1, inappropriate pixels are excluded from the calculation target based on the first image, the second image, and the difference image. That is, a portion where the flash light does not reach, a portion where the flash light appears to shine, and other noise components are excluded from the calculation target. Thereby, even if the pixel values of some of the first image, the second image, or the difference image are inappropriate values, appropriate (that is, highly accurate) illumination component data 236 for all pixels of the image is obtained. Thus, the object color component data 237 of all the pixels of the image is also appropriately obtained.

【００７３】また、仮に第１画像と第２画像とが捉えた
被写体に僅かにずれが存在するとしても、ずれの影響が
差分画像において非常に明るい部分または非常に暗い部
分として現れることから、これらの部分は演算対象から
除外される。したがって、第１画像と第２画像との間に
被写体のずれが存在する場合であってもデジタルカメラ
１では照明成分データ２３６および物体色成分データ２
３７を適切に求めることができる。Even if the subject captured by the first image and the second image has a slight shift, the influence of the shift appears as a very bright portion or a very dark portion in the difference image. Is excluded from the calculation. Therefore, even if there is a displacement of the subject between the first image and the second image, the digital camera 1 uses the illumination component data 236 and the object color component data 2
37 can be determined appropriately.

【００７４】なお、以上の説明では照明成分データ２３
６として各画素に共通な加重係数ε _21a，ε_22a，ε_23a
が保存され、物体色成分データ２３７として各画素に対
応する加重係数σ₁，σ₂，σ₃が保存されると説明した
が、これらは照明光の分光分布の基底関数Ｅ₁(λ)，Ｅ₂
(λ)，Ｅ₃(λ)や被写体の分光反射率の基底関数Ｓ
₁(λ)，Ｓ₂(λ)，Ｓ₃(λ)とともに保存されてもよい。In the above description, the illumination component data 23
Weighting coefficient ε common to each pixel as 6 _21a, Ε_22a, Ε_23a
Is stored, and as the object color component data 237,
Corresponding weighting factor σ₁, Σ_Two, Σ_ThreeExplained that will be saved
However, these are the basis functions E of the spectral distribution of the illumination light.₁(λ), E_Two
(λ), E_Three(λ) and the basis function S of the spectral reflectance of the subject
₁(λ), S_Two(λ), S_Three(λ).

【００７５】また、図７では画素値を演算対象画素とし
て扱うか否かの判断および画素単位の仮物体色成分デー
タ２３５の算出を注目画素ごとに行うが、これらの処理
は個別にまとめて行われてもよい。In FIG. 7, the determination as to whether or not to treat the pixel value as the pixel to be calculated and the calculation of the temporary object color component data 235 for each pixel are performed for each pixel of interest. May be.

【００７６】図８は、照明成分データ２３６の算出の流
れの他の例を示す図である。図８では、まず、第１画像
からいずれの色成分も飽和していない第１領域を抽出し
（ステップＳＴ２１１）、第２画像からいずれの色成分
も黒つぶれしていない第２領域の抽出が行われる（ステ
ップＳＴ２１２）。さらに、差分画像から各色成分の値
が適正範囲内に存在する第３領域が抽出される（ステッ
プＳＴ２１３）。すなわち、図７に示すステップＳＴ２
０２の３つの判定が画像を単位として行われる。FIG. 8 is a diagram showing another example of the flow of calculating the illumination component data 236. In FIG. 8, first, a first region in which none of the color components is saturated is extracted from the first image (step ST211), and a second region in which none of the color components is blackened is extracted from the second image. It is performed (step ST212). Further, a third region in which the value of each color component is within an appropriate range is extracted from the difference image (step ST213). That is, step ST2 shown in FIG.
02 are determined for each image.

【００７７】その後、第１ないし第３領域の論理積を求
めることにより、演算対象画素の集合である対象領域が
決定され（ステップＳＴ２１４）、演算対象画素の仮物
体色成分データ２３５が求められる（ステップＳＴ２１
５）。続いて、演算対象画素の照明成分データが求めら
れ（ステップＳＴ２１６）、演算対象画素の照明成分デ
ータの平均値が画像全体の照明成分データ２３６として
求められる（ステップＳＴ２１７）。Thereafter, by calculating the logical product of the first to third areas, a target area which is a set of operation target pixels is determined (step ST214), and temporary object color component data 235 of the operation target pixel is obtained (step ST214). Step ST21
5). Subsequently, the illumination component data of the calculation target pixel is obtained (step ST216), and the average value of the illumination component data of the calculation target pixel is obtained as the illumination component data 236 of the entire image (step ST217).

【００７８】以上のように、演算対象画素の特定は演算
対象となる領域の抽出として実現することも可能であ
る。As described above, the operation target pixel can be specified by extracting an operation target area.

【００７９】＜２． 第２の実施の形態＞第１の実施の
形態では、被写体への照明光が１種類であるものと仮定
して照明成分データ２３６を求めるようになっている
が、次に、第２の実施の形態として、複数種類の照明光
（例えば、窓の外の太陽光および室内灯）が存在する場
合のデジタルカメラ１の動作について説明する。なお、
デジタルカメラ１の構成は図１ないし図３に示すものと
同様であり、デジタルカメラ１の動作も図５中のステッ
プＳＴ１４，ＳＴ１５以外は第１の実施の形態と同様で
ある。<2. Second Embodiment> In the first embodiment, the illumination component data 236 is obtained on the assumption that there is only one type of illumination light to the subject. As an embodiment, the operation of the digital camera 1 in the case where there are a plurality of types of illumination light (for example, sunlight outside a window and room light) will be described. In addition,
The configuration of the digital camera 1 is the same as that shown in FIGS. 1 to 3, and the operation of the digital camera 1 is the same as that of the first embodiment except for steps ST14 and ST15 in FIG.

【００８０】図９は、第２の実施の形態において差分画
像の生成後に照明成分データ２３６および物体色成分デ
ータ２３７を求める処理の流れを示す図である。第２の
実施の形態では、照明成分データ２３６を求めるに際し
て、まず、領域分割が実行される（ステップＳＴ２
１）。デジタルカメラ１のＣＰＵ２１等の機能をブロッ
クにて示す場合、図１０に示すように図４中のブロック
図の対象画素決定部２０２に領域分割部２０７が接続さ
れた構成となる。領域分割部２０７は第２画像データ２
３２に基づいて画像を複数の領域へと分割し、各領域の
範囲を示すデータを対象画素決定部２０２へと出力す
る。FIG. 9 is a diagram showing a flow of processing for obtaining the illumination component data 236 and the object color component data 237 after the generation of the difference image in the second embodiment. In the second embodiment, when obtaining the illumination component data 236, first, region division is performed (step ST2).
1). When the functions of the CPU 21 and the like of the digital camera 1 are represented by blocks, as shown in FIG. 10, the configuration is such that the region dividing unit 207 is connected to the target pixel determining unit 202 in the block diagram in FIG. The region dividing unit 207 outputs the second image data 2
The image is divided into a plurality of regions based on 32, and data indicating the range of each region is output to the target pixel determination unit 202.

【００８１】領域分割の手法としては様々な方法が利用
されてよい。例えば、エッジ抽出フィルタを用いて画像
中のエッジが抽出され、閉ループのエッジに囲まれる領
域が１つの分割領域として決定される。そして、領域ご
とに識別番号が付与される。このとき、微小領域は適
宜、大きな領域に併合され、１０程度の分割領域が決定
される。なお、エッジの両側にて輝度差が少ない場合に
は、エッジの両側の領域が同一の照明を受けていると推
定してこれらの領域が１つの領域へと結合されてもよ
い。Various methods may be used for dividing the area. For example, edges in an image are extracted using an edge extraction filter, and a region surrounded by a closed loop edge is determined as one divided region. Then, an identification number is assigned to each area. At this time, the minute area is appropriately merged with a large area, and about 10 divided areas are determined. If the luminance difference is small on both sides of the edge, the regions on both sides of the edge may be estimated to receive the same illumination, and these regions may be combined into one region.

【００８２】図１１は、領域分割を輝度値に基づいて行
う場合の処理の流れを示す図である。輝度に基づいて領
域分割を行う手法は、明瞭なエッジが存在しない画像で
あっても領域分割を行うことができるという長所を有し
ている。まず、第２画像の各画素の輝度値がＲ，Ｇ，Ｂ
値に基づいて求められる（ステップＳＴ３０１）。輝度
値としてはＲ，Ｇ，Ｂ値のうちＧの値が輝度値に代用さ
れてもよい。次に、第２画像における輝度の最大値およ
び最小値が求められ（ステップＳＴ３０２）、最小値か
ら最大値に至る輝度の範囲が２ないし１０程度の輝度範
囲へと分割される（ステップＳＴ３０３）。その後、各
輝度範囲に属する画素群が１つの領域として検出される
（ステップＳＴ３０４）。FIG. 11 is a diagram showing the flow of processing when region division is performed based on luminance values. The method of performing area division based on luminance has an advantage that area division can be performed even for an image having no clear edge. First, the luminance value of each pixel of the second image is R, G, B
It is determined based on the value (step ST301). As the luminance value, a G value among the R, G, and B values may be substituted for the luminance value. Next, the maximum value and the minimum value of the luminance in the second image are obtained (step ST302), and the range of the luminance from the minimum value to the maximum value is divided into about 2 to 10 luminance ranges (step ST303). Thereafter, a pixel group belonging to each luminance range is detected as one region (step ST304).

【００８３】なお、微小領域は大きな領域に適宜含まれ
るように修正され、１０程度の分割領域が決定される。
また、各領域の外郭線を求め、外郭線が短い領域が無視
されるようになっていてもよい。The small area is corrected so as to be appropriately included in the large area, and about ten divided areas are determined.
Alternatively, the outline of each area may be obtained, and the area having a short outline may be ignored.

【００８４】領域分割の手法は上記手法に限定されるも
のではなく、例えば、輝度値に基づいて領域分割を行っ
た上でエッジに基づいて分割された領域の形状が修正さ
れてもよい。The method of area division is not limited to the above method. For example, the area may be divided based on luminance values, and then the shape of the area divided based on edges may be modified.

【００８５】以上の領域分割により、画像中の異なる照
明光にて照明されている部分の境界が分割された領域の
境界に少なくとも含まれると推定することが可能とな
る。By the above-described region division, it is possible to estimate that the boundary of the portion illuminated by different illumination light in the image is at least included in the boundary of the divided region.

【００８６】領域分割が完了すると、１つの領域が注目
領域として決定される（ステップＳＴ２２）。そして、
注目領域に対して照明成分データ２３６の生成が行われ
る（ステップＳＴ２３）。注目領域に対する照明成分デ
ータ２３６の生成は、注目領域に対して行われるという
点を除いて図７に示す処理と同様である。すなわち、対
象画素決定部２０２、仮物体色成分データ生成部２０３
および照明成分データ生成部２０４により、所定の条件
を満たす演算対象画素に対してのみ仮物体色成分データ
２３５が求められるとともに照明成分データが求めら
れ、演算対象画素の照明成分データの平均値が注目領域
の照明成分データ２３６として求められる。もちろん、
図８に示す手法にて照明成分データ２３６が求められて
もよい。When the area division is completed, one area is determined as the attention area (step ST22). And
The illumination component data 236 is generated for the attention area (step ST23). The generation of the illumination component data 236 for the attention area is the same as the processing shown in FIG. 7 except that it is performed for the attention area. That is, the target pixel determination unit 202 and the temporary object color component data generation unit 203
In addition, the illumination component data generation unit 204 determines the temporary object color component data 235 and the illumination component data only for the pixel to be calculated that satisfies a predetermined condition. It is obtained as the illumination component data 236 of the area. of course,
The illumination component data 236 may be obtained by the method shown in FIG.

【００８７】その後、注目領域を切り替えつつ照明成分
データ２３６が求められることにより、各領域の照明成
分データ２３６が求められる（ステップＳＴ２４）。さ
らに、各画素の物体色成分データ２３７が、画素が属す
る領域の照明成分データ２３６および第２画像データ２
３２に基づいて求められる（ステップＳＴ２５）。After that, the illumination component data 236 of each area is obtained by switching the attention area while obtaining the illumination component data 236 (step ST24). Further, the object color component data 237 of each pixel corresponds to the illumination component data 236 and the second image data 2 of the area to which the pixel belongs.
32 (step ST25).

【００８８】以上の処理により、画像中に複数種類の照
明光にて個別に照らされた複数の部分が存在する場合で
あっても、複数種類の照明成分データ２３６および物体
色成分データ２３７が適切に求められる。With the above processing, even when a plurality of portions individually illuminated by a plurality of types of illumination light exist in an image, the plurality of types of illumination component data 236 and the object color component data 237 are appropriately determined. Required.

【００８９】図１２は、複数の照明光を受ける被写体の
画像の具体例を示す図である。図１２では、室内の部分
が室内灯７１からの光を受けており、窓７２の外の部分
は太陽光を受けた状態となっている。すなわち、室内灯
の光および太陽光の２つの照明光を受けた被写体を撮影
して得られた画像となっている。FIG. 12 is a diagram showing a specific example of an image of a subject receiving a plurality of illumination lights. In FIG. 12, a portion inside the room receives light from the interior light 71, and a portion outside the window 72 receives the sunlight. That is, the image is obtained by photographing a subject that has received two illumination lights, that is, the light of the interior light and the sunlight.

【００９０】図１２に示す画像を領域分割した場合、お
よそ室内灯７１の部分、窓７２の部分、花瓶７３の部
分、テーブル７４の部分、室内の壁７５の部分等の領域
に分割される。これらの領域に対して照明成分データ２
３６の生成を行った場合、窓７２の外の風景の領域では
太陽光の照明成分データ２３６が得られ、他の領域で
は、室内灯７１の光の照明成分データ２３６が得られ
る。ただし、条件によっては領域ごとに室内灯７１の光
の強度が異なった照明成分データ２３６が得られる。When the image shown in FIG. 12 is divided into regions, the image is roughly divided into regions such as a room light 71, a window 72, a vase 73, a table 74, a room wall 75, and the like. Illumination component data 2 for these areas
When 36 is generated, illumination component data 236 of sunlight is obtained in a landscape area outside the window 72, and illumination component data 236 of light of the interior lamp 71 is obtained in other areas. However, depending on the conditions, the illumination component data 236 in which the light intensity of the room light 71 differs for each area is obtained.

【００９１】以上のように第２の実施の形態における処
理により、同一の照明の影響を受けていると推定される
領域ごとに適切な照明成分データ２３６が求められ、図
１２に示す画像の被写体に関する物体色成分データ２３
７も領域ごとに適切に求めることが実現される。As described above, by the processing according to the second embodiment, appropriate illumination component data 236 is obtained for each area that is presumed to be affected by the same illumination, and the subject in the image shown in FIG. Object color component data 23
7 can be obtained appropriately for each area.

【００９２】なお、第１画像および第２画像をシャッタ
ースピードや絞り値等の露出条件を変更しつつ複数組取
得することにより、さらに適切な照明成分データ２３６
および物体色成分データ２３７を求めることが可能とな
る。By acquiring a plurality of sets of the first image and the second image while changing exposure conditions such as a shutter speed and an aperture value, more appropriate illumination component data 236 can be obtained.
And the object color component data 237 can be obtained.

【００９３】例えば、複数の露出条件にて第１画像およ
び第２画像を複数組（４組、８組等）取得しておき、最
も適切な露出条件の第１画像および第２画像を用いて照
明成分データ２３６および物体色成分データ２３７を求
めるという手法が考えられる。この手法は第１の実施の
形態にも利用することができる。For example, a plurality of sets (first set, second set, etc.) of the first image and the second image are acquired under a plurality of exposure conditions, and the first image and the second image under the most appropriate exposure conditions are used. A method of obtaining the illumination component data 236 and the object color component data 237 can be considered. This technique can also be used in the first embodiment.

【００９４】また、最も適切な露出の第２画像に基づい
て領域分割を行い、注目領域に関して最も適切な露出の
第１画像および第２画像の組合せを選択するようにして
もよい。この場合、注目領域ごとに第１画像および第２
画像が適宜変更されて照明成分データ２３６の生成が行
われる。Further, the region may be divided based on the second image having the most appropriate exposure, and a combination of the first image and the second image having the most appropriate exposure for the region of interest may be selected. In this case, the first image and the second image
The image is appropriately changed, and the illumination component data 236 is generated.

【００９５】以上の手法により、照明成分データ２３６
の演算の際に演算対象画素の数を増加させることがで
き、さらに適切な照明成分データ２３６および物体色成
分データ２３７を求めることが実現される。By the above method, the illumination component data 236
, The number of calculation target pixels can be increased, and more appropriate illumination component data 236 and object color component data 237 can be obtained.

【００９６】＜３． 第３の実施の形態＞図１３は本発
明の第３の実施の形態に係るデジタル撮像システム３の
構成を示す図である。デジタル撮像システム３は、撮影
対象の画像を取得するモノクロデジタルカメラ３１、互
いに異なる特性の複数のフィルタを有する回転式フィル
タ３２、および、デジタルカメラ３１にて得られた画像
を処理するコンピュータ３３を有する。回転式フィルタ
３２は、所定の波長帯の光のみを透過するフィルタを複
数有し、デジタルカメラ３１に入射する光を特定の波長
帯に制限する。<3. Third Embodiment> FIG. 13 is a diagram showing a configuration of a digital imaging system 3 according to a third embodiment of the present invention. The digital imaging system 3 includes a monochrome digital camera 31 for acquiring an image to be captured, a rotary filter 32 having a plurality of filters having mutually different characteristics, and a computer 33 for processing an image obtained by the digital camera 31. . The rotary filter 32 has a plurality of filters that transmit only light in a predetermined wavelength band, and limits light incident on the digital camera 31 to a specific wavelength band.

【００９７】図１４は、デジタル撮像システム３の主な
構成を示すブロック図である。デジタル撮像システム３
では、画像の処理をコンピュータ３３において行うとい
う点で第１の実施の形態と異なっている。FIG. 14 is a block diagram showing a main configuration of the digital imaging system 3. As shown in FIG. Digital imaging system 3
The second embodiment differs from the first embodiment in that image processing is performed by the computer 33.

【００９８】図１４に示すように、デジタルカメラ３１
はレンズ系３１１、ＣＣＤ３１２およびＡ／Ｄ変換部３
１３を有し、撮影対象の画像をデジタルデータとして取
得する機能を有する。As shown in FIG. 14, the digital camera 31
Denotes a lens system 311, a CCD 312, and an A / D converter 3
13 and a function of acquiring an image to be captured as digital data.

【００９９】コンピュータ３３は、デジタルカメラ３１
にて取得された画像を処理する機能を有し、ＣＰＵ４
１、固定ディスク４２、ＲＡＭ４３およびディスクドラ
イブ４４を有する。固定ディスク４２には、画像を処理
するためのプログラム４２１が記憶されており、ＲＡＭ
４３は各種データが記憶されたり、画像処理の作業が行
われる領域となっている。The computer 33 is a digital camera 31
CPU 4 has a function of processing an image acquired by
1, a fixed disk 42, a RAM 43, and a disk drive 44. The fixed disk 42 stores a program 421 for processing an image,
Reference numeral 43 denotes an area where various data is stored and an image processing operation is performed.

【０１００】ＲＡＭ４３は、固定ディスク４２、携帯可
能な磁気ディスク、光磁気ディスク等の記録媒体とデー
タの受け渡しが可能とされており、後述する手法にて生
成された照明成分データや物体色成分データが必要に応
じて記録媒体との間で受け渡しされる。なお、図１３お
よび図１４では、記録媒体としてディスクドライブ４４
を介してＲＡＭ４３等との間でデータの転送が行われる
記録媒体９を例示している。The RAM 43 is capable of exchanging data with a recording medium such as a fixed disk 42, a portable magnetic disk, or a magneto-optical disk. Illumination component data and object color component data generated by a method described later are provided. Is transferred to and from a recording medium as needed. 13 and 14, the disk drive 44 is used as a recording medium.
2 illustrates a recording medium 9 in which data is transferred to and from the RAM 43 and the like.

【０１０１】また、記録媒体９に画像処理のプログラム
を記憶させ、このプログラムをＲＡＭ４３に読み込ま
せ、ＲＡＭ４３内のプログラムにより、あるいは、固定
ディスク４２内のプログラムとＲＡＭ４３内のプログラ
ムとによりコンピュータ３３が画像処理装置として機能
するようになっていてもよい。Further, an image processing program is stored in the recording medium 9, and the program is read into the RAM 43. The computer 33 executes the image processing according to the program in the RAM 43 or the program in the fixed disk 42 and the program in the RAM 43. It may function as a processing device.

【０１０２】コンピュータ３３には、さらに、画像を表
示したり操作者への情報の表示を行うディスプレイ４
５、および、操作者からの入力を受け付けるキーボー
ド、マウス等の入力部４６が設けられている。The computer 33 further has a display 4 for displaying images and displaying information to the operator.
And an input unit 46 such as a keyboard and a mouse for receiving an input from the operator.

【０１０３】デジタルカメラ３１およびコンピュータ３
３による構成は、以上のように第１の実施の形態に係る
デジタルカメラ１の構成と類似しているが、このデジタ
ル撮像システム３では、回転式フィルタ３２を用いて照
明成分データや物体色成分データを求めるようになって
いる点で第１の実施の形態と相違している。Digital camera 31 and computer 3
3 is similar to the configuration of the digital camera 1 according to the first embodiment as described above, however, in this digital imaging system 3, illumination component data and object color components are It differs from the first embodiment in that data is obtained.

【０１０４】回転式フィルタ３２は、円盤状の回転体に
特定の波長帯の光のみを透過するフィルタを複数設けた
構成となっており、回転体が回転することによりデジタ
ルカメラ３１には異なる波長帯の光のみが切り替えられ
ながら入射する。各フィルタは可視光の波長帯を複数に
分割した各波長帯に対応している。The rotary filter 32 has a configuration in which a plurality of filters that transmit only light in a specific wavelength band are provided on a disk-shaped rotating body. The digital camera 31 has different wavelengths when the rotating body rotates. Only the light in the band enters while being switched. Each filter corresponds to each wavelength band obtained by dividing the wavelength band of visible light into a plurality.

【０１０５】デジタルカメラ３１のレンズ系３１１の前
に、いずれの種類のフィルタが位置するかは回転式フィ
ルタ３２に設けられたエンコーダからの信号により、コ
ンピュータ３３が認識できるようにされている。The computer 33 can recognize which type of filter is located in front of the lens system 311 of the digital camera 31 based on a signal from an encoder provided in the rotary filter 32.

【０１０６】図１５は、ＣＰＵ４１、固定ディスク４
２、ＲＡＭ４３等により実現される機能構成およびその
他の構成を示すブロック図であり、対象画素決定部２０
２、成分データ生成部２０８、物体色成分データ生成部
２０５および画像再生部２０６は、図１４中に示すＣＰ
Ｕ４１、固定ディスク４２およびＲＡＭ４３の作業領域
により実現される機能に相当する。FIG. 15 shows the CPU 41 and the fixed disk 4.
2 is a block diagram illustrating a functional configuration realized by the RAM 43 and the like, and other configurations.
2. The component data generation unit 208, the object color component data generation unit 205, and the image reproduction unit 206
This corresponds to a function realized by the work area of the U41, the fixed disk 42, and the RAM 43.

【０１０７】図１６はデジタル撮像システム３の動作の
流れを示す流れ図である。ただし、図１６中のステップ
ＳＴ３５よりも後の処理は図５に示すステップＳＴ１
５，ＳＴ１６と同様の処理となる。以下、図１５および
図１６を参照しながら、デジタル撮像システム３の動作
について説明する。FIG. 16 is a flowchart showing the flow of the operation of the digital imaging system 3. However, processing after step ST35 in FIG. 16 is performed in step ST1 shown in FIG.
5, processing similar to ST16. Hereinafter, the operation of the digital imaging system 3 will be described with reference to FIGS.

【０１０８】まず、所定のフィルタがデジタルカメラ３
１のレンズ系３１１の前方に配置され（ステップＳＴ３
１）、コンピュータ３３の制御により撮影を行う（ステ
ップＳＴ３２）。これにより、フィルタが透過する波長
帯の光のみがデジタルカメラ３１に入射し、デジタルカ
メラ３１のＡ／Ｄ変換部３１３から１つの予備画像に相
当する予備画像データ２３８がコンピュータ３３に転送
されてＲＡＭ４３に記憶される。First, a predetermined filter is set to the digital camera 3.
1 lens system 311 (step ST3).
1) Photographing is performed under the control of the computer 33 (step ST32). As a result, only the light in the wavelength band transmitted by the filter is incident on the digital camera 31, and the preliminary image data 238 corresponding to one preliminary image is transferred from the A / D converter 313 of the digital camera 31 to the computer 33 and is transmitted to the RAM 43. Is stored.

【０１０９】次に、回転式フィルタ３２を回転させて別
の波長帯の光のみを透過するフィルタがレンズ系３１１
の前方に配置され、撮影が行われる（ステップＳＴ３
１，ＳＴ３２）。これにより、もう１つの予備画像に相
当する予備画像データ２３８がＲＡＭ４３に記憶され
る。Next, a filter that rotates the rotary filter 32 and transmits only light of another wavelength band is formed by the lens system 311.
And the photographing is performed (step ST3).
1, ST32). Thus, preliminary image data 238 corresponding to another preliminary image is stored in the RAM 43.

【０１１０】その後、フィルタの変更および撮影を繰り
返すことにより（ステップＳＴ３３）、各フィルタに対
応する予備画像データ２３８がＲＡＭ４３に記憶され
る。なお、予備画像データ２３８には回転式フィルタ３
２からのフィルタに関する情報が付与される。複数の予
備画像を撮影することは撮影対象のカラー画像を撮影す
ることに相当する。Thereafter, by changing the filters and photographing repeatedly (step ST33), the preliminary image data 238 corresponding to each filter is stored in the RAM 43. The preliminary image data 238 includes the rotary filter 3
Information about the filter from No. 2 is given. Shooting a plurality of preliminary images is equivalent to shooting a color image to be shot.

【０１１１】複数の予備画像に相当する予備画像データ
２３８がＲＡＭ４３に記憶されると、対象画素決定部２
０２により演算対象画素が特定される。具体的には、い
ずれの予備画像においても画素値が飽和も黒つぶれもし
ていない画素の位置が演算対象画素の位置として特定さ
れる（ステップＳＴ３４）。When the preliminary image data 238 corresponding to a plurality of preliminary images is stored in the RAM 43, the target pixel determining unit 2
02 specifies the calculation target pixel. Specifically, the position of the pixel whose pixel value is neither saturated nor blackened in any of the preliminary images is specified as the position of the calculation target pixel (step ST34).

【０１１２】その後、予備画像データ２３８を用いて演
算対象画素の照明成分データが求められる（ステップＳ
Ｔ３５）。Thereafter, the illumination component data of the calculation target pixel is obtained using the preliminary image data 238 (step S).
T35).

【０１１３】複数の予備画像から照明成分データ２３６
を求める手法としては適切なデータが生成されるのであ
ればどのような手法が用いられてもよい。例えば、富永
昌治、「色恒常性を実現するカメラ系とアルゴリズ
ム」、信学技報 PRU95-11(1995-05)（７７〜８４頁）に
記載された手法が採用されてもよい。この手法では照明
光の分光分布および撮影対象の分光反射率を次のように
して求めている。Illumination component data 236 from a plurality of preliminary images
Any method may be used as long as appropriate data is generated. For example, the method described in Shoji Tominaga, “Camera system and algorithm for achieving color constancy”, IEICE Technical Report PRU95-11 (1995-05) (pages 77 to 84) may be adopted. In this method, the spectral distribution of the illumination light and the spectral reflectance of the object to be photographed are obtained as follows.

【０１１４】まず、撮影対象上の位置（以下、「対象位
置」という。）から入射する光の分光分布Ｃ(λ)は、波
長をλ、対象位置における分光反射率をＳ(λ)、照明光
の分光分布をＥ(λ)として、First, the spectral distribution C (λ) of light incident from a position on a photographing target (hereinafter referred to as “target position”) has a wavelength λ, a spectral reflectance at the target position S (λ), and illumination. Assuming that the spectral distribution of light is E (λ),

【０１１５】[0115]

【数７】 (Equation 7)

【０１１６】として表される。ここで、α，βはスケー
ルファクタであり、αＳ(λ)Ｅ(λ)は拡散反射成分、β
Ｅ(λ)は正反射成分に相当する。Is represented as Here, α and β are scale factors, αS (λ) E (λ) is a diffuse reflection component, and β
E (λ) corresponds to a specular reflection component.

【０１１７】また、ｋ番目のフィルタにより撮影された
画像中の対象位置に対応する画素の画素値（すなわち、
ＣＣＤ３１２の出力値）ρkは、フィルタの波長帯域に
対応するＣＣＤ３１２の分光感度をＲk(λ)として、Further, the pixel value of the pixel corresponding to the target position in the image photographed by the k-th filter (ie,
The output value of the CCD 312) ρk is represented by Rk (λ), where Rk (λ) is the spectral sensitivity of the CCD 312 corresponding to the wavelength band of the filter.

【０１１８】[0118]

【数８】 (Equation 8)

【０１１９】として表される。Are represented as

【０１２０】ここで、照明光の分光分布Ｅ(λ)と対象位
置の分光反射率Ｓ(λ)について複数の基底関数の加重和
として表現する有次元線形モデルを用いることにより、
最終的に、Here, by using a dimensional linear model expressing the spectral distribution E (λ) of the illumination light and the spectral reflectance S (λ) at the target position as a weighted sum of a plurality of basis functions,
Finally,

【０１２１】[0121]

【数９】 (Equation 9)

【０１２２】と変形される。ρは画素値ρkを要素とす
るベクトル、Λは対象位置の分光反射率Ｓ(λ)の有次元
線形モデルの基底関数に対するセンサの応答を表す行
列、σは分光反射率Ｓ(λ)の有次元線形モデルの加重係
数のベクトル、Ｈは照明光の分光分布Ｅ(λ)の有次元線
形モデルの基底関数に対するセンサの応答を表す行列、
εは分光分布Ｅ(λ)の有次元線形モデルの加重係数のベ
クトルである。Is transformed. ρ is a vector having the pixel value ρk as an element, Λ is a matrix representing the response of the sensor to the basis function of the dimensional linear model of the spectral reflectance S (λ) at the target position, and σ is the value of the spectral reflectance S (λ). H is a matrix representing the response of the sensor to the basis function of the dimensional linear model of the spectral distribution E (λ) of the illumination light,
ε is a vector of weighting coefficients of the dimensional linear model of the spectral distribution E (λ).

【０１２３】そして、同一照明下では複数の対象位置に
ついてベクトルＨεの方向が一定であるという法則を利
用しつつ、適宜簡略化した演算手法を採用することによ
り上記式からσとεとが求められる。本実施の形態の場
合、演算対象画素に対応する被写体上の位置が上述の対
象位置として扱われる。これにより、２つの有次元線形
モデルの係数が求められ、照明光の分光分布Ｅ(λ)およ
び対象位置の分光反射率Ｓ(λ)が求められる。ただし、
本実施の形態にて利用される値は照明光の分光分布Ｅ
(λ)のみである。Then, under the same illumination, σ and ε are obtained from the above equations by employing a simplified calculation method while utilizing the rule that the direction of the vector Hε is constant at a plurality of target positions. . In the case of the present embodiment, the position on the subject corresponding to the calculation target pixel is treated as the above-described target position. Thereby, the coefficients of the two dimensional linear models are obtained, and the spectral distribution E (λ) of the illumination light and the spectral reflectance S (λ) at the target position are obtained. However,
The value used in the present embodiment is the spectral distribution E of the illumination light.
(λ) only.

【０１２４】以上に例示した手法を用いて、成分データ
生成部２０８は複数の予備画像における演算対象画素の
画素値から画像全体に対する照明光の分光分布Ｅ(λ)を
求める。なお、処理を簡潔に行うためにスケールファク
タβを０として演算を行ってもよい。Using the method exemplified above, the component data generation unit 208 obtains the spectral distribution E (λ) of the illumination light for the entire image from the pixel values of the calculation target pixels in the plurality of preliminary images. The calculation may be performed with the scale factor β set to 0 in order to simplify the processing.

【０１２５】画像全体に対する照明成分データ２３６が
求められると、第１の実施の形態と同様に、予備画像デ
ータ２３８および照明成分データ２３６を用いて複数の
連立方程式を作成し（数６のρ_c2を画素値とし、Ｒ_cを
フィルタの分光透過率とする）、全画素に対応する物体
色成分データ２３７が求められる（図５：ステップＳＴ
１５）。その後、適宜、照明成分データ２３６および物
体色成分データ２３７が個別に記録媒体９に保存される
（ステップＳＴ１６）。When the illumination component data 236 for the entire image is obtained, a plurality of simultaneous equations are created using the preliminary image data 238 and the illumination component data 236, as in the first embodiment (ρ _{c2 in} Equation 6). Is a pixel value, and _Rc is a spectral transmittance of the filter), and object color component data 237 corresponding to all pixels is obtained (FIG. 5: step ST).
15). Thereafter, the illumination component data 236 and the object color component data 237 are stored individually in the recording medium 9 as appropriate (step ST16).

【０１２６】また、入力部４６を介して使用者が照明成
分データ２３６および物体色成分データ２３７の選択、
並びに、画像再生の指示を行った場合、画像再生部２０
６が両データを合成して画像データを生成し、ディスプ
レイ４５に画像が表示される。The user can select the illumination component data 236 and the object color component data 237 via the input unit 46,
When an image reproduction instruction is given, the image reproduction unit 20
6 combines the two data to generate image data, and the image is displayed on the display 45.

【０１２７】第３の実施の形態においても第２の実施の
形態と同様、領域分割を行って領域ごとに照明成分デー
タ２３６を求めるようにすることも可能である。In the third embodiment, similarly to the second embodiment, it is possible to divide the area and obtain the illumination component data 236 for each area.

【０１２８】＜４． 変形例＞以上、本発明に係る実施
の形態について説明してきたが、本発明は上記実施の形
態に限定されるものではなく様々な変形が可能である。<4. Modifications> While the preferred embodiments of the present invention have been described above, the present invention is not limited to the above-discussed preferred embodiments, but allows various modifications.

【０１２９】例えば、第１の実施の形態では、充電電圧
および発光時間をモニタすることにより、フラッシュ１
２１の発光特性を一定に保つようにしているが、他の方
法によりフラッシュ１２１の発光特性が一定に保たれて
もよい。例えば、フラッシュ１２１をパルス状に発光す
ることにより、フラッシュの発光特性が一定に保たれて
もよい。For example, in the first embodiment, the flash 1 is monitored by monitoring the charging voltage and the light emission time.
Although the light emission characteristics of the flash 121 are kept constant, the light emission characteristics of the flash 121 may be kept constant by another method. For example, the light emission characteristics of the flash 121 may be kept constant by emitting the light of the flash 121 in a pulse shape.

【０１３０】また、充電電圧および発光時間をモニタす
ることにより、発光後にフラッシュ光の分光特性を求め
るようにしてもよい。Further, the spectral characteristics of the flash light may be obtained after the light emission by monitoring the charge voltage and the light emission time.

【０１３１】第１の実施の形態ではフラッシュ１２１が
被写体への照明環境を変更する手段として機能している
が、照明環境を変更する方法はフラッシュ１２１を用い
る手法に限定されるものではない。In the first embodiment, the flash 121 functions as a means for changing the illumination environment for the subject, but the method for changing the illumination environment is not limited to the method using the flash 121.

【０１３２】また、第１の実施の形態では演算対象画素
ごとの照明成分データを平均して画像全体の照明成分デ
ータ２３６を求めるが、画素ごとの照明成分データのヒ
ストグラムを求め、ヒストグラムのピークやメジアンに
相当する照明成分データを画像全体の照明成分データ２
３６として利用してもよい。In the first embodiment, the illumination component data 236 of the entire image is obtained by averaging the illumination component data of each pixel to be calculated. However, the histogram of the illumination component data of each pixel is obtained, The illumination component data corresponding to the median is converted into the illumination component data 2 of the entire image.
36.

【０１３３】一方、第３の実施の形態では、デジタルカ
メラ３１の前方に回転式フィルタ３２を配置するように
しているが、複数のフィルタを切り替える機構をデジタ
ルカメラ３１内部に設けてもよい。フィルタの切り替え
機構を設けずにデジタルカメラ３１に複数（好ましくは
４以上）の入力バンドを有する撮像素子（すなわち、複
数種類のオンチップフィルタが設けられたＣＣＤ）を設
け、これにより複数の波長帯のそれぞれについて画像を
取得するようになっていてもよい。On the other hand, in the third embodiment, the rotary filter 32 is arranged in front of the digital camera 31, but a mechanism for switching a plurality of filters may be provided inside the digital camera 31. An image pickup device having a plurality of (preferably four or more) input bands (that is, a CCD provided with a plurality of types of on-chip filters) is provided in the digital camera 31 without providing a filter switching mechanism. An image may be obtained for each of.

【０１３４】さらに、デジタルカメラ３１や回転式フィ
ルタ３２とコンピュータ３３とは伝送線で接続されてい
る必要はなく、記録媒体を介して予備画像データ２３８
等がコンピュータ３３に取り込まれるようになっていて
もよい。Further, the digital camera 31, the rotary filter 32 and the computer 33 do not need to be connected by a transmission line, and the preliminary image data 238 is connected via a recording medium.
May be taken into the computer 33.

【０１３５】このように、同一の被写体を示す複数の画
像のデータから照明成分データ２３６を求めることがで
きるのであるならば、他のどのような手法が利用されて
もよい。As described above, any other method may be used as long as the illumination component data 236 can be obtained from data of a plurality of images representing the same subject.

【０１３６】また、上記実施の形態では、照明成分デー
タ２３６や物体色成分データ２３７が複数の加重係数と
して求められると説明したが、照明成分データ２３６や
物体色成分データ２３７の形式は他の形式であってもよ
い。例えば、照明成分データ２３６が分光分布の特性曲
線として求められてもよく、物体色成分データ２３７は
被写体の分光反射率の特性曲線として求められてもよ
い。In the above embodiment, the illumination component data 236 and the object color component data 237 have been described as being obtained as a plurality of weighting factors. However, the illumination component data 236 and the object color component data 237 may have other formats. It may be. For example, the illumination component data 236 may be obtained as a characteristic curve of the spectral distribution, and the object color component data 237 may be obtained as a characteristic curve of the spectral reflectance of the subject.

【０１３７】第１の実施の形態ではデジタルカメラ１内
部に実質的にコンピュータに相当するＣＰＵ、ＲＯＭ、
ＲＡＭ等による構成を設けて演算を行い、第３の実施の
形態では単体のコンピュータを用いて演算を行うように
なっているが、第１の実施の形態において単体のコンピ
ュータを用いて演算を行うことも可能であり、第３の実
施の形態においてデジタルカメラ内にて演算を行うこと
も可能である。In the first embodiment, the digital camera 1 has a CPU, ROM,
Arithmetic operation is performed by providing a configuration using a RAM or the like, and the arithmetic operation is performed using a single computer in the third embodiment. However, the arithmetic operation is performed using a single computer in the first embodiment. It is also possible to perform the calculation in the digital camera in the third embodiment.

【０１３８】また、上記実施の形態では、ＣＰＵがプロ
グラムに従って演算を行うことにより、図４、図１０お
よび図１５に示す各種ブロックにて示される機能が実現
されると説明したが、演算処理の全部または一部は専用
の電気的回路により実現されてもよい。特に、繰り返し
演算を行う箇所をロジック回路にて構築することによ
り、高速な演算が実現される。Further, in the above-described embodiment, it has been described that the functions shown by the various blocks shown in FIGS. 4, 10 and 15 are realized by the CPU performing calculations according to the program. All or a part may be realized by a dedicated electric circuit. In particular, a high-speed operation can be realized by constructing a portion where a repetitive operation is performed by a logic circuit.

【０１３９】さらに、上記実施の形態では、照明成分デ
ータ２３６および物体色成分データ２３７を求めるよう
にしているが、照明成分データ２３６はデジタルカメラ
や画像処理におけるホワイトバランスの調整に利用する
ことも可能である。すなわち、上記実施の形態にて示し
た手法を用いて照明成分データ２３６のみが求められて
もよく、精度の高い照明成分データ２３６を利用するこ
とにより、ホワイトバランスの調整を適切に行うことが
実現される。Further, in the above embodiment, the illumination component data 236 and the object color component data 237 are obtained. However, the illumination component data 236 can be used for white balance adjustment in digital cameras and image processing. It is. That is, only the illumination component data 236 may be obtained by using the method described in the above embodiment, and by using the illumination component data 236 with high accuracy, it is possible to appropriately adjust the white balance. Is done.

【０１４０】[0140]

【発明の効果】請求項１ないし４、並びに、請求項７お
よび９の発明では、照明成分データを適切に求めること
ができる。According to the first to fourth and seventh and ninth aspects of the present invention, the illumination component data can be appropriately obtained.

【０１４１】また、請求項２の発明では、物体色成分デ
ータを適切に求めることができる。According to the second aspect of the present invention, object color component data can be appropriately obtained.

【０１４２】また、請求項３の発明では、照明変更手段
を用いて照明成分データを求めることが実現され、請求
項４の発明では、複数のフィルタを用いて照明成分デー
タを求めることが実現される。Further, according to the invention of claim 3, it is realized to obtain the illumination component data using the illumination changing means, and according to the invention of claim 4, it is realized to obtain the illumination component data by using a plurality of filters. You.

【０１４３】請求項５，６，８および１０の発明では、
照明環境として複数の照明光が存在する場合であっても
照明光ごとの照明成分データを求めることができる。According to the fifth, sixth, eighth and tenth aspects of the present invention,
Even when a plurality of illumination lights exist as the illumination environment, illumination component data for each illumination light can be obtained.

【０１４４】また、請求項６の発明では、適切な照明成
分データを求めることができる。According to the invention of claim 6, it is possible to obtain appropriate illumination component data.

【図面の簡単な説明】[Brief description of the drawings]

【図１】第１の実施の形態に係るデジタルカメラの全体
を示す斜視図である。FIG. 1 is a perspective view showing an entire digital camera according to a first embodiment.

【図２】デジタルカメラの背面図である。FIG. 2 is a rear view of the digital camera.

【図３】デジタルカメラの内部構成を示すブロック図で
ある。FIG. 3 is a block diagram illustrating an internal configuration of the digital camera.

【図４】デジタルカメラの機能をブロックにて示す図で
ある。FIG. 4 is a block diagram showing functions of the digital camera.

【図５】デジタルカメラの動作の流れを示す図である。FIG. 5 is a diagram showing a flow of an operation of the digital camera.

【図６】発光制御回路の動作の流れを示す図である。FIG. 6 is a diagram showing a flow of operation of the light emission control circuit.

【図７】照明成分データの算出の流れを示す図である。FIG. 7 is a diagram showing a flow of calculating illumination component data.

【図８】照明成分データの算出の流れの他の例を示す図
である。FIG. 8 is a diagram illustrating another example of a flow of calculating illumination component data.

【図９】第２の実施の形態におけるデジタルカメラの動
作の流れを示す図である。FIG. 9 is a diagram showing a flow of operation of the digital camera according to the second embodiment.

【図１０】領域分割部および対象画素決定部を示すブロ
ック図である。FIG. 10 is a block diagram illustrating a region dividing unit and a target pixel determining unit.

【図１１】領域分割の処理の流れを示す図である。FIG. 11 is a diagram showing a flow of a region dividing process.

【図１２】画像を例示する図である。FIG. 12 is a diagram illustrating an image.

【図１３】第３の実施の形態に係るデジタル撮像システ
ムの構成を示す図である。FIG. 13 is a diagram illustrating a configuration of a digital imaging system according to a third embodiment.

【図１４】デジタル撮像システムの内部構成を示す図で
ある。FIG. 14 is a diagram illustrating an internal configuration of a digital imaging system.

【図１５】デジタル撮像システムの機能をブロックにて
示す図である。FIG. 15 is a block diagram illustrating functions of the digital imaging system.

【図１６】デジタル撮像システムの動作の流れを示す図
である。FIG. 16 is a diagram illustrating a flow of an operation of the digital imaging system.

【符号の説明】[Explanation of symbols]

１ デジタルカメラ ３ デジタル撮像システム ９ 記録媒体 ２１，４１ ＣＰＵ ３１，１１２ ＣＣＤ ３２ 回転式フィルタ ３３ コンピュータ １２１ フラッシュ １２３ 外部メモリ ２０２ 対象画素決定部 ２０４ 照明成分データ生成部 ２０５ 物体色成分データ生成部 ２０７ 領域分割部 ２２１，４２１ プログラム ２３１ 第１画像データ ２３２ 第２画像データ ２３６ 照明成分データ ２３７ 物体色成分データ ２３８ 予備画像データ ＳＴ２１〜ＳＴ２４，ＳＴ３４，ＳＴ３５，ＳＴ２０
２，ＳＴ２０４〜ＳＴ２０７，ＳＴ２１１〜ＳＴ２１
４，ＳＴ２１５，ＳＴ２１７ ステップReference Signs List 1 digital camera 3 digital imaging system 9 recording medium 21, 41 CPU 31, 112 CCD 32 rotary filter 33 computer 121 flash 123 external memory 202 target pixel determination unit 204 illumination component data generation unit 205 object color component data generation unit 207 area division Unit 221 421 Program 231 First image data 232 Second image data 236 Illumination component data 237 Object color component data 238 Preliminary image data ST21 to ST24, ST34, ST35, ST20
2, ST204 to ST207, ST211 to ST21
4, ST215, ST217 Step

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 9/04 Ｈ０４Ｎ 9/04 Ｂ ５Ｃ０６６ Ｚ // Ｇ０１Ｊ 3/46 Ｇ０１Ｊ 3/46 Ｚ Ｆターム(参考） 2G020 AA08 DA13 DA22 DA31 DA34 DA35 DA36 DA63 DA65 2H002 AB06 DB14 DB17 DB25 DB30 DB32 2H053 AB05 2H054 AA01 5C065 BB01 BB41 DD02 EE12 FF05 GG18 GG29 GG32 5C066 AA01 AA15 CA27 DC06 EA14 FA02 HA02 KE09 KE11 ──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. ⁷ Identification symbol FI Theme coat ゛ (Reference) H04N 9/04 H04N 9/04 B 5C066 Z // G01J 3/46 G01J 3/46 Z F term (reference) 2G020 AA08 DA13 DA22 DA31 DA34 DA35 DA36 DA63 DA65 2H002 AB06 DB14 DB17 DB25 DB30 DB32 2H053 AB05 2H054 AA01 5C065 BB01 BB41 DD02 EE12 FF05 GG18 GG29 GG32 5C066 AA01 AA15 CA27 DC06 EA14 FA02 HA02

Claims (10)

【特許請求の範囲】[Claims] 【請求項１】 デジタル撮像装置であって、 同一の被写体を示す複数の画像のデータを取得する撮像
手段と、 演算対象となる画素の位置を特定する手段と、 前記複数の画像中の前記演算対象となる画素の値に基づ
いて照明環境が画像に与える影響を示す照明成分データ
を求める手段と、を備えることを特徴とするデジタル撮
像装置。1. A digital imaging apparatus, comprising: an imaging unit that acquires data of a plurality of images representing the same subject; a unit that identifies a position of a pixel to be calculated; and the calculation in the plurality of images. Means for obtaining illumination component data indicating an influence of an illumination environment on an image based on a value of a target pixel. 【請求項２】 請求項１に記載のデジタル撮像装置であ
って、 前記照明成分データを用いて照明環境の影響が取り除か
れた画像のデータに相当する物体色成分データを求める
手段、をさらに備えることを特徴とするデジタル撮像装
置。2. The digital imaging apparatus according to claim 1, further comprising: means for obtaining object color component data corresponding to data of an image from which an influence of an illumination environment has been removed by using the illumination component data. A digital imaging device characterized by the above-mentioned. 【請求項３】 請求項１または２に記載のデジタル撮像
装置であって、 前記被写体への照明環境を変更する照明変更手段、をさ
らに備え、 前記撮像手段が、前記照明変更手段による照明環境の変
更前および変更後のそれぞれにおいて画像を取得するこ
とを特徴とするデジタル撮像装置。3. The digital imaging device according to claim 1, further comprising: illumination changing means for changing an illumination environment for the subject, wherein the imaging means is configured to change an illumination environment by the illumination changing means. A digital imaging device for acquiring images before and after a change. 【請求項４】 請求項１または２に記載のデジタル撮像
装置であって、 前記複数の画像のそれぞれが、互いに異なる特性を有す
る複数のフィルタのいずれかを介して取得されることを
特徴とするデジタル撮像装置。4. The digital imaging device according to claim 1, wherein each of the plurality of images is obtained via one of a plurality of filters having characteristics different from each other. Digital imaging device. 【請求項５】 デジタル撮像装置であって、 同一の被写体を示す複数の画像を取得する撮像手段と、 画像中の複数の領域を決定する手段と、 前記複数の画像に基づいて、前記複数の領域のそれぞれ
において照明環境が画像に与える影響を示す照明成分デ
ータを求める手段と、を備えることを特徴とするデジタ
ル撮像装置。5. A digital imaging apparatus, comprising: an imaging unit that acquires a plurality of images representing the same subject; a unit that determines a plurality of regions in the image; and the plurality of images based on the plurality of images. Means for obtaining illumination component data indicating an influence of an illumination environment on an image in each of the regions. 【請求項６】 請求項５に記載のデジタル撮像装置であ
って、 前記複数の領域のそれぞれにおいて演算対象となる画素
の位置を特定する手段、をさらに備え、 前記照明成分データを求める手段が、前記複数の画像中
の前記演算対象となる画素の値に基づいて、前記複数の
領域のそれぞれに対応する照明成分データを求めること
を特徴とするデジタル撮像装置。6. The digital imaging device according to claim 5, further comprising: a unit that specifies a position of a pixel to be calculated in each of the plurality of regions, wherein the unit that obtains the illumination component data includes: A digital imaging apparatus, wherein illumination component data corresponding to each of the plurality of regions is obtained based on a value of a pixel to be calculated in the plurality of images. 【請求項７】 コンピュータに画像処理を実行させるプ
ログラムであって、前記プログラムのコンピュータによ
る実行は、前記コンピュータに、 演算対象となる画素の位置を特定する工程と、 同一の被写体を示す複数の画像中の前記演算対象となる
画素の値に基づいて照明環境が画像に与える影響を示す
照明成分データを求める工程と、を実行させることを特
徴とするプログラム。7. A program for causing a computer to execute image processing, wherein execution of the program by the computer includes the steps of: causing the computer to specify a position of a pixel to be operated; and a plurality of images showing the same subject. Obtaining illumination component data indicating an influence of an illumination environment on an image based on a value of a pixel to be calculated therein. 【請求項８】 コンピュータに画像処理を実行させるプ
ログラムであって、前記プログラムのコンピュータによ
る実行は、前記コンピュータに、 画像中の複数の領域を決定する工程と、 同一の被写体を示す複数の画像に基づいて、前記複数の
領域のそれぞれにおいて照明環境が画像に与える影響を
示す照明成分データを求める工程と、を実行させること
を特徴とするプログラム。8. A program for causing a computer to execute image processing, wherein the execution of the program by the computer includes a step of determining a plurality of regions in the image and a step of determining a plurality of regions showing the same subject. Obtaining illumination component data indicating an influence of an illumination environment on an image in each of the plurality of regions based on the plurality of regions. 【請求項９】 コンピュータに画像処理を実行させるプ
ログラムを記録した記録媒体であって、前記プログラム
のコンピュータによる実行は、前記コンピュータに、 演算対象となる画素の位置を特定する工程と、 同一の被写体を示す複数の画像中の前記演算対象となる
画素の値に基づいて照明環境が画像に与える影響を示す
照明成分データを求める工程と、を実行させることを特
徴とする記録媒体。9. A recording medium on which a program for causing a computer to execute image processing is recorded, wherein the execution of the program by the computer includes the steps of: specifying the position of a pixel to be calculated; A step of obtaining illumination component data indicating an influence of an illumination environment on an image based on a value of a pixel to be calculated in a plurality of images indicating the following. 【請求項１０】 コンピュータに画像処理を実行させる
プログラムを記録した記録媒体であって、前記プログラ
ムのコンピュータによる実行は、前記コンピュータに、 画像中の複数の領域を決定する工程と、 同一の被写体を示す複数の画像に基づいて、前記複数の
領域のそれぞれにおいて照明環境が画像に与える影響を
示す照明成分データを求める工程と、を実行させること
を特徴とする記録媒体。10. A recording medium on which a program for causing a computer to execute image processing is recorded, wherein the execution of the program by the computer includes the steps of: determining a plurality of areas in an image; Obtaining illumination component data indicating the effect of the illumination environment on the image in each of the plurality of regions based on the plurality of images shown.