JP2002232907A - Digital image pickup device, program and recording medium - Google Patents
Digital image pickup device, program and recording mediumInfo
- Publication number
- JP2002232907A JP2002232907A JP2001030847A JP2001030847A JP2002232907A JP 2002232907 A JP2002232907 A JP 2002232907A JP 2001030847 A JP2001030847 A JP 2001030847A JP 2001030847 A JP2001030847 A JP 2001030847A JP 2002232907 A JP2002232907 A JP 2002232907A
- Authority
- JP
- Japan
- Prior art keywords
- image
- component data
- illumination
- pixel
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Stroboscope Apparatuses (AREA)
- Cameras In General (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Spectrometry And Color Measurement (AREA)
- Exposure Control For Cameras (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、画像から被写体へ
の照明光を推定する技術に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for estimating illumination light on an object from an image.
【0002】[0002]
【従来の技術】従来より、画像に基づいて被写体への照
明光を推定する技術が提案されている。例えば、富永昌
治、「色恒常性を実現するカメラ系とアルゴリズム」、
信学技報 PRU95-11(1995-05)(77〜84頁)には、多
数のフィルタを介して取得された画像から被写体への照
明光の分光分布および被写体の分光反射率を推定する技
術が開示されている。このような技術を利用することに
より、被写体を他の照明光にて照明した際に取得される
であろう画像を演算処理により求めることが可能とな
る。2. Description of the Related Art Conventionally, there has been proposed a technique for estimating illumination light on a subject based on an image. For example, Shoji Tominaga, "Camera system and algorithm to achieve color constancy",
IEICE Technical Report PRU95-11 (1995-05) (pages 77-84) describes a technique for estimating the spectral distribution of illumination light to a subject and the spectral reflectance of the subject from images acquired through a number of filters. Is disclosed. By using such a technique, it is possible to obtain an image that would be obtained when the subject is illuminated with other illumination light by arithmetic processing.
【0003】[0003]
【発明が解決しようとする課題】ところが、被写体への
照明光の分光分布や被写体の分光反射率を求める際に使
用される画像には露出の影響による不適切な値の画素や
ノイズが多数含まれており、画像全体に対して演算を行
った場合、ノイズ等の影響を受けた精度の低い照明光の
分光分布が求められてしまう。また、照明光の分光分布
を1つだけ求める手法は、照明の光源が複数存在する場
合には想定外の演算結果を導き出すこととなる。However, an image used for obtaining the spectral distribution of illumination light to a subject and the spectral reflectance of the subject contains many pixels and noises of inappropriate values due to the influence of exposure. Therefore, when the calculation is performed on the entire image, a low-accuracy spectral distribution of the illumination light affected by noise or the like is required. Further, the method of obtaining only one spectral distribution of the illumination light leads to an unexpected calculation result when there are a plurality of illumination light sources.
【0004】本発明は上記課題に鑑みなされたものであ
り、被写体への照明光の分光分布(より一般的に表現す
るならば被写体への照明環境が画像に与える影響を示す
データ)を画像から適切に求めることを主たる目的とし
ている。SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problem, and it is intended to convert the spectral distribution of illumination light to a subject (in a more general expression, data indicating the effect of the illumination environment on the subject on the image) from the image. The main purpose is to seek properly.
【0005】[0005]
【課題を解決するための手段】請求項1に記載の発明
は、デジタル撮像装置であって、同一の被写体を示す複
数の画像のデータを取得する撮像手段と、演算対象とな
る画素の位置を特定する手段と、前記複数の画像中の前
記演算対象となる画素の値に基づいて照明環境が画像に
与える影響を示す照明成分データを求める手段とを備え
る。According to a first aspect of the present invention, there is provided a digital imaging apparatus, comprising: an imaging unit for acquiring data of a plurality of images representing the same subject; and a position of a pixel to be calculated. Means for specifying, and means for obtaining illumination component data indicating an influence of an illumination environment on an image based on a value of a pixel to be calculated in the plurality of images.
【0006】請求項2に記載の発明は、請求項1に記載
のデジタル撮像装置であって、前記照明成分データを用
いて照明環境の影響が取り除かれた画像のデータに相当
する物体色成分データを求める手段をさらに備える。According to a second aspect of the present invention, there is provided the digital imaging apparatus according to the first aspect, wherein the object color component data corresponding to the data of the image from which the influence of the illumination environment has been removed using the illumination component data. Is further provided.
【0007】請求項3に記載の発明は、請求項1または
2に記載のデジタル撮像装置であって、前記被写体への
照明環境を変更する照明変更手段をさらに備え、前記撮
像手段が、前記照明変更手段による照明環境の変更前お
よび変更後のそれぞれにおいて画像を取得する。According to a third aspect of the present invention, there is provided the digital imaging apparatus according to the first or second aspect, further comprising illumination changing means for changing an illumination environment for the subject, wherein the imaging means comprises the illumination device. Images are acquired before and after the lighting environment is changed by the changing unit.
【0008】請求項4に記載の発明は、請求項1または
2に記載のデジタル撮像装置であって、前記複数の画像
のそれぞれが、互いに異なる特性を有する複数のフィル
タのいずれかを介して取得される。According to a fourth aspect of the present invention, there is provided the digital image pickup apparatus according to the first or second aspect, wherein each of the plurality of images is obtained through one of a plurality of filters having mutually different characteristics. Is done.
【0009】請求項5に記載の発明は、デジタル撮像装
置であって、同一の被写体を示す複数の画像を取得する
撮像手段と、画像中の複数の領域を決定する手段と、前
記複数の画像に基づいて、前記複数の領域のそれぞれに
おいて照明環境が画像に与える影響を示す照明成分デー
タを求める手段とを備える。According to a fifth aspect of the present invention, there is provided a digital imaging apparatus, comprising: an imaging unit for acquiring a plurality of images representing the same subject; a unit for determining a plurality of regions in the image; Means for obtaining illumination component data indicating an influence of an illumination environment on an image in each of the plurality of regions based on
【0010】請求項6に記載の発明は、請求項5に記載
のデジタル撮像装置であって、前記複数の領域のそれぞ
れにおいて演算対象となる画素の位置を特定する手段を
さらに備え、前記照明成分データを求める手段が、前記
複数の画像中の前記演算対象となる画素の値に基づい
て、前記複数の領域のそれぞれに対応する照明成分デー
タを求める。The invention according to claim 6 is the digital imaging device according to claim 5, further comprising means for specifying a position of a pixel to be calculated in each of the plurality of regions, wherein the illumination component A means for obtaining data obtains illumination component data corresponding to each of the plurality of regions based on a value of a pixel to be calculated in the plurality of images.
【0011】請求項7に記載の発明は、コンピュータに
画像処理を実行させるプログラムであって、前記プログ
ラムのコンピュータによる実行は、前記コンピュータ
に、演算対象となる画素の位置を特定する工程と、同一
の被写体を示す複数の画像中の前記演算対象となる画素
の値に基づいて照明環境が画像に与える影響を示す照明
成分データを求める工程とを実行させる。According to a seventh aspect of the present invention, there is provided a program for causing a computer to execute image processing, wherein the execution of the program by the computer is the same as the step of specifying the position of a pixel to be operated on by the computer. Obtaining illumination component data indicating the effect of the illumination environment on the image based on the value of the pixel to be calculated in the plurality of images indicating the subject.
【0012】請求項8に記載の発明は、コンピュータに
画像処理を実行させるプログラムであって、前記プログ
ラムのコンピュータによる実行は、前記コンピュータ
に、画像中の複数の領域を決定する工程と、同一の被写
体を示す複数の画像に基づいて、前記複数の領域のそれ
ぞれにおいて照明環境が画像に与える影響を示す照明成
分データを求める工程とを実行させる。[0012] The invention according to claim 8 is a program for causing a computer to execute image processing, wherein the execution of the program by the computer is the same as the step of determining a plurality of areas in an image by the computer. Obtaining illumination component data indicating the influence of the illumination environment on the image in each of the plurality of regions based on the plurality of images representing the subject.
【0013】請求項9に記載の発明は、コンピュータに
画像処理を実行させるプログラムを記録した記録媒体で
あって、前記プログラムのコンピュータによる実行は、
前記コンピュータに、演算対象となる画素の位置を特定
する工程と、同一の被写体を示す複数の画像中の前記演
算対象となる画素の値に基づいて照明環境が画像に与え
る影響を示す照明成分データを求める工程とを実行させ
る。According to a ninth aspect of the present invention, there is provided a recording medium storing a program for causing a computer to execute image processing, wherein the computer executes the program.
The computer includes a step of specifying a position of a pixel to be calculated, and illumination component data indicating an influence of an illumination environment on the image based on a value of the pixel to be calculated in a plurality of images showing the same subject. And the step of determining
【0014】請求項10に記載の発明は、コンピュータ
に画像処理を実行させるプログラムを記録した記録媒体
であって、前記プログラムのコンピュータによる実行
は、前記コンピュータに、画像中の複数の領域を決定す
る工程と、同一の被写体を示す複数の画像に基づいて、
前記複数の領域のそれぞれにおいて照明環境が画像に与
える影響を示す照明成分データを求める工程とを実行さ
せる。According to a tenth aspect of the present invention, there is provided a recording medium on which a program for causing a computer to execute image processing is recorded, wherein the execution of the program by the computer causes the computer to determine a plurality of areas in the image. Based on the process and a plurality of images showing the same subject,
Obtaining illumination component data indicating an influence of an illumination environment on an image in each of the plurality of regions.
【0015】[0015]
【発明の実施の形態】<1. 第1の実施の形態>図1
は本発明の第1の実施の形態に係るデジタル撮像装置で
あるデジタルカメラ1の全体を示す斜視図である。デジ
タルカメラ1は、撮影を行うレンズユニット11、およ
び、レンズユニット11にてデジタルデータとして取得
された画像を処理する本体部12とを有する。DESCRIPTION OF THE PREFERRED EMBODIMENTS <1. First Embodiment> FIG.
1 is a perspective view showing an entire digital camera 1 which is a digital imaging device according to a first embodiment of the present invention. The digital camera 1 has a lens unit 11 that performs photographing, and a main unit 12 that processes an image acquired as digital data by the lens unit 11.
【0016】レンズユニット11は、複数のレンズを有
するレンズ系111、および、レンズ系111を介して
被写体の像を取得するCCD112を有する。そして、
CCD112から出力される画像信号は本体部12へと
送られる。また、レンズユニット11には、操作者が被
写体を捉えるためのファインダ113、測距センサ11
4等も配置される。The lens unit 11 has a lens system 111 having a plurality of lenses, and a CCD 112 for acquiring an image of a subject via the lens system 111. And
The image signal output from the CCD 112 is sent to the main unit 12. Further, the lens unit 11 includes a finder 113 and a distance measurement sensor 11 for the operator to capture the subject.
4 etc. are also arranged.
【0017】本体部12には、フラッシュ121および
シャッタボタン122が設けられ、操作者がファインダ
113を介して被写体を捉え、シャッタボタン122を
操作することにより、CCD112にて電気的に画像が
取得される。このとき、必要に応じてフラッシュ121
が発光する。なお、CCD112は各画素の値として
R,G,Bの各色に関する値を取得する3バンドの撮像
デバイスとなっている。The main body 12 is provided with a flash 121 and a shutter button 122. An operator captures a subject through the finder 113 and operates the shutter button 122, so that an image is electrically acquired by the CCD 112. You. At this time, if necessary, the flash 121
Emits light. Note that the CCD 112 is a three-band imaging device that acquires values for each color of R, G, and B as the value of each pixel.
【0018】CCD112からの画像信号は本体部12
内部にて後述する処理が行われ、必要に応じて本体部1
2に装着されている外部メモリ123(いわゆる、メモ
リカード)に記憶される。外部メモリ123は本体部1
2下面の蓋を開けて取出ボタン124を操作することに
より本体部12から取り出される。記録媒体である外部
メモリ123に記憶されたデータは別途設けられたコン
ピュータ等を用いて他の装置に渡すことができる。逆
に、他の装置にて外部メモリ123に記憶されたデータ
をデジタルカメラ1が読み出すことも可能である。An image signal from the CCD 112 is transmitted to the main body 12.
The processing described below is performed internally, and the main unit 1
2 is stored in an external memory 123 (a so-called memory card) mounted on the memory card 2. The external memory 123 is the main unit 1
2 When the cover on the lower surface is opened and the take-out button 124 is operated, it is taken out from the main body 12. The data stored in the external memory 123 as a recording medium can be transferred to another device using a separately provided computer or the like. Conversely, the digital camera 1 can read data stored in the external memory 123 by another device.
【0019】図2はデジタルカメラ1を背後から見たと
きの様子を示す図である。本体部12の背面の中央には
撮影された画像を表示したり、操作者へのメニューを表
示する液晶のディスプレイ125が設けられ、ディスプ
レイ125の側方にはディスプレイ125に表示される
メニューに従って入力操作を行うための操作ボタン12
6が配置される。これにより、デジタルカメラ1の操
作、撮影条件の設定、外部メモリ123の保守、後述す
る画像の再生等ができるようにされている。FIG. 2 is a diagram showing a state when the digital camera 1 is viewed from behind. A liquid crystal display 125 for displaying a photographed image and displaying a menu for the operator is provided in the center of the back surface of the main body 12, and an input is made on the side of the display 125 in accordance with the menu displayed on the display 125. Operation buttons 12 for performing operations
6 are arranged. As a result, operations of the digital camera 1, setting of shooting conditions, maintenance of the external memory 123, reproduction of images to be described later, and the like can be performed.
【0020】図3は、デジタルカメラ1の主要な構成を
示すブロック図である。FIG. 3 is a block diagram showing a main configuration of the digital camera 1.
【0021】図3に示す構成のうち、レンズ系111、
CCD112、A/D変換部115、シャッタボタン1
22、CPU21、ROM22およびRAM23は画像
を取得する機能を実現する。すなわち、レンズ系111
により被写体の像がCCD112上に結像され、シャッ
タボタン122が押されると、CCD112からの画像
信号がA/D変換部115によりデジタル変換される。
A/D変換部115にて変換されたデジタル画像信号は
本体部12のRAM23に画像データとして記憶され
る。なお、これらの処理の制御はCPU21がROM2
2内に記憶されているプログラム221に従って動作す
ることにより行われる。In the structure shown in FIG.
CCD 112, A / D converter 115, shutter button 1
The CPU 22, the ROM 22, and the RAM 23 realize a function of acquiring an image. That is, the lens system 111
When the shutter button 122 is pressed, the image signal from the CCD 112 is digitally converted by the A / D converter 115.
The digital image signal converted by the A / D converter 115 is stored as image data in the RAM 23 of the main unit 12. Note that the CPU 21 controls these processes by the ROM 2.
2 is performed by operating according to the program 221 stored in the storage device 2.
【0022】また、本体部12に設けられるCPU2
1、ROM22およびRAM23が画像を処理する機能
を実現する。具体的には、ROM22に記憶されている
プログラム221に従って、RAM23を作業領域とし
て利用しながらCPU21が取得された画像に画像処理
を施す。The CPU 2 provided in the main body 12
1. ROM 22 and RAM 23 implement the function of processing images. Specifically, according to the program 221 stored in the ROM 22, the CPU 21 performs image processing on the acquired image while using the RAM 23 as a work area.
【0023】外部メモリ123はRAM23と接続さ
れ、操作ボタン126からの入力操作に基づいて各種デ
ータの受け渡しが行われる。また、ディスプレイ125
もCPU21からの信号に基づいて画像の表示や操作者
への情報の表示を行う。The external memory 123 is connected to the RAM 23, and exchanges various data based on an input operation from the operation button 126. The display 125
Also, based on a signal from the CPU 21, an image is displayed and information is displayed to the operator.
【0024】フラッシュ121は発光制御回路121a
を介してCPU21に接続されており、CPU21から
フラッシュ121を点灯する旨の指示を受けた場合に
は、発光制御回路121aがフラッシュ121の発光特
性が撮影ごとにばらつかないように制御を行う。これに
より、フラッシュ121からの光の分光分布(分光強
度)が一定となるように制御される。The flash 121 is a light emission control circuit 121a
When the CPU 21 receives an instruction to turn on the flash 121 from the CPU 21, the light emission control circuit 121a performs control so that the light emission characteristics of the flash 121 do not vary for each shooting. As a result, control is performed so that the spectral distribution (spectral intensity) of the light from the flash 121 is constant.
【0025】図4は、主としてCPU21、ROM22
およびRAM23により実現される機能の構成を他の構
成とともに示すブロック図であり、図5は撮影および画
像処理の流れを示す図である。図4に示す構成のうち、
差分画像生成部201、対象画素決定部202、仮物体
色成分データ生成部203、照明成分データ生成部20
4、物体色成分データ生成部205および画像再生部2
06が、CPU21、ROM22、RAM23等により
実現される機能を示す。以下、これらの図を参照しなが
らデジタルカメラ1の動作について説明する。FIG. 4 mainly shows a CPU 21 and a ROM 22.
FIG. 5 is a block diagram showing a configuration of functions realized by the RAM 23 and other configurations, and FIG. 5 is a diagram showing a flow of photographing and image processing. Of the configuration shown in FIG.
Difference image generation unit 201, target pixel determination unit 202, temporary object color component data generation unit 203, illumination component data generation unit 20
4. Object color component data generation unit 205 and image reproduction unit 2
Reference numeral 06 denotes a function realized by the CPU 21, the ROM 22, the RAM 23, and the like. Hereinafter, the operation of the digital camera 1 will be described with reference to these drawings.
【0026】まず、フラッシュがONの状態にて撮影を
行い、フラッシュ光を浴びた被写体の画像(以下、「第
1画像」という。)を得る。すなわち、フラッシュ12
1を点灯するとともにCCD112にて画像を取得し、
得られた画像(正確には、画像信号)がA/D変換部1
15からRAM23へと送られ、第1画像データ231
として記憶される(ステップST11)。First, shooting is performed with the flash turned on to obtain an image of a subject exposed to the flash light (hereinafter, referred to as a "first image"). That is, the flash 12
1 is turned on and an image is acquired by the CCD 112,
The obtained image (accurately, an image signal) is converted by the A / D converter 1
15 to the RAM 23 and the first image data 231
(Step ST11).
【0027】次に、フラッシュがOFFの状態にて撮影
を行い、フラッシュ光を有しない照明環境下での被写体
の画像(以下、「第2画像」という。)を得る。すなわ
ち、フラッシュを用いることなくCCD112にて画像
を取得し、得られた画像がA/D変換部115からRA
M23へと送られ、第2画像データ232として記憶さ
れる(ステップST12)。Next, photographing is performed with the flash turned off, and an image of the subject in an illumination environment having no flash light (hereinafter, referred to as a "second image") is obtained. That is, an image is obtained by the CCD 112 without using a flash, and the obtained image is transmitted from the A / D converter 115 to the RA.
It is sent to M23 and stored as the second image data 232 (step ST12).
【0028】これらの2回の撮影は、連写のように迅速
に行われる。したがって、第1画像と第2画像との撮影
範囲は同一となる。また、2回の撮影はシャッター速度
(CCD112の積分時間)および絞りが同一の条件に
て行われる。These two shootings are performed quickly as in continuous shooting. Therefore, the shooting ranges of the first image and the second image are the same. The two shootings are performed under the same conditions of the shutter speed (the integration time of the CCD 112) and the aperture.
【0029】ここで、フラッシュ121の発光は、フラ
ッシュ光の分光分布が一定となるように発光制御回路1
21aにより制御される。図6は発光制御回路121a
の動作の流れを示す図である。Here, the light emission of the flash 121 is controlled so that the spectral distribution of the flash light becomes constant.
21a. FIG. 6 shows a light emission control circuit 121a.
It is a figure which shows the flow of operation | movement.
【0030】フラッシュONでの撮影の際に、あるい
は、撮影に先立って、まず、発光制御回路121aがフ
ラッシュ121のフラッシュ電源への充電電圧(すなわ
ち、フラッシュ121に与えられる電圧)のモニタを開
始する(ステップST101)。そして、充電電圧が所
定の電圧(例えば、330V)に達したと確認されると
(ステップST102)、フラッシュ電源からフラッシ
ュ121へと電力を供給して発光を開始する(ステップ
ST103)。At the time of photographing with the flash ON or prior to photographing, first, the light emission control circuit 121a starts monitoring the charging voltage of the flash 121 to the flash power supply (that is, the voltage applied to the flash 121). (Step ST101). When it is confirmed that the charging voltage has reached a predetermined voltage (for example, 330 V) (step ST102), power is supplied from the flash power supply to the flash 121 to start light emission (step ST103).
【0031】発光の開始と同時に発光制御回路121a
は発光時間のモニタを開始する(ステップST10
4)。その後、発光開始から所定の時間が経過したこと
が確認されると(ステップST105)、発光が停止さ
れる(ステップST106)。At the same time as the start of light emission, the light emission control circuit 121a
Starts monitoring the light emission time (step ST10).
4). Thereafter, when it is confirmed that a predetermined time has elapsed from the start of light emission (step ST105), light emission is stopped (step ST106).
【0032】このように、フラッシュ121の発光は一
定の電圧および発光時間となるように制御され、フラッ
シュ121の発光特性が撮影ごとにばらつくことはな
い。フラッシュ121の分光分布も上記発光制御により
一定に保たれ、この分光分布は予め計測されてRAM2
3にフラッシュ分光データ234として記憶されてい
る。なお、正確にはフラッシュ光の相対的な分光分布
(最大の分光強度を1として正規化された分光分布をい
い、以下「相対分光分布」という。)がフラッシュ分光
データ234として用いられる。As described above, the light emission of the flash 121 is controlled so as to have a constant voltage and a constant light emission time, and the light emission characteristics of the flash 121 do not vary for each photographing. The spectral distribution of the flash 121 is also kept constant by the light emission control, and this spectral distribution is measured in advance and stored in the RAM 2.
3 is stored as flash spectral data 234. Note that, more accurately, the relative spectral distribution of the flash light (the spectral distribution normalized by setting the maximum spectral intensity to 1; hereinafter, referred to as “relative spectral distribution”) is used as the flash spectral data 234.
【0033】2回の撮影により、RAM23に第1画像
データ231および第2画像データ232が保存される
と、差分画像生成部201が第1画像データ231から
第2画像データ232を減算して差分画像データ233
を求める。これにより、第1画像の各画素のR,G,B
の各値から第2画像の対応する画素のR,G,Bの各値
がそれぞれ減算され、第1画像と第2画像との差分画像
が得られる(図5:ステップST13)。When the first image data 231 and the second image data 232 are stored in the RAM 23 by two photographing operations, the difference image generation unit 201 subtracts the second image data 232 from the first image data 231 to obtain a difference. Image data 233
Ask for. Thereby, R, G, B of each pixel of the first image is obtained.
Are subtracted from the respective values of R, G, and B of the corresponding pixels of the second image to obtain a difference image between the first image and the second image (FIG. 5: step ST13).
【0034】次に、第1画像データ231、第2画像デ
ータ232、差分画像データ233およびフラッシュ分
光データ234に基づいて被写体への照明環境が画像に
与える影響を示すデータが照明成分データ236として
求められる(ステップST14)。照明成分データ23
6は実質的には被写体への照明光の分光分布に相当する
が、照明光の分光分布を正確に示すデータとして求めら
れる必要はなく、およそ照明光の分光分布を示すデータ
として求められる。Next, based on the first image data 231, the second image data 232, the difference image data 233, and the flash spectral data 234, data indicating the effect of the illumination environment on the subject on the image is obtained as the illumination component data 236. (Step ST14). Lighting component data 23
6 substantially corresponds to the spectral distribution of the illuminating light on the subject, but does not need to be obtained as data that accurately indicates the spectral distribution of the illuminating light, and is obtained as data that approximately indicates the spectral distribution of the illuminating light.
【0035】図7は照明成分データ236を求める処理
(ステップST14)の流れの概要を示す図である(演
算内容の詳細については後述)。照明成分データ236
の算出では、まず、対象画素決定部202および仮物体
色成分データ生成部203により、演算対象となる画素
の決定および仮物体色成分データ235の生成が行われ
る。FIG. 7 is a diagram showing an outline of the flow of the processing (step ST14) for obtaining the illumination component data 236 (the details of the operation will be described later). Lighting component data 236
In the calculation of, first, the target pixel determination unit 202 and the temporary object color component data generation unit 203 determine a pixel to be calculated and generate the temporary object color component data 235.
【0036】具体的には、画像中の一の画素(すなわ
ち、第1画像、第2画像および差分画像における一の画
素の位置)が注目画素(の位置)として決定され(ステ
ップST201)、各画像における注目画素の画素値が
所定の条件を満たすが否かが判断される(ステップST
202)。条件が満たされる場合には注目画素に対応す
る被写体上の微小領域の分光反射率が一画素分の仮物体
色成分データ235として求められる(ステップST2
03)。Specifically, one pixel in the image (ie, the position of one pixel in the first image, the second image, and the difference image) is determined as (the position of) the pixel of interest (step ST201), and It is determined whether the pixel value of the target pixel in the image satisfies a predetermined condition (step ST).
202). If the condition is satisfied, the spectral reflectance of the minute area on the subject corresponding to the target pixel is obtained as temporary pixel color component data 235 for one pixel (step ST2).
03).
【0037】また、仮物体色成分データ235が求めら
れた注目画素の位置が演算対象画素の位置(例えば、x
y座標)として所定の記憶場所に記憶される(ステップ
ST204)。なお、一画素分の仮物体色成分データ2
35は、被写体上の対応する微小領域の分光反射率とし
て正確に求められる必要はなく、ほぼ分光反射率を示す
データとして求められる。The position of the pixel of interest for which the provisional object color component data 235 is obtained is the position of the pixel to be calculated (for example, x
(y coordinate) is stored in a predetermined storage location (step ST204). The temporary object color component data 2 for one pixel
Reference numeral 35 does not need to be accurately obtained as the spectral reflectance of the corresponding minute area on the subject, but is obtained as data substantially indicating the spectral reflectance.
【0038】一の注目画素についてステップST202
〜ST204が実行されると、注目画素(の位置)を変
更させつつステップST202〜ST204が繰り返さ
れ、全画素について条件に応じつつ仮物体色成分データ
235の算出および演算対象画素の位置の記憶が行われ
る(ステップST205)。Step ST202 for one target pixel
When steps ST204 to ST204 are executed, steps ST202 to ST204 are repeated while changing (the position of) the pixel of interest, and the calculation of the temporary object color component data 235 and the storage of the position of the pixel to be calculated are performed according to the conditions for all the pixels. This is performed (step ST205).
【0039】演算対象画素ごとの仮物体色成分データ2
35が求められると、各演算対象画素に関する第2画像
の画素値および仮物体色成分データ235から演算対象
画素に関する照明成分データが求められる(ステップS
T206)。その後、演算対象画素ごとの照明成分デー
タの平均値が画像全体に関する照明成分データ236と
して求められる(ステップST207)。これにより、
実質的に被写体への照明光の分光分布が求められる。Temporary object color component data 2 for each calculation target pixel
When 35 is obtained, illumination component data regarding the calculation target pixel is obtained from the pixel value of the second image regarding each calculation target pixel and the temporary object color component data 235 (step S).
T206). Thereafter, the average value of the illumination component data for each pixel to be calculated is obtained as illumination component data 236 for the entire image (step ST207). This allows
Substantially, the spectral distribution of the illumination light to the subject is determined.
【0040】次に、ステップST202における演算対
象画素(正確には、演算対象画素の位置)の特定につい
て説明する。演算対象画素の特定は、照明成分データ2
36を求める際の画像中の不適切な画素やノイズ成分を
除去する処理に相当する。すなわち、第1画像、第2画
像および差分画像に基づいて、照明成分データ236の
算出には不適切な値を有する画素が演算対象から取り除
かれる。Next, the specification of the calculation target pixel (more precisely, the position of the calculation target pixel) in step ST202 will be described. The calculation target pixel is specified by the illumination component data 2
This corresponds to a process of removing inappropriate pixels and noise components in the image when calculating 36. That is, based on the first image, the second image, and the difference image, pixels having an inappropriate value for calculating the illumination component data 236 are removed from the calculation target.
【0041】フラッシュONにて取得される第1画像で
は明るい画像が取得されるため、注目画素の画素値のい
ずれかの色成分がほぼ飽和している場合に演算対象画素
から外される。例えば、R,G,Bの色成分の値が0〜
255の範囲内であるとした場合、いずれかの色成分の
値が250以上であると演算対象画素として取り扱わな
いという判定がなされる。Since a bright image is obtained in the first image obtained by turning on the flash, if any color component of the pixel value of the target pixel is substantially saturated, it is excluded from the calculation target pixel. For example, if the values of the R, G, and B color components are 0 to
If the value is within the range of 255, if the value of any color component is 250 or more, it is determined that the color component is not treated as a calculation target pixel.
【0042】フラッシュOFFにて取得される第2画像
では比較的暗い画像が取得されるため、注目画素の画素
値のいずれかの色成分が黒つぶれしている場合に演算対
象画素から外される。例えば、R,G,Bの色成分の値
が0〜255の範囲内であるとした場合、いずれかの色
成分の値が4以下であると演算対象画素として取り扱わ
れない。Since a relatively dark image is obtained in the second image obtained when the flash is turned off, if any color component of the pixel value of the target pixel is black, the pixel is excluded from the calculation target pixel. . For example, when it is assumed that the values of the R, G, and B color components are in the range of 0 to 255, if the value of any one of the color components is 4 or less, it is not treated as a calculation target pixel.
【0043】差分画像は実質的にフラッシュ光のみにて
撮影が行われた際の画像に相当するため、背景などの暗
い部分やフラッシュ光を反射して明るくなりすぎている
画素は演算対象画素から外される。すなわち、差分画像
においても、画素値の各色成分が低すぎたり高すぎる場
合には演算対象画素としては取り扱われない。Since the difference image substantially corresponds to an image obtained when the photographing is performed only with the flash light, a dark portion such as a background or a pixel which becomes too bright by reflecting the flash light is excluded from the calculation target pixel. Removed. That is, also in the difference image, if each color component of the pixel value is too low or too high, it is not treated as a calculation target pixel.
【0044】以上の3つの判定をステップST202に
おいて行うことにより、第1画像、第2画像および差分
画像のいずれにおいても適切な画素値を有する画素の位
置が演算対象画素の位置として求められる。By performing the above three determinations in step ST202, the position of a pixel having an appropriate pixel value in any of the first image, the second image, and the difference image is obtained as the position of the pixel to be calculated.
【0045】次に、仮物体色成分データ生成部203に
より演算対象画素において第2画像から照明環境の影響
を取り除いた成分(実質的に被写体の分光反射率に相当
する。)が仮物体色成分データ235として求められ、
その後、演算対象画素の照明成分データが求められる原
理について説明する。Next, a component (substantially equivalent to the spectral reflectance of the subject) obtained by removing the influence of the illumination environment from the second image in the calculation target pixel by the provisional object color component data generation unit 203 is the provisional object color component. Determined as data 235,
Then, the principle of obtaining the illumination component data of the calculation target pixel will be described.
【0046】まず、被写体を照明する照明光(光源から
の直接的な光および間接的な光を含む照明環境における
照明光いう。)の分光分布をE(λ)とし、この分光分布
E(λ)を3つの基底関数E1(λ),E2(λ),E3(λ)お
よび加重係数ε1,ε2,ε3を用いて、First, the spectral distribution of illumination light for illuminating a subject (referred to as illumination light in an illumination environment including direct light and indirect light from a light source) is defined as E (λ). ) Using three basis functions E 1 (λ), E 2 (λ), E 3 (λ) and weighting coefficients ε 1 , ε 2 , ε 3 .
【0047】[0047]
【数1】 (Equation 1)
【0048】と表し、同様に、一の演算対象画素(以
下、「対象画素」という。)に対応する被写体上の位置
の分光反射率S(λ)を3つの基底関数S1(λ),S
2(λ),S3(λ)および加重係数σ1,σ2,σ3を用い
て、Similarly, the spectral reflectance S (λ) at a position on the subject corresponding to one calculation target pixel (hereinafter, referred to as “target pixel”) is calculated by three basis functions S 1 (λ), S
2 (λ), S 3 (λ) and weighting factors σ 1 , σ 2 , σ 3
【0049】[0049]
【数2】 (Equation 2)
【0050】と表すと、CCD112上の対象画素に入
射する光I(λ)(レンズユニット11内のフィルタ等を
無視した場合の入射光)は、In this case, the light I (λ) incident on the target pixel on the CCD 112 (the incident light when the filter in the lens unit 11 is ignored) is
【0051】[0051]
【数3】 (Equation 3)
【0052】と表現される。また、対象画素のR,G,
Bのいずれかの色(以下、「対象色」という。)に関す
る値がρcであり、CCD112の対象色の分光感度を
Rc(λ)とすると、値ρcは、Is expressed as follows. In addition, R, G,
Assuming that a value relating to any color of B (hereinafter, referred to as “target color”) is ρ c and the spectral sensitivity of the target color of the CCD 112 is R c (λ), the value ρ c is:
【0053】[0053]
【数4】 (Equation 4)
【0054】により導かれる。Is derived by
【0055】ここで、フラッシュONの第1画像の対象
画素の対象色の値がρc1であり、フラッシュOFFの第
2画像の対応する値がρc2である場合、差分画像の対応
する値ρsは、Here, when the value of the target color of the target pixel of the first image of flash ON is ρ c1 and the corresponding value of the second image of flash OFF is ρ c2 , the corresponding value ρ of the difference image s
【0056】[0056]
【数5】 (Equation 5)
【0057】となる。I1(λ)はフラッシュONの際の
対象画素に入射する光であり、ε11,ε12,ε13はフラ
ッシュ光を含む照明光に関する基底関数の加重係数であ
る。同様に、I2(λ)はフラッシュOFFの際の対象画
素に入射する光であり、ε21,ε22,ε23はフラッシュ
光を含まない照明光に関する基底関数の加重係数であ
る。さらに、εsi(i=1,2,3)は(ε1i−ε2i)
である。Is as follows. I 1 (λ) is light incident on the target pixel when the flash is ON, and ε 11 , ε 12 , and ε 13 are weighting coefficients of a basis function for illumination light including flash light. Similarly, I 2 (λ) is the light incident on the target pixel when the flash is turned off, and ε 21 , ε 22 , and ε 23 are the weighting coefficients of the basis functions for the illumination light not including the flash light. Further, ε si (i = 1, 2, 3) is (ε 1i −ε 2i )
It is.
【0058】数5において、基底関数Ei(λ),Sj(λ)
は予め定められた関数であり、分光感度Rc(λ)は予め
計測により求めることができる関数である。これらの情
報は予めROM22やRAM23に記憶される。一方、
2回の撮影においてシャッター速度(あるいは、CCD
112の積分時間)および絞りが同一に制御され、第1
画像から第2画像を減算した差分画像は、照明環境の変
更のみの影響を受けた画像、すなわち、フラッシュ光の
みを照明光源とする画像に相当することから、後述する
手法により加重係数εsiはフラッシュ光の相対分光分布
から導くことができる。In Equation 5, the basis functions E i (λ) and S j (λ)
Is a predetermined function, and the spectral sensitivity R c (λ) is a function that can be obtained by measurement in advance. These pieces of information are stored in the ROM 22 and the RAM 23 in advance. on the other hand,
Shutter speed (or CCD) for two shots
112) and the aperture are controlled to be the same.
Since the difference image obtained by subtracting the second image from the image corresponds to an image affected only by the change of the illumination environment, that is, an image using only the flash light as the illumination light source, the weighting coefficient ε si is calculated by the method described below. It can be derived from the relative spectral distribution of the flash light.
【0059】したがって、数5に示す方程式において未
知数は3つの加重係数σ1,σ2,σ 3のみである。ま
た、数5に示す方程式は対象画素におけるR,G,Bの
3つの色のそれぞれに関して求めることができ、これら
3つの方程式を解くことにより3つの加重係数σ1,
σ2,σ3を求めることができる。すなわち、対象画素に
対応する被写体上の位置の分光反射率が得られる。Therefore, in the equation shown in equation (5),
The intellect is three weighting factors σ1, ΣTwo, Σ ThreeOnly. Ma
In addition, the equation shown in Equation 5 represents the R, G, and B of the target pixel.
Can be determined for each of the three colors, these
By solving three equations, three weighting factors σ1,
σTwo, ΣThreeCan be requested. That is, the target pixel
The spectral reflectance at the corresponding position on the subject is obtained.
【0060】次に、加重係数εsiを求める手法について
説明する。既述のように差分画像はフラッシュ光のみを
照明光とする画像に相当し、差分画像における照明光の
相対分光分布は既知である。一方で、フラッシュから遠
い被写体上の領域はフラッシュ121に近い領域よりも
フラッシュ光を受ける度合いが小さい。したがって、差
分画像ではおおよそフラッシュ121から遠い位置ほど
暗く現れる。Next, a method for obtaining the weighting coefficient ε si will be described. As described above, the difference image corresponds to an image using only flash light as illumination light, and the relative spectral distribution of illumination light in the difference image is known. On the other hand, the area on the subject far from the flash receives the flash light less than the area near the flash 121. Therefore, in the difference image, the position farther from the flash 121 appears darker.
【0061】そこで、3つの加重係数εs1,εs2,εs3
の値の相対関係を一定に保ったまま差分画像中の対象画
素の輝度に比例してこれらの加重係数の値を増減する。
すなわち、差分画像中の対象画素の輝度が小さい場合に
は加重係数εs1,εs2,εs3の値は小さな値として決定
され、輝度が大きい場合には加重係数εs1,εs2,ε s3
の値は大きな値として決定される。3つの加重係数
εs1,εs2,εs3の相対関係は3つの基底関数E
1(λ),E2(λ),E3(λ)の加重和がフラッシュ光の分
光分布と比例するように予め求められており、輝度と加
重係数εsiとの比例関係は予め測定により求められる。Therefore, three weighting factors εs1, Εs2, Εs3
Target image in the difference image while maintaining the relative
The values of these weighting factors are increased or decreased in proportion to the luminance of the element.
That is, when the luminance of the target pixel in the difference image is small,
Is the weighting coefficient εs1, Εs2, Εs3Is determined as a small value
Weighting factor ε when the brightness is large.s1, Εs2, Ε s3
Is determined as a large value. Three weighting factors
εs1, Εs2, Εs3Is based on three basis functions E
1(λ), ETwo(λ), EThree(λ) is the weight of the flash light
It is determined in advance to be proportional to the light distribution.
Weight coefficient εsiIs proportionally obtained by measurement in advance.
【0062】なお、加重係数εsiは対象画素に対応する
被写体上の位置に照射されるフラッシュ光の分光分布を
示す値であり、第1画像および第2画像間におけるフラ
ッシュ121による照明光の変更量の分光分布を示す値
である。したがって、フラッシュ分光データ234より
加重係数εsiを求める処理は、フラッシュ光の相対分光
分布からフラッシュ121による照明環境(照明光)の
分光変更量を求める処理に相当する。The weighting coefficient ε si is a value indicating the spectral distribution of the flash light applied to the position on the subject corresponding to the target pixel, and changes the illumination light by the flash 121 between the first image and the second image. This is a value indicating the spectral distribution of the quantity. Therefore, the process of obtaining the weighting coefficient ε si from the flash spectral data 234 corresponds to the process of calculating the spectral change amount of the illumination environment (illumination light) by the flash 121 from the relative spectral distribution of the flash light.
【0063】以上の原理に基づき、デジタルカメラ1の
仮物体色成分データ生成部203は差分画像データ23
3の演算対象画素の画素値およびフラッシュ分光データ
234を参照しながら、各演算対象画素に対応する被写
体上の位置の分光反射率を求める。被写体の分光反射率
は、照明環境の影響が取り除かれた画像データに相当
し、仮物体色成分データ235としてRAM23に記憶
される(ステップST203)。Based on the above principle, the provisional object color component data generation unit 203 of the digital camera 1
The spectral reflectance at the position on the subject corresponding to each calculation target pixel is obtained with reference to the pixel value of the calculation target pixel and the flash spectral data 234. The spectral reflectance of the subject corresponds to the image data from which the influence of the illumination environment has been removed, and is stored in the RAM 23 as temporary object color component data 235 (step ST203).
【0064】仮物体色成分データ235が求められる
と、数3および数4(ただし、数3のεiにε2iを代入
する。)より第2画像の演算対象画素のR,G,Bの値
に基づいて加重係数ε21,ε22,ε23に関する3つの方
程式を求めることができる。これらの方程式を解くこと
により画像における各演算対象画素に関する加重係数ε
2iが求められる。求められた加重係数ε2iは演算対象画
素におけるフラッシュ光を含まない照明環境の影響を示
す成分となる。The temporary object color component data 235 is obtained.
And Equations 3 and 4 (where ε of Equation 3iTo ε2iAssign
I do. ), The values of R, G, and B of the calculation target pixel of the second image
Weighting factor ε based ontwenty one, Εtwenty two, Εtwenty threeThree people
An equation can be obtained. Solving these equations
The weighting coefficient ε for each pixel to be calculated in the image
2iIs required. The calculated weighting coefficient ε2iIs the target image
Illumination effects of flash-free lighting environment
Component.
【0065】ここで、およそ均一な照明光の照明環境で
ある場合には演算対象画素ごとの加重係数ε2iのばらつ
きは少ない。そこで、加重係数ε21,ε22,ε23のそれ
ぞれについて全演算対象画素の平均値ε21a,ε22a,ε
23aを求め、求められた3つの加重係数が画像全体に関
する照明成分データ236とされる(ステップST20
7)。Here, when the illumination environment of the illumination light is approximately uniform, the variation of the weighting coefficient ε 2i for each pixel to be calculated is small. Therefore, for each of the weighting coefficients ε 21 , ε 22 , ε 23 , the average values ε 21a , ε 22a , ε
23a, and the obtained three weighting factors are used as illumination component data 236 for the entire image (step ST20).
7).
【0066】照明成分データ236が求めされると、照
明成分データ236および第2画像データ232を用い
て、物体色成分データ生成部205ににより各画素の物
体色成分データ237が求められる(図5:ステップS
T15)。具体的には、R,G,Bのそれぞれの色成分
に関して数6に示す方程式を求め、未知数σjが求めら
れる。When the illumination component data 236 is obtained, the object color component data 237 of each pixel is obtained by the object color component data generator 205 using the illumination component data 236 and the second image data 232 (FIG. 5). : Step S
T15). Specifically, the equation shown in Equation 6 is obtained for each of the R, G, and B color components, and the unknown σ j is obtained.
【0067】[0067]
【数6】 (Equation 6)
【0068】その後、求められた照明成分データ236
および物体色成分データ237が必要に応じて外部メモ
リ123に個別に保存される(ステップST16)。Thereafter, the obtained illumination component data 236
The object color component data 237 is individually stored in the external memory 123 as needed (step ST16).
【0069】画像をディスプレイ125に表示する場合
には、照明成分データ236および物体色成分データ2
37を用いて数3および数4に示した演算を行うことに
より画像再生部206により合成されて各画素のR,
G,Bの値ρr,ρg,ρbが求められ、目的とする画像
データが生成される。このとき、照明成分データ236
として別途準備された標準光(例えば、D65)、白熱
電球、蛍光灯等の光の照明成分データ236を使用する
ことにより、照明環境が変更された画像をディスプレイ
125に表示することが可能となる。When displaying an image on the display 125, the illumination component data 236 and the object color component data 2
By performing the operations shown in Expressions 3 and 4 using Expression 37, the images are synthesized by the image reproduction unit 206 and the R,
The values ρ r , ρ g , and ρ b of G and B are obtained, and target image data is generated. At this time, the illumination component data 236
By using the illumination component data 236 of light such as a standard light (for example, D65), an incandescent light bulb, a fluorescent light, and the like separately prepared, an image in which the illumination environment is changed can be displayed on the display 125. .
【0070】以上のように、デジタルカメラ1では、フ
ラッシュONの状態にて撮影された第1画像、フラッシ
ュOFFの状態にて撮影された第2画像、および、フラ
ッシュ光の相対分光分布から照明環境が画像に与える影
響を示す照明成分データ236、および、画像から照明
環境の影響を取り除いた成分である物体色成分データ2
37を求めることができる。すなわち、照明光の分光分
布や被写体の分光反射率をおよそ示すデータを照明環境
が変更された2枚の画像から簡単に求めることができ
る。照明環境の変更はフラッシュ121を用いて容易に
行われる。As described above, in the digital camera 1, the illumination environment is obtained from the first image photographed in the flash ON state, the second image photographed in the flash OFF state, and the relative spectral distribution of the flash light. Component data 236 indicating the effect of the image on the image, and object color component data 2 which is a component obtained by removing the effect of the illumination environment from the image.
37 can be obtained. That is, data that roughly indicates the spectral distribution of the illumination light and the spectral reflectance of the subject can be easily obtained from the two images in which the illumination environment has been changed. The lighting environment can be easily changed using the flash 121.
【0071】また、デジタルカメラ1としては特殊な機
構を有さず、汎用のオンチップフィルタが設けられたC
CDを有するデジタルカメラの簡単な仕様変更により照
明成分データ236および物体色成分データ237を求
めるデジタルカメラ1を実現することができる。これに
より、照明成分データ236および物体色成分データ2
37を求める動作を汎用のデジタルカメラ1の特殊モー
ドとして実現することができ、新たな生産コストが生じ
ることはない。The digital camera 1 does not have a special mechanism, and has a general-purpose on-chip filter.
The digital camera 1 that obtains the illumination component data 236 and the object color component data 237 can be realized by simply changing the specifications of the digital camera having the CD. Thereby, the illumination component data 236 and the object color component data 2
The operation for obtaining 37 can be realized as a special mode of the general-purpose digital camera 1, and no new production cost is generated.
【0072】さらに、デジタルカメラ1では照明成分デ
ータ236を求める際に、第1画像、第2画像および差
分画像に基づいて不適切な画素が演算対象から除かれ
る。すなわち、フラッシュ光が届かない部分、フラッシ
ュ光を反射して光って見える部分、その他ノイズ成分が
演算対象から除かれる。これにより、第1画像、第2画
像または差分画像の一部の画素値が不適切な値であった
としても、画像の全画素に関する適切な(すなわち、精
度の高い)照明成分データ236が求められ、画像の全
画素の物体色成分データ237も適切に求められる。Further, when obtaining the illumination component data 236 in the digital camera 1, inappropriate pixels are excluded from the calculation target based on the first image, the second image, and the difference image. That is, a portion where the flash light does not reach, a portion where the flash light appears to shine, and other noise components are excluded from the calculation target. Thereby, even if the pixel values of some of the first image, the second image, or the difference image are inappropriate values, appropriate (that is, highly accurate) illumination component data 236 for all pixels of the image is obtained. Thus, the object color component data 237 of all the pixels of the image is also appropriately obtained.
【0073】また、仮に第1画像と第2画像とが捉えた
被写体に僅かにずれが存在するとしても、ずれの影響が
差分画像において非常に明るい部分または非常に暗い部
分として現れることから、これらの部分は演算対象から
除外される。したがって、第1画像と第2画像との間に
被写体のずれが存在する場合であってもデジタルカメラ
1では照明成分データ236および物体色成分データ2
37を適切に求めることができる。Even if the subject captured by the first image and the second image has a slight shift, the influence of the shift appears as a very bright portion or a very dark portion in the difference image. Is excluded from the calculation. Therefore, even if there is a displacement of the subject between the first image and the second image, the digital camera 1 uses the illumination component data 236 and the object color component data 2
37 can be determined appropriately.
【0074】なお、以上の説明では照明成分データ23
6として各画素に共通な加重係数ε 21a,ε22a,ε23a
が保存され、物体色成分データ237として各画素に対
応する加重係数σ1,σ2,σ3が保存されると説明した
が、これらは照明光の分光分布の基底関数E1(λ),E2
(λ),E3(λ)や被写体の分光反射率の基底関数S
1(λ),S2(λ),S3(λ)とともに保存されてもよい。In the above description, the illumination component data 23
Weighting coefficient ε common to each pixel as 6 21a, Ε22a, Ε23a
Is stored, and as the object color component data 237,
Corresponding weighting factor σ1, ΣTwo, ΣThreeExplained that will be saved
However, these are the basis functions E of the spectral distribution of the illumination light.1(λ), ETwo
(λ), EThree(λ) and the basis function S of the spectral reflectance of the subject
1(λ), STwo(λ), SThree(λ).
【0075】また、図7では画素値を演算対象画素とし
て扱うか否かの判断および画素単位の仮物体色成分デー
タ235の算出を注目画素ごとに行うが、これらの処理
は個別にまとめて行われてもよい。In FIG. 7, the determination as to whether or not to treat the pixel value as the pixel to be calculated and the calculation of the temporary object color component data 235 for each pixel are performed for each pixel of interest. May be.
【0076】図8は、照明成分データ236の算出の流
れの他の例を示す図である。図8では、まず、第1画像
からいずれの色成分も飽和していない第1領域を抽出し
(ステップST211)、第2画像からいずれの色成分
も黒つぶれしていない第2領域の抽出が行われる(ステ
ップST212)。さらに、差分画像から各色成分の値
が適正範囲内に存在する第3領域が抽出される(ステッ
プST213)。すなわち、図7に示すステップST2
02の3つの判定が画像を単位として行われる。FIG. 8 is a diagram showing another example of the flow of calculating the illumination component data 236. In FIG. 8, first, a first region in which none of the color components is saturated is extracted from the first image (step ST211), and a second region in which none of the color components is blackened is extracted from the second image. It is performed (step ST212). Further, a third region in which the value of each color component is within an appropriate range is extracted from the difference image (step ST213). That is, step ST2 shown in FIG.
02 are determined for each image.
【0077】その後、第1ないし第3領域の論理積を求
めることにより、演算対象画素の集合である対象領域が
決定され(ステップST214)、演算対象画素の仮物
体色成分データ235が求められる(ステップST21
5)。続いて、演算対象画素の照明成分データが求めら
れ(ステップST216)、演算対象画素の照明成分デ
ータの平均値が画像全体の照明成分データ236として
求められる(ステップST217)。Thereafter, by calculating the logical product of the first to third areas, a target area which is a set of operation target pixels is determined (step ST214), and temporary object color component data 235 of the operation target pixel is obtained (step ST214). Step ST21
5). Subsequently, the illumination component data of the calculation target pixel is obtained (step ST216), and the average value of the illumination component data of the calculation target pixel is obtained as the illumination component data 236 of the entire image (step ST217).
【0078】以上のように、演算対象画素の特定は演算
対象となる領域の抽出として実現することも可能であ
る。As described above, the operation target pixel can be specified by extracting an operation target area.
【0079】<2. 第2の実施の形態>第1の実施の
形態では、被写体への照明光が1種類であるものと仮定
して照明成分データ236を求めるようになっている
が、次に、第2の実施の形態として、複数種類の照明光
(例えば、窓の外の太陽光および室内灯)が存在する場
合のデジタルカメラ1の動作について説明する。なお、
デジタルカメラ1の構成は図1ないし図3に示すものと
同様であり、デジタルカメラ1の動作も図5中のステッ
プST14,ST15以外は第1の実施の形態と同様で
ある。<2. Second Embodiment> In the first embodiment, the illumination component data 236 is obtained on the assumption that there is only one type of illumination light to the subject. As an embodiment, the operation of the digital camera 1 in the case where there are a plurality of types of illumination light (for example, sunlight outside a window and room light) will be described. In addition,
The configuration of the digital camera 1 is the same as that shown in FIGS. 1 to 3, and the operation of the digital camera 1 is the same as that of the first embodiment except for steps ST14 and ST15 in FIG.
【0080】図9は、第2の実施の形態において差分画
像の生成後に照明成分データ236および物体色成分デ
ータ237を求める処理の流れを示す図である。第2の
実施の形態では、照明成分データ236を求めるに際し
て、まず、領域分割が実行される(ステップST2
1)。デジタルカメラ1のCPU21等の機能をブロッ
クにて示す場合、図10に示すように図4中のブロック
図の対象画素決定部202に領域分割部207が接続さ
れた構成となる。領域分割部207は第2画像データ2
32に基づいて画像を複数の領域へと分割し、各領域の
範囲を示すデータを対象画素決定部202へと出力す
る。FIG. 9 is a diagram showing a flow of processing for obtaining the illumination component data 236 and the object color component data 237 after the generation of the difference image in the second embodiment. In the second embodiment, when obtaining the illumination component data 236, first, region division is performed (step ST2).
1). When the functions of the CPU 21 and the like of the digital camera 1 are represented by blocks, as shown in FIG. 10, the configuration is such that the region dividing unit 207 is connected to the target pixel determining unit 202 in the block diagram in FIG. The region dividing unit 207 outputs the second image data 2
The image is divided into a plurality of regions based on 32, and data indicating the range of each region is output to the target pixel determination unit 202.
【0081】領域分割の手法としては様々な方法が利用
されてよい。例えば、エッジ抽出フィルタを用いて画像
中のエッジが抽出され、閉ループのエッジに囲まれる領
域が1つの分割領域として決定される。そして、領域ご
とに識別番号が付与される。このとき、微小領域は適
宜、大きな領域に併合され、10程度の分割領域が決定
される。なお、エッジの両側にて輝度差が少ない場合に
は、エッジの両側の領域が同一の照明を受けていると推
定してこれらの領域が1つの領域へと結合されてもよ
い。Various methods may be used for dividing the area. For example, edges in an image are extracted using an edge extraction filter, and a region surrounded by a closed loop edge is determined as one divided region. Then, an identification number is assigned to each area. At this time, the minute area is appropriately merged with a large area, and about 10 divided areas are determined. If the luminance difference is small on both sides of the edge, the regions on both sides of the edge may be estimated to receive the same illumination, and these regions may be combined into one region.
【0082】図11は、領域分割を輝度値に基づいて行
う場合の処理の流れを示す図である。輝度に基づいて領
域分割を行う手法は、明瞭なエッジが存在しない画像で
あっても領域分割を行うことができるという長所を有し
ている。まず、第2画像の各画素の輝度値がR,G,B
値に基づいて求められる(ステップST301)。輝度
値としてはR,G,B値のうちGの値が輝度値に代用さ
れてもよい。次に、第2画像における輝度の最大値およ
び最小値が求められ(ステップST302)、最小値か
ら最大値に至る輝度の範囲が2ないし10程度の輝度範
囲へと分割される(ステップST303)。その後、各
輝度範囲に属する画素群が1つの領域として検出される
(ステップST304)。FIG. 11 is a diagram showing the flow of processing when region division is performed based on luminance values. The method of performing area division based on luminance has an advantage that area division can be performed even for an image having no clear edge. First, the luminance value of each pixel of the second image is R, G, B
It is determined based on the value (step ST301). As the luminance value, a G value among the R, G, and B values may be substituted for the luminance value. Next, the maximum value and the minimum value of the luminance in the second image are obtained (step ST302), and the range of the luminance from the minimum value to the maximum value is divided into about 2 to 10 luminance ranges (step ST303). Thereafter, a pixel group belonging to each luminance range is detected as one region (step ST304).
【0083】なお、微小領域は大きな領域に適宜含まれ
るように修正され、10程度の分割領域が決定される。
また、各領域の外郭線を求め、外郭線が短い領域が無視
されるようになっていてもよい。The small area is corrected so as to be appropriately included in the large area, and about ten divided areas are determined.
Alternatively, the outline of each area may be obtained, and the area having a short outline may be ignored.
【0084】領域分割の手法は上記手法に限定されるも
のではなく、例えば、輝度値に基づいて領域分割を行っ
た上でエッジに基づいて分割された領域の形状が修正さ
れてもよい。The method of area division is not limited to the above method. For example, the area may be divided based on luminance values, and then the shape of the area divided based on edges may be modified.
【0085】以上の領域分割により、画像中の異なる照
明光にて照明されている部分の境界が分割された領域の
境界に少なくとも含まれると推定することが可能とな
る。By the above-described region division, it is possible to estimate that the boundary of the portion illuminated by different illumination light in the image is at least included in the boundary of the divided region.
【0086】領域分割が完了すると、1つの領域が注目
領域として決定される(ステップST22)。そして、
注目領域に対して照明成分データ236の生成が行われ
る(ステップST23)。注目領域に対する照明成分デ
ータ236の生成は、注目領域に対して行われるという
点を除いて図7に示す処理と同様である。すなわち、対
象画素決定部202、仮物体色成分データ生成部203
および照明成分データ生成部204により、所定の条件
を満たす演算対象画素に対してのみ仮物体色成分データ
235が求められるとともに照明成分データが求めら
れ、演算対象画素の照明成分データの平均値が注目領域
の照明成分データ236として求められる。もちろん、
図8に示す手法にて照明成分データ236が求められて
もよい。When the area division is completed, one area is determined as the attention area (step ST22). And
The illumination component data 236 is generated for the attention area (step ST23). The generation of the illumination component data 236 for the attention area is the same as the processing shown in FIG. 7 except that it is performed for the attention area. That is, the target pixel determination unit 202 and the temporary object color component data generation unit 203
In addition, the illumination component data generation unit 204 determines the temporary object color component data 235 and the illumination component data only for the pixel to be calculated that satisfies a predetermined condition. It is obtained as the illumination component data 236 of the area. of course,
The illumination component data 236 may be obtained by the method shown in FIG.
【0087】その後、注目領域を切り替えつつ照明成分
データ236が求められることにより、各領域の照明成
分データ236が求められる(ステップST24)。さ
らに、各画素の物体色成分データ237が、画素が属す
る領域の照明成分データ236および第2画像データ2
32に基づいて求められる(ステップST25)。After that, the illumination component data 236 of each area is obtained by switching the attention area while obtaining the illumination component data 236 (step ST24). Further, the object color component data 237 of each pixel corresponds to the illumination component data 236 and the second image data 2 of the area to which the pixel belongs.
32 (step ST25).
【0088】以上の処理により、画像中に複数種類の照
明光にて個別に照らされた複数の部分が存在する場合で
あっても、複数種類の照明成分データ236および物体
色成分データ237が適切に求められる。With the above processing, even when a plurality of portions individually illuminated by a plurality of types of illumination light exist in an image, the plurality of types of illumination component data 236 and the object color component data 237 are appropriately determined. Required.
【0089】図12は、複数の照明光を受ける被写体の
画像の具体例を示す図である。図12では、室内の部分
が室内灯71からの光を受けており、窓72の外の部分
は太陽光を受けた状態となっている。すなわち、室内灯
の光および太陽光の2つの照明光を受けた被写体を撮影
して得られた画像となっている。FIG. 12 is a diagram showing a specific example of an image of a subject receiving a plurality of illumination lights. In FIG. 12, a portion inside the room receives light from the interior light 71, and a portion outside the window 72 receives the sunlight. That is, the image is obtained by photographing a subject that has received two illumination lights, that is, the light of the interior light and the sunlight.
【0090】図12に示す画像を領域分割した場合、お
よそ室内灯71の部分、窓72の部分、花瓶73の部
分、テーブル74の部分、室内の壁75の部分等の領域
に分割される。これらの領域に対して照明成分データ2
36の生成を行った場合、窓72の外の風景の領域では
太陽光の照明成分データ236が得られ、他の領域で
は、室内灯71の光の照明成分データ236が得られ
る。ただし、条件によっては領域ごとに室内灯71の光
の強度が異なった照明成分データ236が得られる。When the image shown in FIG. 12 is divided into regions, the image is roughly divided into regions such as a room light 71, a window 72, a vase 73, a table 74, a room wall 75, and the like. Illumination component data 2 for these areas
When 36 is generated, illumination component data 236 of sunlight is obtained in a landscape area outside the window 72, and illumination component data 236 of light of the interior lamp 71 is obtained in other areas. However, depending on the conditions, the illumination component data 236 in which the light intensity of the room light 71 differs for each area is obtained.
【0091】以上のように第2の実施の形態における処
理により、同一の照明の影響を受けていると推定される
領域ごとに適切な照明成分データ236が求められ、図
12に示す画像の被写体に関する物体色成分データ23
7も領域ごとに適切に求めることが実現される。As described above, by the processing according to the second embodiment, appropriate illumination component data 236 is obtained for each area that is presumed to be affected by the same illumination, and the subject in the image shown in FIG. Object color component data 23
7 can be obtained appropriately for each area.
【0092】なお、第1画像および第2画像をシャッタ
ースピードや絞り値等の露出条件を変更しつつ複数組取
得することにより、さらに適切な照明成分データ236
および物体色成分データ237を求めることが可能とな
る。By acquiring a plurality of sets of the first image and the second image while changing exposure conditions such as a shutter speed and an aperture value, more appropriate illumination component data 236 can be obtained.
And the object color component data 237 can be obtained.
【0093】例えば、複数の露出条件にて第1画像およ
び第2画像を複数組(4組、8組等)取得しておき、最
も適切な露出条件の第1画像および第2画像を用いて照
明成分データ236および物体色成分データ237を求
めるという手法が考えられる。この手法は第1の実施の
形態にも利用することができる。For example, a plurality of sets (first set, second set, etc.) of the first image and the second image are acquired under a plurality of exposure conditions, and the first image and the second image under the most appropriate exposure conditions are used. A method of obtaining the illumination component data 236 and the object color component data 237 can be considered. This technique can also be used in the first embodiment.
【0094】また、最も適切な露出の第2画像に基づい
て領域分割を行い、注目領域に関して最も適切な露出の
第1画像および第2画像の組合せを選択するようにして
もよい。この場合、注目領域ごとに第1画像および第2
画像が適宜変更されて照明成分データ236の生成が行
われる。Further, the region may be divided based on the second image having the most appropriate exposure, and a combination of the first image and the second image having the most appropriate exposure for the region of interest may be selected. In this case, the first image and the second image
The image is appropriately changed, and the illumination component data 236 is generated.
【0095】以上の手法により、照明成分データ236
の演算の際に演算対象画素の数を増加させることがで
き、さらに適切な照明成分データ236および物体色成
分データ237を求めることが実現される。By the above method, the illumination component data 236
, The number of calculation target pixels can be increased, and more appropriate illumination component data 236 and object color component data 237 can be obtained.
【0096】<3. 第3の実施の形態>図13は本発
明の第3の実施の形態に係るデジタル撮像システム3の
構成を示す図である。デジタル撮像システム3は、撮影
対象の画像を取得するモノクロデジタルカメラ31、互
いに異なる特性の複数のフィルタを有する回転式フィル
タ32、および、デジタルカメラ31にて得られた画像
を処理するコンピュータ33を有する。回転式フィルタ
32は、所定の波長帯の光のみを透過するフィルタを複
数有し、デジタルカメラ31に入射する光を特定の波長
帯に制限する。<3. Third Embodiment> FIG. 13 is a diagram showing a configuration of a digital imaging system 3 according to a third embodiment of the present invention. The digital imaging system 3 includes a monochrome digital camera 31 for acquiring an image to be captured, a rotary filter 32 having a plurality of filters having mutually different characteristics, and a computer 33 for processing an image obtained by the digital camera 31. . The rotary filter 32 has a plurality of filters that transmit only light in a predetermined wavelength band, and limits light incident on the digital camera 31 to a specific wavelength band.
【0097】図14は、デジタル撮像システム3の主な
構成を示すブロック図である。デジタル撮像システム3
では、画像の処理をコンピュータ33において行うとい
う点で第1の実施の形態と異なっている。FIG. 14 is a block diagram showing a main configuration of the digital imaging system 3. As shown in FIG. Digital imaging system 3
The second embodiment differs from the first embodiment in that image processing is performed by the computer 33.
【0098】図14に示すように、デジタルカメラ31
はレンズ系311、CCD312およびA/D変換部3
13を有し、撮影対象の画像をデジタルデータとして取
得する機能を有する。As shown in FIG. 14, the digital camera 31
Denotes a lens system 311, a CCD 312, and an A / D converter 3
13 and a function of acquiring an image to be captured as digital data.
【0099】コンピュータ33は、デジタルカメラ31
にて取得された画像を処理する機能を有し、CPU4
1、固定ディスク42、RAM43およびディスクドラ
イブ44を有する。固定ディスク42には、画像を処理
するためのプログラム421が記憶されており、RAM
43は各種データが記憶されたり、画像処理の作業が行
われる領域となっている。The computer 33 is a digital camera 31
CPU 4 has a function of processing an image acquired by
1, a fixed disk 42, a RAM 43, and a disk drive 44. The fixed disk 42 stores a program 421 for processing an image,
Reference numeral 43 denotes an area where various data is stored and an image processing operation is performed.
【0100】RAM43は、固定ディスク42、携帯可
能な磁気ディスク、光磁気ディスク等の記録媒体とデー
タの受け渡しが可能とされており、後述する手法にて生
成された照明成分データや物体色成分データが必要に応
じて記録媒体との間で受け渡しされる。なお、図13お
よび図14では、記録媒体としてディスクドライブ44
を介してRAM43等との間でデータの転送が行われる
記録媒体9を例示している。The RAM 43 is capable of exchanging data with a recording medium such as a fixed disk 42, a portable magnetic disk, or a magneto-optical disk. Illumination component data and object color component data generated by a method described later are provided. Is transferred to and from a recording medium as needed. 13 and 14, the disk drive 44 is used as a recording medium.
2 illustrates a recording medium 9 in which data is transferred to and from the RAM 43 and the like.
【0101】また、記録媒体9に画像処理のプログラム
を記憶させ、このプログラムをRAM43に読み込ま
せ、RAM43内のプログラムにより、あるいは、固定
ディスク42内のプログラムとRAM43内のプログラ
ムとによりコンピュータ33が画像処理装置として機能
するようになっていてもよい。Further, an image processing program is stored in the recording medium 9, and the program is read into the RAM 43. The computer 33 executes the image processing according to the program in the RAM 43 or the program in the fixed disk 42 and the program in the RAM 43. It may function as a processing device.
【0102】コンピュータ33には、さらに、画像を表
示したり操作者への情報の表示を行うディスプレイ4
5、および、操作者からの入力を受け付けるキーボー
ド、マウス等の入力部46が設けられている。The computer 33 further has a display 4 for displaying images and displaying information to the operator.
And an input unit 46 such as a keyboard and a mouse for receiving an input from the operator.
【0103】デジタルカメラ31およびコンピュータ3
3による構成は、以上のように第1の実施の形態に係る
デジタルカメラ1の構成と類似しているが、このデジタ
ル撮像システム3では、回転式フィルタ32を用いて照
明成分データや物体色成分データを求めるようになって
いる点で第1の実施の形態と相違している。Digital camera 31 and computer 3
3 is similar to the configuration of the digital camera 1 according to the first embodiment as described above, however, in this digital imaging system 3, illumination component data and object color components are It differs from the first embodiment in that data is obtained.
【0104】回転式フィルタ32は、円盤状の回転体に
特定の波長帯の光のみを透過するフィルタを複数設けた
構成となっており、回転体が回転することによりデジタ
ルカメラ31には異なる波長帯の光のみが切り替えられ
ながら入射する。各フィルタは可視光の波長帯を複数に
分割した各波長帯に対応している。The rotary filter 32 has a configuration in which a plurality of filters that transmit only light in a specific wavelength band are provided on a disk-shaped rotating body. The digital camera 31 has different wavelengths when the rotating body rotates. Only the light in the band enters while being switched. Each filter corresponds to each wavelength band obtained by dividing the wavelength band of visible light into a plurality.
【0105】デジタルカメラ31のレンズ系311の前
に、いずれの種類のフィルタが位置するかは回転式フィ
ルタ32に設けられたエンコーダからの信号により、コ
ンピュータ33が認識できるようにされている。The computer 33 can recognize which type of filter is located in front of the lens system 311 of the digital camera 31 based on a signal from an encoder provided in the rotary filter 32.
【0106】図15は、CPU41、固定ディスク4
2、RAM43等により実現される機能構成およびその
他の構成を示すブロック図であり、対象画素決定部20
2、成分データ生成部208、物体色成分データ生成部
205および画像再生部206は、図14中に示すCP
U41、固定ディスク42およびRAM43の作業領域
により実現される機能に相当する。FIG. 15 shows the CPU 41 and the fixed disk 4.
2 is a block diagram illustrating a functional configuration realized by the RAM 43 and the like, and other configurations.
2. The component data generation unit 208, the object color component data generation unit 205, and the image reproduction unit 206
This corresponds to a function realized by the work area of the U41, the fixed disk 42, and the RAM 43.
【0107】図16はデジタル撮像システム3の動作の
流れを示す流れ図である。ただし、図16中のステップ
ST35よりも後の処理は図5に示すステップST1
5,ST16と同様の処理となる。以下、図15および
図16を参照しながら、デジタル撮像システム3の動作
について説明する。FIG. 16 is a flowchart showing the flow of the operation of the digital imaging system 3. However, processing after step ST35 in FIG. 16 is performed in step ST1 shown in FIG.
5, processing similar to ST16. Hereinafter, the operation of the digital imaging system 3 will be described with reference to FIGS.
【0108】まず、所定のフィルタがデジタルカメラ3
1のレンズ系311の前方に配置され(ステップST3
1)、コンピュータ33の制御により撮影を行う(ステ
ップST32)。これにより、フィルタが透過する波長
帯の光のみがデジタルカメラ31に入射し、デジタルカ
メラ31のA/D変換部313から1つの予備画像に相
当する予備画像データ238がコンピュータ33に転送
されてRAM43に記憶される。First, a predetermined filter is set to the digital camera 3.
1 lens system 311 (step ST3).
1) Photographing is performed under the control of the computer 33 (step ST32). As a result, only the light in the wavelength band transmitted by the filter is incident on the digital camera 31, and the preliminary image data 238 corresponding to one preliminary image is transferred from the A / D converter 313 of the digital camera 31 to the computer 33 and is transmitted to the RAM 43. Is stored.
【0109】次に、回転式フィルタ32を回転させて別
の波長帯の光のみを透過するフィルタがレンズ系311
の前方に配置され、撮影が行われる(ステップST3
1,ST32)。これにより、もう1つの予備画像に相
当する予備画像データ238がRAM43に記憶され
る。Next, a filter that rotates the rotary filter 32 and transmits only light of another wavelength band is formed by the lens system 311.
And the photographing is performed (step ST3).
1, ST32). Thus, preliminary image data 238 corresponding to another preliminary image is stored in the RAM 43.
【0110】その後、フィルタの変更および撮影を繰り
返すことにより(ステップST33)、各フィルタに対
応する予備画像データ238がRAM43に記憶され
る。なお、予備画像データ238には回転式フィルタ3
2からのフィルタに関する情報が付与される。複数の予
備画像を撮影することは撮影対象のカラー画像を撮影す
ることに相当する。Thereafter, by changing the filters and photographing repeatedly (step ST33), the preliminary image data 238 corresponding to each filter is stored in the RAM 43. The preliminary image data 238 includes the rotary filter 3
Information about the filter from No. 2 is given. Shooting a plurality of preliminary images is equivalent to shooting a color image to be shot.
【0111】複数の予備画像に相当する予備画像データ
238がRAM43に記憶されると、対象画素決定部2
02により演算対象画素が特定される。具体的には、い
ずれの予備画像においても画素値が飽和も黒つぶれもし
ていない画素の位置が演算対象画素の位置として特定さ
れる(ステップST34)。When the preliminary image data 238 corresponding to a plurality of preliminary images is stored in the RAM 43, the target pixel determining unit 2
02 specifies the calculation target pixel. Specifically, the position of the pixel whose pixel value is neither saturated nor blackened in any of the preliminary images is specified as the position of the calculation target pixel (step ST34).
【0112】その後、予備画像データ238を用いて演
算対象画素の照明成分データが求められる(ステップS
T35)。Thereafter, the illumination component data of the calculation target pixel is obtained using the preliminary image data 238 (step S).
T35).
【0113】複数の予備画像から照明成分データ236
を求める手法としては適切なデータが生成されるのであ
ればどのような手法が用いられてもよい。例えば、富永
昌治、「色恒常性を実現するカメラ系とアルゴリズ
ム」、信学技報 PRU95-11(1995-05)(77〜84頁)に
記載された手法が採用されてもよい。この手法では照明
光の分光分布および撮影対象の分光反射率を次のように
して求めている。Illumination component data 236 from a plurality of preliminary images
Any method may be used as long as appropriate data is generated. For example, the method described in Shoji Tominaga, “Camera system and algorithm for achieving color constancy”, IEICE Technical Report PRU95-11 (1995-05) (pages 77 to 84) may be adopted. In this method, the spectral distribution of the illumination light and the spectral reflectance of the object to be photographed are obtained as follows.
【0114】まず、撮影対象上の位置(以下、「対象位
置」という。)から入射する光の分光分布C(λ)は、波
長をλ、対象位置における分光反射率をS(λ)、照明光
の分光分布をE(λ)として、First, the spectral distribution C (λ) of light incident from a position on a photographing target (hereinafter referred to as “target position”) has a wavelength λ, a spectral reflectance at the target position S (λ), and illumination. Assuming that the spectral distribution of light is E (λ),
【0115】[0115]
【数7】 (Equation 7)
【0116】として表される。ここで、α,βはスケー
ルファクタであり、αS(λ)E(λ)は拡散反射成分、β
E(λ)は正反射成分に相当する。Is represented as Here, α and β are scale factors, αS (λ) E (λ) is a diffuse reflection component, and β
E (λ) corresponds to a specular reflection component.
【0117】また、k番目のフィルタにより撮影された
画像中の対象位置に対応する画素の画素値(すなわち、
CCD312の出力値)ρkは、フィルタの波長帯域に
対応するCCD312の分光感度をRk(λ)として、Further, the pixel value of the pixel corresponding to the target position in the image photographed by the k-th filter (ie,
The output value of the CCD 312) ρk is represented by Rk (λ), where Rk (λ) is the spectral sensitivity of the CCD 312 corresponding to the wavelength band of the filter.
【0118】[0118]
【数8】 (Equation 8)
【0119】として表される。Are represented as
【0120】ここで、照明光の分光分布E(λ)と対象位
置の分光反射率S(λ)について複数の基底関数の加重和
として表現する有次元線形モデルを用いることにより、
最終的に、Here, by using a dimensional linear model expressing the spectral distribution E (λ) of the illumination light and the spectral reflectance S (λ) at the target position as a weighted sum of a plurality of basis functions,
Finally,
【0121】[0121]
【数9】 (Equation 9)
【0122】と変形される。ρは画素値ρkを要素とす
るベクトル、Λは対象位置の分光反射率S(λ)の有次元
線形モデルの基底関数に対するセンサの応答を表す行
列、σは分光反射率S(λ)の有次元線形モデルの加重係
数のベクトル、Hは照明光の分光分布E(λ)の有次元線
形モデルの基底関数に対するセンサの応答を表す行列、
εは分光分布E(λ)の有次元線形モデルの加重係数のベ
クトルである。Is transformed. ρ is a vector having the pixel value ρk as an element, Λ is a matrix representing the response of the sensor to the basis function of the dimensional linear model of the spectral reflectance S (λ) at the target position, and σ is the value of the spectral reflectance S (λ). H is a matrix representing the response of the sensor to the basis function of the dimensional linear model of the spectral distribution E (λ) of the illumination light,
ε is a vector of weighting coefficients of the dimensional linear model of the spectral distribution E (λ).
【0123】そして、同一照明下では複数の対象位置に
ついてベクトルHεの方向が一定であるという法則を利
用しつつ、適宜簡略化した演算手法を採用することによ
り上記式からσとεとが求められる。本実施の形態の場
合、演算対象画素に対応する被写体上の位置が上述の対
象位置として扱われる。これにより、2つの有次元線形
モデルの係数が求められ、照明光の分光分布E(λ)およ
び対象位置の分光反射率S(λ)が求められる。ただし、
本実施の形態にて利用される値は照明光の分光分布E
(λ)のみである。Then, under the same illumination, σ and ε are obtained from the above equations by employing a simplified calculation method while utilizing the rule that the direction of the vector Hε is constant at a plurality of target positions. . In the case of the present embodiment, the position on the subject corresponding to the calculation target pixel is treated as the above-described target position. Thereby, the coefficients of the two dimensional linear models are obtained, and the spectral distribution E (λ) of the illumination light and the spectral reflectance S (λ) at the target position are obtained. However,
The value used in the present embodiment is the spectral distribution E of the illumination light.
(λ) only.
【0124】以上に例示した手法を用いて、成分データ
生成部208は複数の予備画像における演算対象画素の
画素値から画像全体に対する照明光の分光分布E(λ)を
求める。なお、処理を簡潔に行うためにスケールファク
タβを0として演算を行ってもよい。Using the method exemplified above, the component data generation unit 208 obtains the spectral distribution E (λ) of the illumination light for the entire image from the pixel values of the calculation target pixels in the plurality of preliminary images. The calculation may be performed with the scale factor β set to 0 in order to simplify the processing.
【0125】画像全体に対する照明成分データ236が
求められると、第1の実施の形態と同様に、予備画像デ
ータ238および照明成分データ236を用いて複数の
連立方程式を作成し(数6のρc2を画素値とし、Rcを
フィルタの分光透過率とする)、全画素に対応する物体
色成分データ237が求められる(図5:ステップST
15)。その後、適宜、照明成分データ236および物
体色成分データ237が個別に記録媒体9に保存される
(ステップST16)。When the illumination component data 236 for the entire image is obtained, a plurality of simultaneous equations are created using the preliminary image data 238 and the illumination component data 236, as in the first embodiment (ρ c2 in Equation 6). Is a pixel value, and Rc is a spectral transmittance of the filter), and object color component data 237 corresponding to all pixels is obtained (FIG. 5: step ST).
15). Thereafter, the illumination component data 236 and the object color component data 237 are stored individually in the recording medium 9 as appropriate (step ST16).
【0126】また、入力部46を介して使用者が照明成
分データ236および物体色成分データ237の選択、
並びに、画像再生の指示を行った場合、画像再生部20
6が両データを合成して画像データを生成し、ディスプ
レイ45に画像が表示される。The user can select the illumination component data 236 and the object color component data 237 via the input unit 46,
When an image reproduction instruction is given, the image reproduction unit 20
6 combines the two data to generate image data, and the image is displayed on the display 45.
【0127】第3の実施の形態においても第2の実施の
形態と同様、領域分割を行って領域ごとに照明成分デー
タ236を求めるようにすることも可能である。In the third embodiment, similarly to the second embodiment, it is possible to divide the area and obtain the illumination component data 236 for each area.
【0128】<4. 変形例>以上、本発明に係る実施
の形態について説明してきたが、本発明は上記実施の形
態に限定されるものではなく様々な変形が可能である。<4. Modifications> While the preferred embodiments of the present invention have been described above, the present invention is not limited to the above-discussed preferred embodiments, but allows various modifications.
【0129】例えば、第1の実施の形態では、充電電圧
および発光時間をモニタすることにより、フラッシュ1
21の発光特性を一定に保つようにしているが、他の方
法によりフラッシュ121の発光特性が一定に保たれて
もよい。例えば、フラッシュ121をパルス状に発光す
ることにより、フラッシュの発光特性が一定に保たれて
もよい。For example, in the first embodiment, the flash 1 is monitored by monitoring the charging voltage and the light emission time.
Although the light emission characteristics of the flash 121 are kept constant, the light emission characteristics of the flash 121 may be kept constant by another method. For example, the light emission characteristics of the flash 121 may be kept constant by emitting the light of the flash 121 in a pulse shape.
【0130】また、充電電圧および発光時間をモニタす
ることにより、発光後にフラッシュ光の分光特性を求め
るようにしてもよい。Further, the spectral characteristics of the flash light may be obtained after the light emission by monitoring the charge voltage and the light emission time.
【0131】第1の実施の形態ではフラッシュ121が
被写体への照明環境を変更する手段として機能している
が、照明環境を変更する方法はフラッシュ121を用い
る手法に限定されるものではない。In the first embodiment, the flash 121 functions as a means for changing the illumination environment for the subject, but the method for changing the illumination environment is not limited to the method using the flash 121.
【0132】また、第1の実施の形態では演算対象画素
ごとの照明成分データを平均して画像全体の照明成分デ
ータ236を求めるが、画素ごとの照明成分データのヒ
ストグラムを求め、ヒストグラムのピークやメジアンに
相当する照明成分データを画像全体の照明成分データ2
36として利用してもよい。In the first embodiment, the illumination component data 236 of the entire image is obtained by averaging the illumination component data of each pixel to be calculated. However, the histogram of the illumination component data of each pixel is obtained, The illumination component data corresponding to the median is converted into the illumination component data 2 of the entire image.
36.
【0133】一方、第3の実施の形態では、デジタルカ
メラ31の前方に回転式フィルタ32を配置するように
しているが、複数のフィルタを切り替える機構をデジタ
ルカメラ31内部に設けてもよい。フィルタの切り替え
機構を設けずにデジタルカメラ31に複数(好ましくは
4以上)の入力バンドを有する撮像素子(すなわち、複
数種類のオンチップフィルタが設けられたCCD)を設
け、これにより複数の波長帯のそれぞれについて画像を
取得するようになっていてもよい。On the other hand, in the third embodiment, the rotary filter 32 is arranged in front of the digital camera 31, but a mechanism for switching a plurality of filters may be provided inside the digital camera 31. An image pickup device having a plurality of (preferably four or more) input bands (that is, a CCD provided with a plurality of types of on-chip filters) is provided in the digital camera 31 without providing a filter switching mechanism. An image may be obtained for each of.
【0134】さらに、デジタルカメラ31や回転式フィ
ルタ32とコンピュータ33とは伝送線で接続されてい
る必要はなく、記録媒体を介して予備画像データ238
等がコンピュータ33に取り込まれるようになっていて
もよい。Further, the digital camera 31, the rotary filter 32 and the computer 33 do not need to be connected by a transmission line, and the preliminary image data 238 is connected via a recording medium.
May be taken into the computer 33.
【0135】このように、同一の被写体を示す複数の画
像のデータから照明成分データ236を求めることがで
きるのであるならば、他のどのような手法が利用されて
もよい。As described above, any other method may be used as long as the illumination component data 236 can be obtained from data of a plurality of images representing the same subject.
【0136】また、上記実施の形態では、照明成分デー
タ236や物体色成分データ237が複数の加重係数と
して求められると説明したが、照明成分データ236や
物体色成分データ237の形式は他の形式であってもよ
い。例えば、照明成分データ236が分光分布の特性曲
線として求められてもよく、物体色成分データ237は
被写体の分光反射率の特性曲線として求められてもよ
い。In the above embodiment, the illumination component data 236 and the object color component data 237 have been described as being obtained as a plurality of weighting factors. However, the illumination component data 236 and the object color component data 237 may have other formats. It may be. For example, the illumination component data 236 may be obtained as a characteristic curve of the spectral distribution, and the object color component data 237 may be obtained as a characteristic curve of the spectral reflectance of the subject.
【0137】第1の実施の形態ではデジタルカメラ1内
部に実質的にコンピュータに相当するCPU、ROM、
RAM等による構成を設けて演算を行い、第3の実施の
形態では単体のコンピュータを用いて演算を行うように
なっているが、第1の実施の形態において単体のコンピ
ュータを用いて演算を行うことも可能であり、第3の実
施の形態においてデジタルカメラ内にて演算を行うこと
も可能である。In the first embodiment, the digital camera 1 has a CPU, ROM,
Arithmetic operation is performed by providing a configuration using a RAM or the like, and the arithmetic operation is performed using a single computer in the third embodiment. However, the arithmetic operation is performed using a single computer in the first embodiment. It is also possible to perform the calculation in the digital camera in the third embodiment.
【0138】また、上記実施の形態では、CPUがプロ
グラムに従って演算を行うことにより、図4、図10お
よび図15に示す各種ブロックにて示される機能が実現
されると説明したが、演算処理の全部または一部は専用
の電気的回路により実現されてもよい。特に、繰り返し
演算を行う箇所をロジック回路にて構築することによ
り、高速な演算が実現される。Further, in the above-described embodiment, it has been described that the functions shown by the various blocks shown in FIGS. 4, 10 and 15 are realized by the CPU performing calculations according to the program. All or a part may be realized by a dedicated electric circuit. In particular, a high-speed operation can be realized by constructing a portion where a repetitive operation is performed by a logic circuit.
【0139】さらに、上記実施の形態では、照明成分デ
ータ236および物体色成分データ237を求めるよう
にしているが、照明成分データ236はデジタルカメラ
や画像処理におけるホワイトバランスの調整に利用する
ことも可能である。すなわち、上記実施の形態にて示し
た手法を用いて照明成分データ236のみが求められて
もよく、精度の高い照明成分データ236を利用するこ
とにより、ホワイトバランスの調整を適切に行うことが
実現される。Further, in the above embodiment, the illumination component data 236 and the object color component data 237 are obtained. However, the illumination component data 236 can be used for white balance adjustment in digital cameras and image processing. It is. That is, only the illumination component data 236 may be obtained by using the method described in the above embodiment, and by using the illumination component data 236 with high accuracy, it is possible to appropriately adjust the white balance. Is done.
【0140】[0140]
【発明の効果】請求項1ないし4、並びに、請求項7お
よび9の発明では、照明成分データを適切に求めること
ができる。According to the first to fourth and seventh and ninth aspects of the present invention, the illumination component data can be appropriately obtained.
【0141】また、請求項2の発明では、物体色成分デ
ータを適切に求めることができる。According to the second aspect of the present invention, object color component data can be appropriately obtained.
【0142】また、請求項3の発明では、照明変更手段
を用いて照明成分データを求めることが実現され、請求
項4の発明では、複数のフィルタを用いて照明成分デー
タを求めることが実現される。Further, according to the invention of claim 3, it is realized to obtain the illumination component data using the illumination changing means, and according to the invention of claim 4, it is realized to obtain the illumination component data by using a plurality of filters. You.
【0143】請求項5,6,8および10の発明では、
照明環境として複数の照明光が存在する場合であっても
照明光ごとの照明成分データを求めることができる。According to the fifth, sixth, eighth and tenth aspects of the present invention,
Even when a plurality of illumination lights exist as the illumination environment, illumination component data for each illumination light can be obtained.
【0144】また、請求項6の発明では、適切な照明成
分データを求めることができる。According to the invention of claim 6, it is possible to obtain appropriate illumination component data.
【図1】第1の実施の形態に係るデジタルカメラの全体
を示す斜視図である。FIG. 1 is a perspective view showing an entire digital camera according to a first embodiment.
【図2】デジタルカメラの背面図である。FIG. 2 is a rear view of the digital camera.
【図3】デジタルカメラの内部構成を示すブロック図で
ある。FIG. 3 is a block diagram illustrating an internal configuration of the digital camera.
【図4】デジタルカメラの機能をブロックにて示す図で
ある。FIG. 4 is a block diagram showing functions of the digital camera.
【図5】デジタルカメラの動作の流れを示す図である。FIG. 5 is a diagram showing a flow of an operation of the digital camera.
【図6】発光制御回路の動作の流れを示す図である。FIG. 6 is a diagram showing a flow of operation of the light emission control circuit.
【図7】照明成分データの算出の流れを示す図である。FIG. 7 is a diagram showing a flow of calculating illumination component data.
【図8】照明成分データの算出の流れの他の例を示す図
である。FIG. 8 is a diagram illustrating another example of a flow of calculating illumination component data.
【図9】第2の実施の形態におけるデジタルカメラの動
作の流れを示す図である。FIG. 9 is a diagram showing a flow of operation of the digital camera according to the second embodiment.
【図10】領域分割部および対象画素決定部を示すブロ
ック図である。FIG. 10 is a block diagram illustrating a region dividing unit and a target pixel determining unit.
【図11】領域分割の処理の流れを示す図である。FIG. 11 is a diagram showing a flow of a region dividing process.
【図12】画像を例示する図である。FIG. 12 is a diagram illustrating an image.
【図13】第3の実施の形態に係るデジタル撮像システ
ムの構成を示す図である。FIG. 13 is a diagram illustrating a configuration of a digital imaging system according to a third embodiment.
【図14】デジタル撮像システムの内部構成を示す図で
ある。FIG. 14 is a diagram illustrating an internal configuration of a digital imaging system.
【図15】デジタル撮像システムの機能をブロックにて
示す図である。FIG. 15 is a block diagram illustrating functions of the digital imaging system.
【図16】デジタル撮像システムの動作の流れを示す図
である。FIG. 16 is a diagram illustrating a flow of an operation of the digital imaging system.
1 デジタルカメラ 3 デジタル撮像システム 9 記録媒体 21,41 CPU 31,112 CCD 32 回転式フィルタ 33 コンピュータ 121 フラッシュ 123 外部メモリ 202 対象画素決定部 204 照明成分データ生成部 205 物体色成分データ生成部 207 領域分割部 221,421 プログラム 231 第1画像データ 232 第2画像データ 236 照明成分データ 237 物体色成分データ 238 予備画像データ ST21〜ST24,ST34,ST35,ST20
2,ST204〜ST207,ST211〜ST21
4,ST215,ST217 ステップReference Signs List 1 digital camera 3 digital imaging system 9 recording medium 21, 41 CPU 31, 112 CCD 32 rotary filter 33 computer 121 flash 123 external memory 202 target pixel determination unit 204 illumination component data generation unit 205 object color component data generation unit 207 area division Unit 221 421 Program 231 First image data 232 Second image data 236 Illumination component data 237 Object color component data 238 Preliminary image data ST21 to ST24, ST34, ST35, ST20
2, ST204 to ST207, ST211 to ST21
4, ST215, ST217 Step
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 9/04 H04N 9/04 B 5C066 Z // G01J 3/46 G01J 3/46 Z Fターム(参考) 2G020 AA08 DA13 DA22 DA31 DA34 DA35 DA36 DA63 DA65 2H002 AB06 DB14 DB17 DB25 DB30 DB32 2H053 AB05 2H054 AA01 5C065 BB01 BB41 DD02 EE12 FF05 GG18 GG29 GG32 5C066 AA01 AA15 CA27 DC06 EA14 FA02 HA02 KE09 KE11 ──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) H04N 9/04 H04N 9/04 B 5C066 Z // G01J 3/46 G01J 3/46 Z F term (reference) 2G020 AA08 DA13 DA22 DA31 DA34 DA35 DA36 DA63 DA65 2H002 AB06 DB14 DB17 DB25 DB30 DB32 2H053 AB05 2H054 AA01 5C065 BB01 BB41 DD02 EE12 FF05 GG18 GG29 GG32 5C066 AA01 AA15 CA27 DC06 EA14 FA02 HA02
Claims (10)
手段と、 演算対象となる画素の位置を特定する手段と、 前記複数の画像中の前記演算対象となる画素の値に基づ
いて照明環境が画像に与える影響を示す照明成分データ
を求める手段と、を備えることを特徴とするデジタル撮
像装置。1. A digital imaging apparatus, comprising: an imaging unit that acquires data of a plurality of images representing the same subject; a unit that identifies a position of a pixel to be calculated; and the calculation in the plurality of images. Means for obtaining illumination component data indicating an influence of an illumination environment on an image based on a value of a target pixel.
って、 前記照明成分データを用いて照明環境の影響が取り除か
れた画像のデータに相当する物体色成分データを求める
手段、をさらに備えることを特徴とするデジタル撮像装
置。2. The digital imaging apparatus according to claim 1, further comprising: means for obtaining object color component data corresponding to data of an image from which an influence of an illumination environment has been removed by using the illumination component data. A digital imaging device characterized by the above-mentioned.
装置であって、 前記被写体への照明環境を変更する照明変更手段、をさ
らに備え、 前記撮像手段が、前記照明変更手段による照明環境の変
更前および変更後のそれぞれにおいて画像を取得するこ
とを特徴とするデジタル撮像装置。3. The digital imaging device according to claim 1, further comprising: illumination changing means for changing an illumination environment for the subject, wherein the imaging means is configured to change an illumination environment by the illumination changing means. A digital imaging device for acquiring images before and after a change.
装置であって、 前記複数の画像のそれぞれが、互いに異なる特性を有す
る複数のフィルタのいずれかを介して取得されることを
特徴とするデジタル撮像装置。4. The digital imaging device according to claim 1, wherein each of the plurality of images is obtained via one of a plurality of filters having characteristics different from each other. Digital imaging device.
において照明環境が画像に与える影響を示す照明成分デ
ータを求める手段と、を備えることを特徴とするデジタ
ル撮像装置。5. A digital imaging apparatus, comprising: an imaging unit that acquires a plurality of images representing the same subject; a unit that determines a plurality of regions in the image; and the plurality of images based on the plurality of images. Means for obtaining illumination component data indicating an influence of an illumination environment on an image in each of the regions.
って、 前記複数の領域のそれぞれにおいて演算対象となる画素
の位置を特定する手段、をさらに備え、 前記照明成分データを求める手段が、前記複数の画像中
の前記演算対象となる画素の値に基づいて、前記複数の
領域のそれぞれに対応する照明成分データを求めること
を特徴とするデジタル撮像装置。6. The digital imaging device according to claim 5, further comprising: a unit that specifies a position of a pixel to be calculated in each of the plurality of regions, wherein the unit that obtains the illumination component data includes: A digital imaging apparatus, wherein illumination component data corresponding to each of the plurality of regions is obtained based on a value of a pixel to be calculated in the plurality of images.
ログラムであって、前記プログラムのコンピュータによ
る実行は、前記コンピュータに、 演算対象となる画素の位置を特定する工程と、 同一の被写体を示す複数の画像中の前記演算対象となる
画素の値に基づいて照明環境が画像に与える影響を示す
照明成分データを求める工程と、を実行させることを特
徴とするプログラム。7. A program for causing a computer to execute image processing, wherein execution of the program by the computer includes the steps of: causing the computer to specify a position of a pixel to be operated; and a plurality of images showing the same subject. Obtaining illumination component data indicating an influence of an illumination environment on an image based on a value of a pixel to be calculated therein.
ログラムであって、前記プログラムのコンピュータによ
る実行は、前記コンピュータに、 画像中の複数の領域を決定する工程と、 同一の被写体を示す複数の画像に基づいて、前記複数の
領域のそれぞれにおいて照明環境が画像に与える影響を
示す照明成分データを求める工程と、を実行させること
を特徴とするプログラム。8. A program for causing a computer to execute image processing, wherein the execution of the program by the computer includes a step of determining a plurality of regions in the image and a step of determining a plurality of regions showing the same subject. Obtaining illumination component data indicating an influence of an illumination environment on an image in each of the plurality of regions based on the plurality of regions.
ログラムを記録した記録媒体であって、前記プログラム
のコンピュータによる実行は、前記コンピュータに、 演算対象となる画素の位置を特定する工程と、 同一の被写体を示す複数の画像中の前記演算対象となる
画素の値に基づいて照明環境が画像に与える影響を示す
照明成分データを求める工程と、を実行させることを特
徴とする記録媒体。9. A recording medium on which a program for causing a computer to execute image processing is recorded, wherein the execution of the program by the computer includes the steps of: specifying the position of a pixel to be calculated; A step of obtaining illumination component data indicating an influence of an illumination environment on an image based on a value of a pixel to be calculated in a plurality of images indicating the following.
プログラムを記録した記録媒体であって、前記プログラ
ムのコンピュータによる実行は、前記コンピュータに、 画像中の複数の領域を決定する工程と、 同一の被写体を示す複数の画像に基づいて、前記複数の
領域のそれぞれにおいて照明環境が画像に与える影響を
示す照明成分データを求める工程と、を実行させること
を特徴とする記録媒体。10. A recording medium on which a program for causing a computer to execute image processing is recorded, wherein the execution of the program by the computer includes the steps of: determining a plurality of areas in an image; Obtaining illumination component data indicating the effect of the illumination environment on the image in each of the plurality of regions based on the plurality of images shown.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001030847A JP2002232907A (en) | 2001-02-07 | 2001-02-07 | Digital image pickup device, program and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001030847A JP2002232907A (en) | 2001-02-07 | 2001-02-07 | Digital image pickup device, program and recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002232907A true JP2002232907A (en) | 2002-08-16 |
Family
ID=18895010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001030847A Pending JP2002232907A (en) | 2001-02-07 | 2001-02-07 | Digital image pickup device, program and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2002232907A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007148576A1 (en) * | 2006-06-22 | 2007-12-27 | Olympus Corporation | Imaging system and imaging program |
KR20100096494A (en) * | 2009-02-24 | 2010-09-02 | 삼성전자주식회사 | White ballance control method and apparatus using a flash, and digital photographing apparatus using thereof |
KR101014662B1 (en) * | 2004-01-14 | 2011-02-16 | 삼성전자주식회사 | Method for setting and adapting preset white balance of digital photographing apparatus |
JP2011049789A (en) * | 2009-08-26 | 2011-03-10 | Panasonic Electric Works Co Ltd | Imaging system |
EP2626690A2 (en) | 2012-02-10 | 2013-08-14 | Nec Corporation | Image pickup system producing image data with identifying number |
JP2019516068A (en) * | 2016-03-04 | 2019-06-13 | スリーエム イノベイティブ プロパティズ カンパニー | Device, system, and recording medium for measuring color difference |
CN114280056A (en) * | 2021-12-20 | 2022-04-05 | 北京普测时空科技有限公司 | Visibility measurement system |
-
2001
- 2001-02-07 JP JP2001030847A patent/JP2002232907A/en active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101014662B1 (en) * | 2004-01-14 | 2011-02-16 | 삼성전자주식회사 | Method for setting and adapting preset white balance of digital photographing apparatus |
WO2007148576A1 (en) * | 2006-06-22 | 2007-12-27 | Olympus Corporation | Imaging system and imaging program |
JP2008005246A (en) * | 2006-06-22 | 2008-01-10 | Olympus Corp | Imaging system and imaging program |
US8189063B2 (en) | 2006-06-22 | 2012-05-29 | Olympus Corporation | Image pickup system and image pickup program |
KR20100096494A (en) * | 2009-02-24 | 2010-09-02 | 삼성전자주식회사 | White ballance control method and apparatus using a flash, and digital photographing apparatus using thereof |
KR101589493B1 (en) | 2009-02-24 | 2016-01-28 | 삼성전자주식회사 | White ballance control method and apparatus using a flash and digital photographing apparatus using thereof |
JP2011049789A (en) * | 2009-08-26 | 2011-03-10 | Panasonic Electric Works Co Ltd | Imaging system |
EP2626690A2 (en) | 2012-02-10 | 2013-08-14 | Nec Corporation | Image pickup system producing image data with identifying number |
US9094596B2 (en) | 2012-02-10 | 2015-07-28 | Nec Corporation | Image pickup system having image quality improving function of image pickup signal |
JP2019516068A (en) * | 2016-03-04 | 2019-06-13 | スリーエム イノベイティブ プロパティズ カンパニー | Device, system, and recording medium for measuring color difference |
CN114280056A (en) * | 2021-12-20 | 2022-04-05 | 北京普测时空科技有限公司 | Visibility measurement system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019237992A1 (en) | Photographing method and device, terminal and computer readable storage medium | |
JP3551854B2 (en) | Digital photographing apparatus, image data processing apparatus, digital photographing method, and recording medium | |
CN101753814B (en) | Filming device, illumination processing device and illumination processing method | |
US9571745B2 (en) | Illumination systems and methods for computer imagers | |
US7778481B2 (en) | Apparatus and method for image processing including photometry and colorimetry | |
CN100379265C (en) | Image capture apparatus and control method therefor | |
US7084910B2 (en) | System and method for using multiple images in a digital image capture device | |
CN101237530B (en) | Photographing apparatus, method for controlling photographing apparatus | |
US20020080148A1 (en) | Image processing device and image processing method | |
US8760561B2 (en) | Image capture for spectral profiling of objects in a scene | |
WO2004010711A1 (en) | Imaging data processing method, imaging data processing device, and computer program | |
WO2004045219A1 (en) | Light source estimating device, light source estimating method, and imaging device and image processing method | |
US20020008771A1 (en) | Digital camera and image processing apparatus | |
CN107888841A (en) | Picture pick-up device and its control method | |
KR20090098197A (en) | Digital photographing apparatus to control flash lighting, controlling method for the same, and recording medium which records the program for carrying the same method | |
JP5052263B2 (en) | Image processing apparatus and image processing method | |
JP4427891B2 (en) | Image management device, digital imaging device, and image generation device | |
US11838648B2 (en) | Image processing device, imaging apparatus, image processing method, and program for determining a condition for high dynamic range processing | |
JP2002232907A (en) | Digital image pickup device, program and recording medium | |
JP2020034758A (en) | Imaging apparatus, monitoring system having the same, control method and program | |
JP4756148B2 (en) | Gloss / color reproduction system, gloss / color reproduction program | |
JP3595104B2 (en) | White balance adjustment method for color imaging device | |
JP2002238056A (en) | Digital imaging device, program and recording medium | |
JP2001211382A (en) | Device and method for image processing and recording medium | |
JP2006081654A (en) | Image forming method, and device therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20041116 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041130 |