JP2001008224A - 画像保存装置、画像再生装置、画像保存方法、画像再生方法および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 撮影対象への照明環境を変更した画像を得
る。 【解決手段】 画像データを取得するとともに（ステッ
プＳＴ１１）、撮影時の照明光の分光分布をマルチバン
ドセンサから照明成分データとして取得する（ステップ
ＳＴ１２）。次に、画像データと照明成分データとを用
いて撮影対象の分光反射率に相当する物体色成分データ
を求める（ステップＳＴ１３）。そして、求められた照
明成分データおよび物体色成分データを互いに独立して
取り出し可能な状態で保存する（ステップＳＴ１４）。
これにより、画像における照明環境の影響を示すデータ
と照明環境の影響を取り除いた成分を示すデータとが個
別に保存される。その結果、再生時に物体色成分データ
に任意の照明成分データを合成することができ、撮影対
象への照明環境を変更した画像を得ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、デジタルカメラ
やスキャナ等により取得される画像を、照明環境を変更
した画像へと変換する技術に関する。

【０００２】

【従来の技術】従来より、デジタルカメラやスキャナ等
の画像入力装置によりデジタルデータとして取得される
画像に対し、画像の色合いや雰囲気を修正する画像処理
が行われている。このような処理の代表的なものとし
て、ホワイトバランスに基づく色の修正がある。ホワイ
トバランスに基づく修正では、画像の全体的な色のバラ
ンスに基づいて白い物体が白く見えるように画像を修正
し、これにより、撮像対象への照明光の色の影響が画像
からある程度取り除かれ、人間の視覚に合った画像へと
修正される。

【０００３】

【発明が解決しようとする課題】従来よりなされてきた
画像の色合いの修正は、人間の視覚に合わせた修正や色
合いの微妙な修正を目的としている。したがって、元の
画像のデータと色合いの修正に関するデータとが分離し
て取り扱われることはない。例えば、修正された画像は
ＲＧＢの輝度情報として一体的に保存される。

【０００４】その一方で、ある画像が観察者に与える感
覚を他の画像に含めるために画像の色合いを修正するこ
とが望まれる場合がある。すなわち、ある画像が撮影さ
れた際の照明環境により演出される雰囲気を他の照明環
境にて撮影された画像に取り込みたい場合がある。な
お、照明環境とは、光源の特性みならず撮影対象の周囲
の条件を考慮した照明に係る環境をいうものとする。

【０００５】ところが、従来より画像のデータは一体的
なデータとして扱われることから、ある画像において照
明環境が演出する雰囲気を他の画像に取り込むことは不
可能であった。また、画像の色合いの修正により特定の
照明環境が演出する雰囲気を導き出そうとしても、画像
全体に対して一律に色合いを変更するのみでは不自然な
画像となってしまう。

【０００６】そこで、この発明は上記課題に鑑みなされ
たものであり、撮影対象への照明環境を変更した画像を
適切に得ることを目的としている。

【０００７】

【課題を解決するための手段】請求項１の発明は、照明
環境が画像に与える影響を示す第１データを取得する手
段と、前記画像において前記照明環境の影響を取り除い
た成分を第２データとして取得する手段と、前記第２デ
ータを独立して取り出し可能な状態で保存する手段とを
備える。

【０００８】請求項２の発明は、請求項１に記載の画像
保存装置であって、前記第２データが、複数の基底関数
および対応する複数の加重係数を含むデータである。

【０００９】請求項３の発明は、請求項１または２に記
載の画像保存装置であって、前記第１データを保存する
手段をさらに備える。

【００１０】請求項４の発明は、請求項１ないし３のい
ずれかに記載の画像保存装置であって、前記第１データ
を取得する手段が、前記画像を撮影する際に、撮影対象
から入射する光の複数の波長帯の強度を取得する手段を
有する。

【００１１】請求項５の発明は、請求項１ないし３のい
ずれかに記載の画像保存装置であって、前記第１データ
を取得する手段が、複数の波長帯に対応した複数のフィ
ルタのそれぞれを介して撮影を行うことにより前記画像
として複数の予備画像を取得する手段と、前記複数の予
備画像から前記第１データを求める手段とを有する。

【００１２】請求項６の発明は、所定の照明環境が画像
に与える影響を示す第１データ、および、請求項１ない
し５のいずれかに記載の画像保存装置により保存された
前記第２データを用いて画像を再生する。

【００１３】請求項７の発明は、請求項６に記載の画像
再生装置であって、互いに異なる照明環境が画像に与え
る影響を示す複数の候補データのそれぞれに、照明環境
の影響により画像が観察者に与える感覚を示す感性情報
が予め付与されおり、前記複数の候補データに付与され
ている感性情報の一覧を表示する手段と、前記一覧から
感性情報の選択を受け付け、選択された感性情報に対応
する候補データを前記第１データとして決定する手段と
を備える。

【００１４】請求項８の発明は、照明環境が画像に与え
る影響を示す第１データを取得する工程と、前記画像に
おいて前記照明環境の影響を取り除いた成分を第２デー
タとして取得する工程と、前記第２データを独立して取
り出し可能な状態で保存する工程とを有する。

【００１５】請求項９の発明は、請求項８に記載の画像
保存方法であって、前記第２データが、複数の基底関数
および対応する複数の加重係数を含むデータである。

【００１６】請求項１０の発明は、請求項８または９に
記載の画像保存方法であって、前記第１データを保存す
る工程をさらに有する。

【００１７】請求項１１の発明は、請求項８ないし１０
のいずれかに記載の画像保存方法であって、前記第１デ
ータを取得する工程が、前記画像を撮影する際に、撮影
対象から入射する光の複数の波長帯の強度を取得する工
程を有する。

【００１８】請求項１２の発明は、請求項８ないし１０
のいずれかに記載の画像保存方法であって、前記第１デ
ータを取得する工程が、複数の波長帯に対応した複数の
フィルタのそれぞれを介して撮影を行うことにより前記
画像として複数の予備画像を取得する工程と、前記複数
の予備画像から前記第１データを求める工程とを有す
る。

【００１９】請求項１３の発明は、所定の照明環境が画
像に与える影響を示す第１データを準備する工程と、請
求項８ないし１２のいずれかに記載の画像保存方法によ
り保存された前記第２データを準備する工程と、前記第
１データおよび前記第２データを用いて画像を再生する
工程とを有する。

【００２０】請求項１４の発明は、請求項１３に記載の
画像再生方法であって、互いに異なる照明環境が画像に
与える影響を示す複数の候補データのそれぞれに、照明
環境の影響により画像が観察者に与える感覚を示す感性
情報が予め付与されおり、前記第１データを準備する工
程が、前記複数の候補データに付与されている感性情報
の一覧を表示する工程と、前記一覧から感性情報の選択
を受け付け、選択された感性情報に対応する候補データ
を前記第１データとして決定する工程とを有する。

【００２１】請求項１５の発明は、画像を処理するプロ
グラムを記録したコンピュータ読み取り可能な記録媒体
であって、前記プログラムは、所定の照明環境が画像に
与える影響を示す第１データ、および、請求項１ないし
５のいずれかに記載の画像保存装置により保存された前
記第２データを用いて画像を再生する処理をコンピュー
タに実行させる。

【００２２】

【発明の実施の形態】＜１． 第１の実施の形態＞図１
はこの発明の第１の実施の形態に係るデジタルカメラ１
の全体を示す斜視図である。デジタルカメラ１は、撮影
を行うレンズユニット１１、および、レンズユニット１
１にてデジタルデータとして取得された画像を処理する
本体部１２とを有する。

【００２３】レンズユニット１１は、複数のレンズを有
するレンズ系１１１、および、レンズ系１１１を介して
撮像対象の像を取得するＣＣＤ１１２を有する。そし
て、ＣＣＤ１１２から出力される画像信号は本体部１２
へと送られる。また、レンズユニット１１には、操作者
が被写体を捉えるためのファインダ１１３、および、後
述する画像処理に利用されるマルチバンドセンサ１１４
が設けられる。

【００２４】なお、マルチバンドセンサ１１４が設けら
れる窓内には測距センサ等の他のセンサも配置される。

【００２５】本体部１２には、フラッシュ１２１および
シャッタボタン１２２が設けられ、操作者がファインダ
１１３を介して被写体を捉え、シャッタボタン１２２を
操作することにより、ＣＣＤ１１２にて電気的に画像が
取得される。このとき、必要に応じてフラッシュ１２１
が発光する。

【００２６】ＣＣＤ１１２からの画像信号は本体部１２
内部にて後述する処理が行われ、必要に応じて本体部１
２に装着されている外部メモリ１２３（いわゆる、メモ
リカード）に記憶される。外部メモリ１２３は本体部１
２下面の蓋を開けて取出ボタン１２４を操作することに
より本体部１２から取り出される。記録媒体である外部
メモリ１２３に記憶されたデータは別途設けられたコン
ピュータ等を用いて他の装置に渡すことができる。逆
に、他の装置にて外部メモリ１２３に記憶されたデータ
をデジタルカメラ１が読み出すことも可能である。

【００２７】また、本体部１２の背面には液晶のディス
プレイ、操作ボタン等が設けられ、操作者が画面を見な
がらボタンを操作することにより所望の入力操作が行わ
れる。

【００２８】図２は、デジタルカメラ１の構成のうち、
主としてこの発明に係る処理を実行するための構成を模
式的に示すブロック図である。

【００２９】図２に示す構成のうち、レンズ系１１１、
ＣＣＤ１１２、Ａ／Ｄ変換部１１５、シャッタボタン１
２２、ＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３は画像
を取得する機能を実現する。すなわち、レンズ系１１１
により被写体の像がＣＣＤ１１２上に結像され、シャッ
タボタン１２２が押されると、ＣＣＤ１１２からの画像
信号がＡ／Ｄ変換部１１５によりデジタル変換される。
Ａ／Ｄ変換部１１５にて変換されたデジタル画像信号は
本体部１２のＲＡＭ２３に画像データ２３１として記憶
される。なお、これらの処理の制御はＣＰＵ２１がＲＯ
Ｍ２２内に記憶されているプログラム２２１に従って動
作することにより行われる。

【００３０】また、本体部１２に設けられるＣＰＵ２
１、ＲＯＭ２２およびＲＡＭ２３が画像を処理する機能
を実現する。具体的には、ＲＯＭ２２に記憶されている
プログラム２２１に従って、ＲＡＭ２３を作業領域とし
て利用しながらＣＰＵ２１が取得された画像に画像処理
を施す。このとき、マルチバンドセンサ１１４からの情
報が利用される。

【００３１】ＲＡＭ２３に記憶（すなわち、保存）され
る照明成分データ２３２および物体色成分データ２３３
は、マルチバンドセンサ１１４の出力や画像データ２３
１から生成されるものであり、詳細については後述す
る。これらのデータは適宜外部メモリ１２３に保存され
る。

【００３２】また、ディスプレイ２４は、画像の表示や
操作者への情報の表示を行う手段であり、操作ボタン２
５は、操作者からの入力操作を受け付ける手段となって
いる。

【００３３】図３は、主としてＣＰＵ２１、ＲＯＭ２２
およびＲＡＭ２３により実現される機能の構成を他の構
成とともに示すブロック図であり、図４は画像処理の流
れを示す流れ図である。図３に示す構成のうち、照明成
分データ生成部２０１、物体色成分データ生成部２０２
および画像再生部２０３が、ＣＰＵ２１、ＲＯＭ２２、
ＲＡＭ２３等により実現される機能である。以下、これ
らの図を参照しながらデジタルカメラ１の動作について
説明する。

【００３４】まず、既述の撮影動作によりＣＣＤ１１２
にて取得された画像（正確には、画像信号）がＡ／Ｄ変
換部１１５からＲＡＭ２３へと送られ、画像データ２３
１として記憶される（ステップＳＴ１１）。

【００３５】次に、マルチバンドセンサ１１４からの出
力に基づいて、照明成分データ生成部２０１にて照明成
分データ２３２が生成され、ＲＡＭ２３に記憶される
（ステップＳＴ１２）。照明成分データ２３２とは、得
られた画像において撮影対象への照明環境が与えている
影響を示すデータである。

【００３６】マルチバンドセンサ１１４は、入射する光
について複数の波長帯における強度を取得するセンサと
なっている。マルチバンドセンサ１１４により得られた
複数の波長帯の強度は照明成分データ生成部２０１によ
り合成されて分光分布を示すデータとされ、照明成分デ
ータ２３２としてＲＡＭ２３に記憶される。

【００３７】すなわち、このデジタルカメラ１では、お
よそ撮影対象からデジタルカメラ１へと入射する光の分
光分布を、取得された画像において照明環境が与えてい
る影響を示すデータとして扱うようになっている。一般
に、白色光にて照明された撮影対象の画像では色の平均
がグレーになることから、マルチバンドセンサ１１４に
より得られる分光分布を照明環境による影響を示すデー
タとして利用することができる。

【００３８】マルチバンドセンサ１１４としては、複数
の光強度検出器のそれぞれに各波長帯の光のみを透過す
るフィルタを設けたものを利用することができる。例え
ば、可視領域の波長帯を複数の波長帯に分け、それぞれ
の波長帯の光のみを透過するフィルタが各光強度検出器
に設けられる。複数の波長帯としては４以上が好ましい
が、３つ（例えば、ＲＧＢの３色のフィルタ）であって
もデジタルカメラ１に入射する光のおおよその分光分布
を推定することは可能である。なお、この場合には、Ｃ
ＣＤ１１２がマルチバンドセンサ１１４の役割を兼ねる
ことができる。

【００３９】また、小型で高分解能のマルチバンドセン
サ１１４としては、川越宣和、他２名による「分光測色
計ＣＭ−１００」、Minolta Techno Report No.5 1988
（９７〜１０５頁）に記載されているように、ＣＣＤ上
に階段状に厚みが異なる金属膜干渉フィルタを設けたも
のも知られている。このマルチバンドセンサでは、ＣＣ
Ｄのエリアごとに金属膜干渉フィルタの厚みが変えられ
ており、ＣＣＤのエリアごとに所定の波長帯の光の強度
を得ることが実現されている。

【００４０】照明成分データ生成部２０１により照明成
分データ２３２が生成および保存されると、次に、物体
色成分データ生成部２０２により、画像データ２３１お
よび照明成分データ２３２を用いて画像データ２３１か
ら照明環境の影響を取り除いた成分として物体色成分デ
ータ２３３が求められる（ステップＳＴ１３）。物体色
成分データ２３３は、撮影対象の分光反射率に実質的に
相当するデータである。以下、物体色成分データ２３３
に相当する撮影対象の分光反射率を求める原理について
説明する。

【００４１】ＣＣＤ１１２の入力波長帯数（入力バンド
数）が３（ＲＧＢの３バンド）であるものとした場合、
ＣＣＤ１１２の出力値である各画素のＲＧＢの画素値ρ
r，ρg，ρbは、可視領域の波長をλ、ＣＣＤ１１２の
各色の分光感度をＲr(λ)，Ｒg(λ)，Ｒb(λ)、対象と
なる画素に対応する撮影対象上の位置の分光反射率（以
下、「対象分光反射率」という。）をＳ(λ)、照明光
（間接的な照明光を含む。）の分光分布（すなわち、照
明成分データ２３２）をＥ(λ)とすると、

【００４２】

【数１】

【００４３】が満たされる。

【００４４】ここで、ＣＣＤ１１２の各色の分光感度Ｒ
r(λ)，Ｒg(λ)，Ｒb(λ)はＣＣＤ１１２から測定する
ことが可能な特性であり、照明光の分光分布Ｅ(λ)はマ
ルチバンドセンサ１１４の出力から求められる値であ
る。もちろん、ＣＣＤ１１２の出力値である画素値ρ
r，ρg，ρbも既知である。

【００４５】そこで、対象分光反射率Ｓ(λ)を３つの基
底関数Ｓ₁(λ)，Ｓ₂(λ)，Ｓ₃(λ)の加重和として、

【００４６】

【数２】

【００４７】と表現する。加重係数ｂ₁，ｂ₂，ｂ₃は対
象分光反射率Ｓ(λ)の特性係数である。これにより、画
素値ρr，ρg，ρbは、

【００４８】

【数３】

【００４９】と変形される。すなわち、画素値ρr，ρ
g，ρbは、

【００５０】

【数４】

【００５１】として表現される。

【００５２】以上のことから、数４を加重係数ｂ₁，
ｂ₂，ｂ₃について解くことにより、対象分光反射率Ｓ
(λ)を求めることができる。

【００５３】物体色成分データ生成部２０２は、上記手
法にて各画素についての加重係数ｂ₁，ｂ₂，ｂ₃を求め
る。もちろん、実際の演算では波長λは離散的な変数と
して扱われる。そして、３つの基底関数Ｓ₁(λ)，Ｓ
₂(λ)，Ｓ₃(λ)および各画素の３つの加重係数ｂ₁，
ｂ₂，ｂ₃が物体色成分データ２３３としてＲＡＭ２３に
記憶される。これにより、撮影対象の分光反射率に相当
するデータが物体色成分データ２３３として保存され
る。なお、基底関数は画素値に応じて適宜設定されるも
のであってもよく、画素に依存しない関数であってもよ
い。基底関数が全画素について共通して用いられる場合
には、各画素に関して保存すべきデータは加重係数のみ
となる。

【００５４】照明成分データ２３２および物体色成分デ
ータ２３３が求められると、操作者の指示に従ってこれ
らのデータが必要に応じてデジタルカメラ１に着脱自在
な外部メモリ１２３に転送され保存される（ステップＳ
Ｔ１４）。すなわち、外部メモリ１２３には照明成分デ
ータ２３２と物体色成分データ２３３のいずれか一方の
みが保存されてもよいし双方が保存されてもよく、互い
に独立して取り出し可能な状態で外部メモリ１２３に保
存される。

【００５５】次に、ＲＡＭ２３または外部メモリ１２３
に保存された照明成分データ２３２および物体色成分デ
ータ２３３の利用態様について説明する。

【００５６】図５は、デジタルカメラ１において照明成
分データ２３２および物体色成分データ２３３を用いて
画像を再生する動作の流れを示す流れ図である。なお、
外部メモリ１２３には、複数の物体色成分データ２３３
および複数の照明成分データ２３２が予め記憶されてい
るものとする。

【００５７】まず、操作者がディスプレイ２４の表示を
見ながら操作ボタン２５を介して指示を行うことによ
り、所望の物体色成分データ２３３がＲＡＭ２３に読み
込まれる（ステップＳＴ２１）。これにより、再生する
画像の対象（すなわち、撮影時の撮影対象）が決定され
る。

【００５８】次に、操作者の指示に従って、所望の照明
成分データ２３２がＲＡＭ２３に読み込まれる（ステッ
プＳＴ２２）。すなわち、既に読み込まれている物体色
成分データ２３３の基礎となった画像を再生したい場合
には、物体色成分データ２３３が求められた時に求めら
れた照明成分データ２３２がＲＡＭ２３に読み込まれ、
他の画像が撮影された際の照明環境下での画像として再
生したい場合には、他の画像が撮影された際に得られた
照明成分データ２３２がＲＡＭ２３に読み込まれる。

【００５９】その後、照明成分データ２３２および物体
色成分データ２３３が図３に示した画像再生部２０３に
より合成されて、目的とする画像データが生成される
（ステップＳＴ２３）。再生の際には、物体色成分デー
タ２３３から数２に示した演算により、各画素の対象分
光反射率Ｓ(λ)が求められ、数１を用いて各画素のＲＧ
Ｂの画素値ρr，ρg，ρbが求められる。

【００６０】そして、求められた画像データがデジタル
カメラ１の背面に設けられたディスプレイ２４に表示さ
れる（ステップＳ２４）。

【００６１】以上のように、デジタルカメラ１では、マ
ルチバンドセンサ１１４を用いて撮影時の照明環境が画
像に与えている影響を示すデータとして照明成分データ
２３２を取得し、照明成分データ２３２を用いて画像か
ら照明環境の影響を取り除いた成分を示すデータとして
物体色成分データ２３３を求める。また、これらのデー
タは別個独立して取り出し可能な状態で保存される。

【００６２】したがって、デジタルカメラ１では、物体
色成分データ２３３に照明成分データ２３２を適宜合成
することにより、所望の照明環境下の所望の撮影対象の
画像を再生することができる。すなわち、撮影時の雰囲
気にて画像を再生したい場合には、互いに対となって生
成された照明成分データ２３２および物体色成分データ
２３３を合成すればよく、他の画像の照明環境の影響を
取り込んで再生したい場合には、物体色成分データ２３
３に他の照明環境で得られる照明成分データ２３２を合
成することで照明環境を変更した画像が再生される。

【００６３】また、デジタルカメラ１では、照明成分デ
ータ２３２をマルチバンドセンサ１１４を用いて簡易に
取得するようになっている。

【００６４】なお、上記説明では、デジタルカメラ１の
入力バンド数が３であるものとして説明したが、デジタ
ルカメラ１の入力バンド数が４以上であってもよい。す
なわち、ＣＣＤ１１２が各画素の画素値として４つ以上
の波長帯に対応する出力を行うようになっていてもよ
い。この場合、数１に示す式の数が入力バンド数に合わ
せて４以上となることから、数２に示す基底関数を入力
バンド数と同数まで増すことができる。その結果、対象
分光反射率Ｓ(λ)がより正確に求められ、再生される画
像の質が向上する。

【００６５】＜２． 第２の実施の形態＞図６はこの発
明の第２の実施の形態に係るデジタル撮像システム３の
構成を示す図である。デジタル撮像システム３は、撮影
対象の画像を取得するモノクロデジタルカメラ３１、複
数のフィルタを有する回転式フィルタ３２、および、デ
ジタルカメラ３１にて得られた画像を処理するコンピュ
ータ３３を有する。回転式フィルタ３２は、所定の波長
帯の光のみを透過するフィルタを複数有し、デジタルカ
メラ３１に入射する光を特定の波長帯に制限する。

【００６６】図７は、デジタル撮像システム３の主な構
成を示すブロック図である。第１の実施の形態に係るデ
ジタルカメラ１では、図２に示したように、マルチバン
ドセンサ１１４を用いて照明成分データ２３２を求め、
デジタルカメラ１内部にて画像の処理が行われるように
なっているが、第２の実施の形態に係るデジタル撮像シ
ステム３では、照明成分データ２３２がデジタルカメラ
３１にて撮像された複数の画像から求められ、また、画
像の処理をコンピュータ３３において行うという点で第
１の実施の形態と異なっている。

【００６７】図７に示すように、デジタルカメラ３１は
レンズ系３１１、ＣＣＤ３１２およびＡ／Ｄ変換部３１
３を有し、撮影対象の画像をデジタルデータとして取得
する機能を有する。

【００６８】コンピュータ３３は、デジタルカメラ３１
にて取得された画像を処理する機能を有し、ＣＰＵ４
１、ＨＤＤ（固定ディスク）４２、ＲＡＭ４３およびデ
ィスクドライブ４４を有する。ＨＤＤ４２には、画像を
処理するためのプログラム４２１が記憶されており、Ｒ
ＡＭ４３は、予備画像データ４３１、照明成分データ４
３２および物体色成分データ４３３が記憶されたり、画
像処理の作業が行われる領域となっている。

【００６９】ＲＡＭ４３は、固定ディスク、携帯可能な
磁気ディスク、光磁気ディスク等の記録媒体とデータの
受け渡しが可能とされており、第１の実施の形態と同様
に、照明成分データ４３２や物体色成分データ４３３が
必要に応じて記録媒体との間で受け渡しされる。なお、
図６および図７では、記録媒体としてディスクドライブ
４４を介してＲＡＭ４３等とデータの転送が行われる記
録媒体９を例示している。

【００７０】また、記録媒体９に画像処理のプログラム
を記憶させ、このプログラムをＲＡＭ４３に読み込ま
せ、ＲＡＭ４３内のプログラムにより、あるいは、ＨＤ
Ｄ４２内のプログラムとＲＡＭ４３内のプログラムとに
よりコンピュータ３３が画像処理装置として機能するよ
うになっていてもよい。

【００７１】コンピュータ３３には、さらに、画像を表
示したり操作者への情報の表示を行うディスプレイ４
５、および、操作者からの入力を受け付けるキーボー
ド、マウス等の入力部４６が設けられている。

【００７２】デジタルカメラ３１およびコンピュータ３
３による構成は、以上のように第１の実施の形態に係る
デジタルカメラ１の構成と類似しているが、このデジタ
ル撮像システム３では、回転式フィルタ３２を用いて照
明成分データ４３２や物体色成分データ４３３を求める
ようになっている点で第１の実施の形態と相違してい
る。

【００７３】回転式フィルタ３２は、円盤状の回転体に
特定の波長帯の光のみを透過するフィルタを複数設けた
構成となっており、回転体が回転することによりデジタ
ルカメラ３１には異なる波長帯の光のみが切り替えられ
ながら入射する。各フィルタは可視光の波長帯を複数に
分割した各波長帯に対応している。

【００７４】デジタルカメラ３１のレンズ系３１１の前
に、いずれの種類のフィルタが位置するかは回転式フィ
ルタ３２に設けられたエンコーダからの信号により、コ
ンピュータ３３が認識できるようにされている。

【００７５】図８は、ＣＰＵ４１、ＨＤＤ４２、ＲＡＭ
４３等により実現される機能構成およびその他の構成を
示すブロック図であり、成分データ生成部４０１および
画像再生部４０３は、図７中に示すＣＰＵ４１、ＨＤＤ
４２およびＲＡＭ４３の作業領域により実現される機能
に相当する。

【００７６】図９はデジタル撮像システム３の動作の流
れを示す流れ図である。以下、図８および図９を参照し
ながら、デジタル撮像システム３の動作について説明す
る。

【００７７】まず、所定のフィルタがデジタルカメラ３
１のレンズ系３１１の前方に配置され（ステップＳＴ３
１）、コンピュータ３３の制御により撮影を行う（ステ
ップＳＴ３２）。これにより、フィルタが透過する波長
帯の光のみがデジタルカメラ３１に入射し、デジタルカ
メラ３１のＡ／Ｄ変換部３１３から１つの予備画像に相
当する予備画像データ４３１がコンピュータ３３に転送
されてＲＡＭ４３に記憶される。

【００７８】次に、回転式フィルタ３２を回転させ、別
の波長帯の光のみを透過するフィルタがレンズ系３１１
の前方に配置され、撮影を行う（ステップＳＴ３１，Ｓ
Ｔ３２）。これにより、もう１つの予備画像に相当する
予備画像データ４３１がＲＡＭ４３に記憶される。

【００７９】その後、フィルタの変更および撮影を繰り
返すことにより（ステップＳＴ３３）、各フィルタに対
応する予備画像データ４３１がＲＡＭ４３に記憶され
る。なお、予備画像データ４３１には回転式フィルタ３
２からのフィルタに関する情報が付与される。なお、複
数の予備画像を撮影することは撮影対象のカラー画像を
撮影することに相当する。

【００８０】複数の予備画像に相当する予備画像データ
４３１がＲＡＭ４３に記憶されると、次に、成分データ
生成部４０１により予備画像データ４３１から照明成分
データ４３２および物体色成分データ４３３が生成され
る（ステップＳＴ３４）。すなわち、ＣＰＵ４１がＨＤ
Ｄ４２内のプログラム４２１に従って以下に説明する演
算処理を行う。

【００８１】複数の予備画像から照明成分データ４３２
および物体色成分データ４３３を求める手法としては適
切なデータが生成されるのであればどのような手法が用
いられてもよい。例えば、富永昌治、「色恒常性を実現
するカメラ系とアルゴリズム」、信学技報 PRU95-11(19
95-05)（７７〜８４頁）に記載された手法が採用されて
もよい。この手法では照明光の分光分布および撮影対象
の分光反射率を次のようにして求めている。

【００８２】まず、撮影対象上の位置（以下、「対象位
置」という。）から入射する光の分光分布Ｃ(λ)は、波
長をλ、対象位置における分光反射率をＳ(λ)、照明光
の分光分布をＥ(λ)として、

【００８３】

【数５】

【００８４】として表される。ここで、α，βはスケー
ルファクタであり、αＳ(λ)Ｅ(λ)は拡散反射成分、β
Ｅ(λ)は正反射成分に相当する。

【００８５】また、ｋ番目のフィルタにより撮影された
画像中の対象位置に対応する画素の画素値（すなわち、
ＣＣＤ３１２の出力値）ρkは、フィルタの波長帯域に
対応するＣＣＤ３１２の分光感度をＲk(λ)として、

【００８６】

【数６】

【００８７】として表される。

【００８８】ここで、照明光の分光分布Ｅ(λ)と対象位
置の分光反射率Ｓ(λ)について複数の基底関数の加重和
として表現する有次元線形モデルを用いることにより、
最終的に、

【００８９】

【数７】

【００９０】と変形される。ここで、ρは画素値ρkを
要素とするベクトル、Λは対象位置の分光反射率Ｓ(λ)
の有次元線形モデルの基底関数に対するセンサの応答を
表す行列、σは分光反射率Ｓ(λ)の有次元線形モデルの
加重係数のベクトル、Ｈは照明光の分光分布Ｅ(λ)の有
次元線形モデルの基底関数に対するセンサの応答を表す
行列、εは分光分布Ｅ(λ)の有次元線形モデルの加重係
数のベクトルである。

【００９１】そして、同一照明下では複数の対象位置に
ついてベクトルＨεの方向が一定であるという法則を利
用しつつ、適宜簡略化した演算手法を採用することによ
り上記式からσとεとが求められる。これにより、２つ
の有次元線形モデルの係数が求められ、照明光の分光分
布Ｅ(λ)および対象位置の分光反射率Ｓ(λ)が求められ
る。

【００９２】以上に例示した手法を用いて、成分データ
生成部４０１は照明光の分光分布Ｅ(λ)および対象位置
の分光反射率Ｓ(λ)を求める。なお、照明成分データ４
３２としては照明光の分光分布Ｅ(λ)の有次元線形モデ
ルの基底関数および加重係数ベクトルが保存され、物体
色成分データ４３３としては分光反射率Ｓ(λ)の有次元
線形モデルの基底関数および各画素についての加重係数
ベクトルが保存される。

【００９３】以上の説明では、スケールファクタα，β
が予め適宜設定されているものとして説明しているが、
この場合には、スケールファクタα，βが物体色成分デ
ータ４３３の一部として保存されてもよい。また、処理
を簡潔に行うためにスケールファクタβを０として演算
を行ってもよい。

【００９４】成分データ生成部４０１により照明成分デ
ータ４３２および物体色成分データ４３３が求められ、
ＲＡＭ４３に保存されると、これらの一方または双方が
操作者の指示に従って適宜記録媒体９に保存される（ス
テップＳＴ３６）。これにより、照明成分データ４３２
および物体色成分データ４３３は独立して取り出し可能
な状態で保存される。

【００９５】このとき、照明成分データ４３２が保存さ
れる前に、入力部４６を介する操作者の入力に基づいて
照明成分データ４３２には感覚を示す情報（以下、「感
性情報」という。）が付与される（ステップＳＴ３
５）。すなわち、図１０に示すように感性情報４３２ａ
が照明成分データ４３２に付加され、あるいは、図１１
に示すように関連づけられる。既述のように照明成分デ
ータ４３２は画像中の照明環境が与えている影響を示す
データであり、この照明成分データ４３２を用いて再生
される画像は観察者にある種の刺激を与える。そこで、
デジタル撮像システム３では、観察者が受ける感覚（感
性）を示す情報を用いて照明成分データ４３２を識別可
能な状態で保存するようになっている。

【００９６】具体的には、「春らしい」「真夏の」等の
季節感を示す言葉、「夕焼けの」「早朝の」「昼下がり
の」等の時刻から受ける感覚を示す言葉、「寒々とし
た」「カーっと暑い」等の温度感覚を示す言葉、「霞が
かかった」「曇りの」等の天候から受ける感覚を示す言
葉等の情報が照明成分データ４３２に付与されて保存が
行われる。

【００９７】図１２ないし図１４は、照明成分データ４
３２により表現される照明光の分光分布の例を示す図で
ある。感性情報としては、例えば、図１２に「夕焼け
の」、図１３に「寒々とした」、図１４に「昼下がり
の」といった語句が与えられる。もちろん、全ての照明
成分データ４３２に感覚を示す情報を付与する必要はな
く、「蛍光灯」等の語句が付与されてもよい。

【００９８】なお、感性情報としては、言葉に限定され
るものではなく、色、音等であってもよい。

【００９９】次に、以上のようにして記録媒体９に保存
された照明成分データ４３２および物体色成分データ４
３３を用いて画像が再生される際のデジタル撮像システ
ム３の動作について図１５を参照しながら説明する。

【０１００】画像が再生される際には、第１の実施の形
態と同様に、まず、操作者の指示に従って所望の物体色
成分データ４３３が記録媒体９からＲＡＭ４３に読み込
まれる（ステップＳＴ４１）。これにより、表示される
画像の撮影対象が決定される。

【０１０１】次に、画像再生部４０３により、記録媒体
９に保存されている各照明成分データ４３２に付与され
た感性情報４３２ａが読み出され、これらの一覧がディ
スプレイ４５に表示される（ステップＳＴ４２）。これ
により、記録媒体９中の選択候補となる照明成分データ
４３２が感性情報４３２ａに基づいて選択可能な状態と
なる。図１６および図１７はそれぞれ光源を示す場合と
光源を示さない場合のディスプレイ４５の表示画面の例
を示す図である。

【０１０２】操作者は感性情報４３２ａの一覧を見なが
ら、いずれかを入力部４６を介して指定する。コンピュ
ータ３３は操作者からの指定を受け付けると、指定され
た感性情報４３２ａが付与されている照明成分データ４
３２を再生に利用すべき照明成分データ２３２として決
定し（ステップＳＴ４３）、この照明成分データ４３２
を記録媒体９からＲＡＭ４３へと読み出す（ステップＳ
Ｔ４４）。

【０１０３】その後、第１の実施の形態と同様に画像再
生部４０３がＲＡＭ４３に記憶されている照明成分デー
タ４３２および物体色成分データ４３３を数５に示した
演算を行って合成し、画像データを生成する（ステップ
ＳＴ４５）。生成された画像データはディスプレイ４５
に再生される（ステップＳＴ４６）。

【０１０４】以上のように、デジタル撮像システム３で
は複数のフィルタを用いて複数の予備画像を取得し、こ
れらの予備画像に基づいて照明成分データ４３２および
物体色成分データ４３３を生成する。そして、これらの
データは独立して取り出し可能な状態で保存されるた
め、第１の実施の形態と同様に所望の照明環境下の撮影
対象から得られるであろう画像を適切に再生することが
できる。

【０１０５】また、照明成分データ４３２として図１６
に例示するように標準光（Ｄ６５等）を設けておくこと
で、任意の照明環境にて得られた画像から撮影対象の正
確な色再現も可能であり、印刷用の画像やインターネッ
トショッピング等に用いられる画像として適切な画像を
生成することができる。

【０１０６】さらに、このデジタル撮像システム３で
は、照明成分データ４３２に感性情報４３２ａを付与
し、照明成分データ４３２を選択する際に操作者が感性
情報４３２ａに基づいて選択を行うことができるように
されており、感性に基づいた画像再生を楽しむことがで
きる。

【０１０７】＜３． 変形例＞以上、この発明に係る実
施の形態について説明してきたが、この発明は上記実施
の形態に限定されるものではなく様々な変形が可能であ
る。

【０１０８】例えば、上記実施の形態における照明成分
データは照明環境が画像に与えている影響を示すデータ
であればどのようなものであってもよく、照明環境の影
響をある程度示すのであるならば厳密に求められる必要
はない。また、物体色成分データも画像から照明環境の
影響を取り除いた成分を示すデータであればどのような
ものであってもよく、照明環境が与える影響を厳密に取
り除いた成分を示すデータである必要はない。

【０１０９】また、上記実施の形態では、照明成分デー
タが複数の基底関数と複数の加重係数として保存される
と説明したが、照明成分データの保存形式は他の形式で
あってもよい。例えば、照明成分データが分光分布の特
性曲線として保存されてもよい。

【０１１０】また、照明成分データは、デジタルカメラ
１やデジタル撮像システム３を用いて必ずしも求められ
る必要はなく、例えば、仮想的な照明を意図した照明成
分データが別途生成されてもよい。さらに、画像が再生
される際に利用される照明成分データは、外部メモリ１
２３や記録媒体９に保存されている複数の照明成分デー
タを合成することにより生成されてもよい。

【０１１１】また、照明成分データと物体色成分データ
とがＲＡＭ、外部メモリ１２３、記録媒体９等に別個独
立して（例えば、ファイル名が同一で拡張子が異なる別
ファイルで）保存されると説明したが、照明成分データ
および物体色成分データが独立に取り出すことができる
状態であるならばどのような形態で保存されてもよい。
例えば、１つのファイルの前半部分に物体色成分データ
が格納され、後半部分に照明成分データが格納されても
よく、１つのファイルに画素ごとの物体色成分データお
よび照明成分データが順に並ぶように配置されてもよ
い。

【０１１２】また、上記第２の実施の形態では、デジタ
ルカメラ３１の前方に回転式フィルタ３２を配置するよ
うにしているが、複数のフィルタを切り替える機構をデ
ジタルカメラ３１内部に設けてもよい。また、フィルタ
の切り替え機構を設けずにデジタルカメラ３１として複
数（好ましくは４以上）の入力バンドを有するものを用
い、これにより複数の波長帯のそれぞれについて画像を
取得するようになっていてもよい。さらに、デジタルカ
メラ３１や回転式フィルタ３２とコンピュータ３３とは
伝送線で接続されている必要はなく、記録媒体を介して
予備画像データ４３１等がコンピュータ３３に取り込ま
れるようになっていてもよい。

【０１１３】また、上記第２の実施の形態では、成分デ
ータ生成部４０１により照明成分データ４３２および物
体色成分データ４３３を生成するようにしているが、ス
ケールファクタβを０として照明成分データ４３２を求
め、次に、数４に示した演算により第１の実施の形態と
同様の手法で物体色成分データ４３３を求めてもよい。
これにより演算の簡素化が図られる。このように、照明
成分データおよび物体色成分データを求める演算手法と
して様々な方法が採用可能である。

【０１１４】さらに、この発明はデジタルカメラを用い
て画像を得る場合に限定されるものではなく、スキャナ
等の他の画像入力装置にて得られる画像についても利用
することができる。

【０１１５】

【発明の効果】請求項１ないし５、並びに、請求項８な
いし１２に記載の発明では、画像から照明環境の影響を
取り除いた成分を示す第２データを独立して取り出し可
能な状態で保存するので、画像を再生する際に、互いに
独立して生成された第１データと第２データとを利用す
ることができる。これにより、照明環境を変更した画像
を再生することができる。

【０１１６】また、請求項４および１１に記載の発明で
は、第１データを簡易に取得することができる。

【０１１７】請求項６および７、並びに、請求項１３な
いし１５に記載の発明では、撮影対象への照明環境を変
更した画像を再生することができる。

【０１１８】また、請求項７および１４に記載の発明で
は、再生される画像における照明環境の影響を感性に基
づいて選択することができる。

【図面の簡単な説明】

【図１】この発明に係るデジタルカメラの全体を示す斜
視図である。

【図２】図１に示すデジタルカメラにおいてこの発明に
係る処理を実行するための構成を示すブロック図であ
る。

【図３】図２に示す構成を機能に分けて示すブロック図
である。

【図４】図１に示すデジタルカメラにおける画像を保存
する際の動作の流れを示す流れ図である。

【図５】図１に示すデジタルカメラにおける画像を再生
する際の動作の流れを示す流れ図である。

【図６】この発明に係るデジタル撮像システムの構成を
示す図である。

【図７】図６に示すデジタル撮像システムにおいてこの
発明に係る処理を実行するための構成を示すブロック図
である。

【図８】図７に示す構成を機能に分けて示すブロック図
である。

【図９】図６に示すデジタル撮像システムにおける画像
を保存する際の動作の流れを示す流れ図である。

【図１０】照明成分データと感性情報との関係を示す模
式図である。

【図１１】照明成分データと感性情報との関係を示す模
式図である。

【図１２】照明成分データにより表現される照明光の分
光分布の例を示す図である。

【図１３】照明成分データにより表現される照明光の分
光分布の例を示す図である。

【図１４】照明成分データにより表現される照明光の分
光分布の例を示す図である。

【図１５】図６に示すデジタル撮像システムにおける画
像を再生する際の動作の流れを示す流れ図である。

【図１６】感性情報の一覧が表示された画面の例を示す
図である。

【図１７】感性情報の一覧が表示された画面の例を示す
図である。

【符号の説明】

１ デジタルカメラ ３ デジタル撮像システム ９ 記録媒体 ２１，４１ ＣＰＵ ２２ ＲＯＭ ２３，４３ ＲＡＭ ３１ デジタルカメラ ３２ 回転式フィルタ ３３ コンピュータ ４２ ＨＤＤ ４４ ディスクドライブ ４５ ディスプレイ ４６ 入力部 １１４ マルチバンドセンサ ２０１ 照明成分データ生成部 ２０２ 物体色成分データ生成部 ２０３，４０３ 画像再生部 ２３１ 画像データ ２３２，４３２ 照明成分データ ２３３，４３３ 物体色成分データ ４０１ 成分データ生成部 ４２１ プログラム ４３１ 予備画像データ ４３２ａ 感性情報 ＳＴ１２〜ＳＴ１４，ＳＴ２１〜ＳＴ２４，ＳＴ３１〜
ＳＴ３４，ＳＴ３６，ＳＴ４１〜ＳＴ４６ ステップ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 9/04 Ｚ ５Ｃ０６５ 5/235 Ｇ０６Ｆ 15/66 ３１０ ５Ｃ０６６ 5/91 Ｈ０４Ｎ 1/40 Ｄ ５Ｃ０７７ 9/04 1/46 Ａ ５Ｃ０７９ 5/91 Ｊ 9/79 9/79 Ｇ Ｆターム(参考） 2H002 CC00 DB17 HA04 JA07 5B057 AA11 AA20 BA02 CA01 CA08 CA12 CB01 CB08 CB12 CC01 CE17 CH11 DB02 DB06 DB09 DC25 5C022 AA13 AB13 AB15 AC03 AC42 AC54 AC55 5C053 FA08 FA27 HA33 HA40 JA26 KA01 KA24 KA25 LA02 5C055 AA03 AA06 BA03 DA00 EA05 HA37 5C065 AA03 BB02 BB41 CC01 CC09 DD02 EE15 GG18 GG26 GG32 GG44 5C066 AA01 CA05 CA17 EA14 EB01 FA02 GA01 GB01 HA01 KA13 KE01 KE11 KM02 KM13 LA02 5C077 LL01 LL19 MM03 MM20 MP08 PP31 PP32 PP37 PP43 PP71 PQ18 PQ22 SS03 TT09 5C079 JA16 JA25 LA01 LA02 LB01 MA01 MA11 MA17 NA21 PA00

Claims (15)

【特許請求の範囲】
1. 【請求項１】 照明環境が画像に与える影響を示す第１
   データを取得する手段と、 前記画像において前記照明環境の影響を取り除いた成分
   を第２データとして取得する手段と、 前記第２データを独立して取り出し可能な状態で保存す
   る手段と、を備えることを特徴とする画像保存装置。
2. 【請求項２】 請求項１に記載の画像保存装置であっ
   て、 前記第２データが、複数の基底関数および対応する複数
   の加重係数を含むデータであることを特徴とする画像保
   存装置。
3. 【請求項３】 請求項１または２に記載の画像保存装置
   であって、 前記第１データを保存する手段、をさらに備えることを
   特徴とする画像保存装置。
4. 【請求項４】 請求項１ないし３のいずれかに記載の画
   像保存装置であって、 前記第１データを取得する手段が、 前記画像を撮影する際に、撮影対象から入射する光の複
   数の波長帯の強度を取得する手段、を有することを特徴
   とする画像保存装置。
5. 【請求項５】 請求項１ないし３のいずれかに記載の画
   像保存装置であって、 前記第１データを取得する手段が、 複数の波長帯に対応した複数のフィルタのそれぞれを介
   して撮影を行うことにより前記画像として複数の予備画
   像を取得する手段と、 前記複数の予備画像から前記第１データを求める手段
   と、を有することを特徴とする画像保存装置。
6. 【請求項６】 所定の照明環境が画像に与える影響を示
   す第１データ、および、請求項１ないし５のいずれかに
   記載の画像保存装置により保存された前記第２データを
   用いて画像を再生することを特徴とする画像再生装置。
7. 【請求項７】 請求項６に記載の画像再生装置であっ
   て、互いに異なる照明環境が画像に与える影響を示す複
   数の候補データのそれぞれに、照明環境の影響により画
   像が観察者に与える感覚を示す感性情報が予め付与され
   おり、 前記複数の候補データに付与されている感性情報の一覧
   を表示する手段と、 前記一覧から感性情報の選択を受け付け、選択された感
   性情報に対応する候補データを前記第１データとして決
   定する手段と、を備えることを特徴とする画像再生装
   置。
8. 【請求項８】 照明環境が画像に与える影響を示す第１
   データを取得する工程と、 前記画像において前記照明環境の影響を取り除いた成分
   を第２データとして取得する工程と、 前記第２データを独立して取り出し可能な状態で保存す
   る工程と、を有することを特徴とする画像保存方法。
9. 【請求項９】 請求項８に記載の画像保存方法であっ
   て、 前記第２データが、複数の基底関数および対応する複数
   の加重係数を含むデータであることを特徴とする画像保
   存方法。
10. 【請求項１０】 請求項８または９に記載の画像保存方
    法であって、 前記第１データを保存する工程、をさらに有することを
    特徴とする画像保存方法。
11. 【請求項１１】 請求項８ないし１０のいずれかに記載
    の画像保存方法であって、 前記第１データを取得する工程が、 前記画像を撮影する際に、撮影対象から入射する光の複
    数の波長帯の強度を取得する工程、を有することを特徴
    とする画像保存方法。
12. 【請求項１２】 請求項８ないし１０のいずれかに記載
    の画像保存方法であって、 前記第１データを取得する工程が、 複数の波長帯に対応した複数のフィルタのそれぞれを介
    して撮影を行うことにより前記画像として複数の予備画
    像を取得する工程と、 前記複数の予備画像から前記第１データを求める工程
    と、を有することを特徴とする画像保存方法。
13. 【請求項１３】 所定の照明環境が画像に与える影響を
    示す第１データを準備する工程と、 請求項８ないし１２のいずれかに記載の画像保存方法に
    より保存された前記第２データを準備する工程と、 前記第１データおよび前記第２データを用いて画像を再
    生する工程と、を有することを特徴とする画像再生方
    法。
14. 【請求項１４】 請求項１３に記載の画像再生方法であ
    って、互いに異なる照明環境が画像に与える影響を示す
    複数の候補データのそれぞれに、照明環境の影響により
    画像が観察者に与える感覚を示す感性情報が予め付与さ
    れおり、 前記第１データを準備する工程が、 前記複数の候補データに付与されている感性情報の一覧
    を表示する工程と、 前記一覧から感性情報の選択を受け付け、選択された感
    性情報に対応する候補データを前記第１データとして決
    定する工程と、を有することを特徴とする画像再生方
    法。
15. 【請求項１５】 画像を処理するプログラムを記録した
    コンピュータ読み取り可能な記録媒体であって、 前記プログラムは、所定の照明環境が画像に与える影響
    を示す第１データ、および、請求項１ないし５のいずれ
    かに記載の画像保存装置により保存された前記第２デー
    タを用いて画像を再生する処理をコンピュータに実行さ
    せることを特徴とする記録媒体。