JP4557478B2 - 画像処理装置及び画像処理方法と記録媒体 - Google Patents
画像処理装置及び画像処理方法と記録媒体 Download PDFInfo
- Publication number
- JP4557478B2 JP4557478B2 JP2001373597A JP2001373597A JP4557478B2 JP 4557478 B2 JP4557478 B2 JP 4557478B2 JP 2001373597 A JP2001373597 A JP 2001373597A JP 2001373597 A JP2001373597 A JP 2001373597A JP 4557478 B2 JP4557478 B2 JP 4557478B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- spectral distribution
- distribution data
- image
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/125—Colour sequential image capture, e.g. using a colour wheel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Processing Of Color Television Signals (AREA)
- Color Electrophotography (AREA)
Description
【発明の属する技術分野】
本発明は、ある環境光の下で被写体を撮影した画像信号を入力し、その画像信号に対して、それを再生して観察する観察環境光を考慮した画像処理を行う画像処理装置及び画像処理方法と記録媒体に関するものである。
【0002】
【従来の技術】
対象物を撮影して画像信号を発生する、例えばカメラ等の画像入力機器では、その撮影に際して、その対象物を照射している照明光により、その対象物の表色は大きく変化する。しかしながら、このような照明光と、その対象物から得られる画像信号との関係が定量化されておらず、ある対象物が任意の異なる環境光で照射された場合での、その表色に変換する色変換手法が存在しなかった。
【0003】
従って、このような画像入力機器と、その画像入力機器からの画像信号を入力して表示或いは印刷して出力する画像出力機器との間でのカラーマッチングを行う場合、その画像出力機器における出力画像の観察環境が、画像入力機器における撮影時の環境光と同様であるものとして、カラーマッチングを行っていた。従って、予め定義されている環境光以外の環境光の下における表色について、入力される画像信号と出力された画像とのカラーマッチングを行うことは不可能であった。
【0004】
画像入力機器における入力画像の撮影時の環境光と、画像出力機器における画像の観察環境光とが、予め定義されている条件と異なる場合に、従来の等色方法による画像処理により出力される画像の色は、入力画像に対して色味が異なって見える。
【0005】
また、分光分布データ(spectral distribution)を用いて、環境光の分光分布データの異なる環境間における完全等色を実現する例は、例えば特開平9−172649号公報に開示されているが、この方法では、必ず、対象物の分光反射率R(λ)を求める必要があった。
【0006】
本発明は上記従来例に鑑みてなされたもので、被写体の撮影された撮影環境光と、その撮影された被写体の画像信号に基づく出力画像の観察環境光とに基づいて、被写体の画像信号を処理して最適な表色の画像で出力できる画像処理装置及び画像処理方法と記憶媒体を提供することを目的とする。
【0007】
また本発明の目的は、被写体の撮影環境光と観察環境光とが互いに異なる場合でも、再生された被写体の画像の色が、その観察環境光の下に置いた時に、本来の被写体の色として再現される表色で再生できる画像処理装置及び画像処理方法と記録媒体を提供することにある。
【0008】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
対象物を撮影する撮影環境における撮影環境光の分光分布データと、画像を出力する画像出力装置により出力された画像を観察する観察環境における観察環境光の分光分布データと、前記撮影環境における対象物の各画素の分光分布データとを取得する取得手段と、
前記撮影環境光の分光分布データと前記観察環境光の分光分布データとの比を算出して環境光変換データを求める算出手段と、
前記取得手段により取得された対象物の各画素の分布分布データと、前記算出手段により算出された前記環境光変換データとを各画素ごとに乗算することによって、前記取得手段により取得された対象物の各画素の分光分布データを前記観察環境における分光分布データに変換する変換手段と、
前記変換手段により変換された各画素の分布分布データを表色データに変換すべく演算を行い、前記画像出力装置に出力する表色データを生成して出力するデータ出力手段とを有することを特徴とする。
【0009】
上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
撮影環境で撮影された対象物の画像信号に対して、画像を観察する観察環境における観察環境光を考慮した画像処理を行う画像処理装置の画像処理方法であって、
前記画像処理装置の取得手段が、対象物を撮影する撮影環境における撮影環境光の分光分布データと、画像を出力する画像出力装置により出力された画像を観察する観察環境における観察環境光の分光分布データと、前記撮影環境における対象物の各画素の分光分布データとを取得する取得工程と、
前記画像処理装置の算出手段が、前記撮影環境光の分光分布データと前記観察環境光の分光分布データとの比を算出して環境光変換データを求める算出工程と、
前記画像処理装置の変換手段が、前記取得工程で取得された対象物の各画素の分布分布データと、前記算出工程で算出された前記環境光変換データとを各画素ごとに乗算することによって、前記取得工程で取得された対象物の各画素の分光分布データを前記観察環境における分光分布データに変換する変換工程と、
前記画像処理装置のデータ出力手段が、前記変換工程で変換された各画素の分布分布データを表色データに変換すべく演算を行い、前記画像出力装置に出力する表色データを生成して出力するデータ出力工程とを有することを特徴とする。
【0010】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【0011】
図1は、本発明の実施の形態に係る画像処理装置の機能構成の概要を示すブロック図である。
【0012】
図1において、101は撮影環境光の分光分布データ検出部で、撮影装置により対象物を撮影する撮影環境において、その撮影環境における環境光(照明光)の分光分布データ(spectral distribution data)を検出する。102はマルチスペクトルカメラで、その撮影環境、即ち、撮影環境光によって照射されている対象物を撮影し、その対象物の画素毎の分光分布データ(画像信号)を獲得する。104は観察環境光の分光分布データ検出部で、マルチスペクトルカメラ102により撮影される撮影環境光とは異なる環境光である可能性の高い観察環境において、その観察環境での環境光(照明光)の分光分布データを検出している。103は信号処理部で、ある撮影環境で環境光(照明光)によって照射されている対象物の画素毎の分光分布データをマルチスペクトルカメラ102から入力し、再生環境における観察環境光によって照射される表色について、観察環境光の下で正確な色再現性を有する表色の各画素毎の分光分布データに変換し、更に表色データに変換する。106はデータ格納部で、撮影環境光分光分布データ検出部101から入力される撮影環境光の分光分布データ、マルチスペクトルカメラ102からの、その撮影環境光によって照射されている対象物画像の画素毎の分光分布データ(画像信号)、及び観察環境光分光分布データ検出部104により検出された観察環境光のマルチ分光分布データを入力して格納、保持している。107は環境光変換データ作成部で、撮影時及び観察時の各環境光の分光分布データより、環境光を変換するための環境光変換データを作成する。108は分光反射率変換部で、対象物の撮影環境光の下において撮影された画像の画素毎の分光分布データを、環境光変換データ作成部107により生成された環境光変換データに基づいて変換することにより、観察環境光の下で、その対象物の本来の色を再現するための分光分布データを求める。109は表色データ変換部で、分光反射率変換部108で変換された画素毎の対象物分光分布データを、出力部105における表色データに変換する。この信号処理部103により変換された表色データは出力部105に出力されて表示或いは印刷される。
【0013】
次に図2及び図3を参照して、本発明の実施の形態1に係る画像処理装置のより詳細な機能構成及びその動作を説明する。
【0014】
図3は、本発明の実施の形態1に係る画像処理装置の構成を中心に示すブロック図で、前述の図1と共通する部分は同じ番号で示し、その説明を省略する。ここでは、撮影装置とその撮影装置により撮影された画像信号を処理する画像処理装置(信号処理部を中心とする処理部)とが同じ環境光の下に置かれ、画像を出力する画像出力装置が別の環境光の下に置かれている。
【0015】
図3において、カメラ等の撮影装置は、少なくともマルチスペクトルカメラ102及び撮影環境光分光分布データ検出部101を有している。画像処理装置は、上述した撮影装置、データ格納部106と信号処理部103とを有している。また画像出力装置は、撮影環境とは離間している、或いは空間的に分離されているなどの任意の状態で、明らかに撮影環境と異なると判断される観察環境の下で、少なくとも画像を出力するための出力部105を備えており、上述の画像処理装置に接続されている。又、この画像出力装置には、それに接続されているか、もしくはそれに組み込まれている観察環境光分光分布データ検出部104が設けられている。
【0016】
この画像処理装置と画像出力装置との間は、通信インターフェース装置312、313により、双方向でのデータ伝送を可能にして接続されている。
【0017】
また後に詳細に説明するが、撮影環境光分光分布データ検出部101において検出された分光分布データがバンド情報(離散した波長に対応する分光分布データの集合)である場合には、撮影環境光の分光分布データを推測する撮影環境光分光分布データ推測部302を有するのが望ましい。またマルチスペクトルカメラ102において撮影された分光分布データがバンド情報である場合には、撮影対象物の分光分布データを推測する撮影対象物分光分布データ推測部304を有するのが望ましい。更には、観察環境光分光分布データ検出部104において検出された分光分布データがバンド情報である場合には、観察環境光分光分布データを推測する観察環境光分光分布データ推測部310を備えるのが望ましく、これら分光分布データ推測部302,304,310によって推測されて作成された分光分布データ(所定の波長域で連続した波長に対する分光分布データ)がデータ格納部106に格納される。尚、以下の実施の形態2以降に係る説明では、これら分光分布データ推測部を省略して説明するが、分光分布データ検出部101,104及びマルチスペクトルカメラ102の構成に応じて、これら分光分布データ推測部はなくても良いことは勿論である。
【0018】
次に、図3に示される構成を備える画像処理装置における、実施の形態1に係る分光分布データを用いた画像処理の概要を図2のフローチャートに従って説明する。
【0019】
まずステップS201で、ある環境光によって対象物を照射する撮影環境において、マルチスペクトルカメラ102によって、その対象物を撮影し、その撮影した映像に応じた画像信号(分光分布データ)を得る。この結果、その撮影環境光の分光分布データS0(λ)と、その対象物画像の各画素の分光分布データR(λ)とが掛け合わされた分光分布データS0(λ)・R(λ)が得られることになる。
【0020】
次にステップS202に進み、そのマルチスペクトルカメラ102による撮影環境での環境光の分光分布データが、撮影環境光分光分布データ検出部101によって検出されることによって、その撮影時の環境光の分光分布データS0(λ)が得られる。尚、この撮影時における環境光の分光分布データS0(λ)は、撮影時に環境光で照射される標準白板の反射光をマルチスペクトルカメラ102によって撮影した結果から求めても良い。
【0021】
次にステップS203に進み、撮影環境とは異なる環境である可能性の高い観察環境での観察環境光の分光分布データS1(λ)を得る。これは、観察環境光分光分布データ検出部104からの検出結果に基づくものである。この観察環境光の分光分布データS1(λ)の検出は、この観察環境光分光分布データ検出部104によるものだけでなく、例えば観察環境光によって照射される標準白板を、別のマルチスペクトルカメラ等によって撮影した結果から求めても良い。こうして獲得された、観察環境光の分光分布データS1(λ)は、通信インターフェース装置313、312を通じて画像処理装置に伝送される。
【0022】
尚、この際、その観察環境光の分光分布データS1(λ)を圧縮処理部(不図示)によって圧縮し、その圧縮されたデータを、この通信インターフェース装置312,313を通して伝送しても良い。この場合、画像処理装置では、その受信したデータを圧縮した状態でデータ格納部106に格納してもよく、或いはデータ復元部(不図示)により復号した後、データ格納部106に格納してもよい。
【0023】
次にステップS204に進み、マルチスペクトルカメラ102によって撮影された画像信号から、対象物の分光分布データS0(λ)・R(λ)を各画素毎に獲得する。こうして画像処理装置に入力された対象物の分光分布データS0(λ)・R(λ)、及び環境光の分光分布データS0(λ)は、信号処理部103のデータ格納部106に格納されて保存される。
【0024】
次にステップS205に進み、撮影環境光の分光分布データS0(λ)と、画像信号に基づいて出力された画像を観察する観察環境光の分光分布データS1(λ)とに基づいて、その対象物の画像の分光反射率を得るために、環境光変換データTr(λ)を式(1)の如く定義する。
【0025】
Tr(λ)=S1(λ)/S0(λ) ...式(1)
この環境光変換データTr(λ)は、環境光変換データ作成部107において算出される。
【0026】
次にステップS206に進み、データ格納部106に格納されている対象物の分光分布データS0(λ)・R(λ)に対して、ステップS205で求めた環境光変換データTr(λ)をかけ合わせることによって、観察環境光によって照射される、対象物の画像の画素毎の分光反射率S1(λ)・R(λ)を求める。これは式(2)に基づいて求められ、この計算は分光反射率変換部108において算出される。
【0027】
S1(λ)・R(λ)=Tr(λ)・S0(λ)・R(λ) ...式(2)
次にステップS207に進み、表色データ変換部109により、ステップS206で得られた観察環境光の分光分布データS1(λ)の下での、対象物の画像の画素毎の分光分布データS1(λ)・R(λ)を、適宜選択された表色系での等色関数のコンボリューション演算によって積分し、3つの値を持つ表色ベクトルデータに変換する。ここでは一般的に、3つの値を持つ表色ベクトルデータとしては、L*a*b*表色系や、XYZ表色系等のデバイス・インデペンデント値が選択される。このように変換された3つの値を持つXYZ表色系のそれぞれの表色ベクトルデータは、通信インターフェース装置312、313を通じて画像出力装置の出力部105に伝送される。
【0028】
図4は、等色関数の一例であるXYZ表色系における等色関数を説明する図である。図4に示すように、XYZ表色系のそれぞれの表色ベクトルデータは、それぞれ異なる波長に対応して、各異なる刺激値を有している。
【0029】
次にステップS208に進み、ステップS207において、分光分布データS1(λ)・R(λ)により変換され、出力部105に伝送された3つの値を持つ表色ベクトルデータを、その画像出力装置の出力部105における観察環境光に最適な出力信号に変換する。この画像出力装置としては、例えばRGB信号値を用いるディスプレイや、CMYK信号を用いるプリンタ、及びRGB,CMYK以上の多色信号値を用いるディスプレイ、もしくはプリンタ装置等が挙げられる。このような画像出力装置においては、3値の表色ベクトルに対して、出力部105の出力特性を考慮し、その出力部105において、適正な表色を行うためのCMS(カラーマネジメント)等の機能が組み込まれており、ステップS207における表色データ変換の際には、このようなCMS機能を参照して、出力部105における観察環境光に最適な出力信号に変換する。
【0030】
そしてステップS209に進み、ステップS208で作成された出力信号を出力部105に出力して画像の出力を行う。
【0031】
以上説明した図2のフローチャートで示される各ステップによって作成された画像データの出力部105における出力結果は、撮影環境光の下で撮影された対象物を、それとは異なる観察環境光の下で観察した場合に予測される表色で出力されたものとなる。
【0032】
次に、本実施の形態に係る図2の各ステップをより詳細に説明する。
【0033】
図5は、本実施の形態に係る撮影装置であるマルチスペクトルカメラ102の一例を示すブロック図である。
【0034】
図5において、501はレンズやアイリス等を含む光学ユニットを示す。502は回転フィルタで、複数個の波長の異なる分光特性をもつフィルタを、図示のように、円盤の円周に沿って各バンドに対応する波長の順に設置している。この構成において、対象物からの光は光学ユニット501を通過し、この回転フィルタ502の内の1つのフィルタを通過してCCD504に入力される。これにより、CCD504から出力されるデータは、各フィルタの波長に応じたバンド情報(離間した波長に応じたデータ)となる。ここで、回転フィルタ502を駆動モータ503によって回転させることによって、CCDセンサ504に対向して位置付けられるフィルタを切り替えることにより、各波長に対応するバンド情報が得られる。こうして得られた各バンド情報は、CCDセンサ504から出力されてA/D変換器505によってデジタル値に変換され、各画素を表わすデジタルデータとしてデータ格納部506に格納される。
【0035】
尚、ここで回転フィルタ502にあるフィルタの数は少ない方が、サンプリングにかかる処理時間が短縮されるため高速撮影が可能となる。よって、各バンドに対応するフィルタの枚数を出来る限り少なくしている。
【0036】
このようなマルチスペクトルカメラ102によって獲得された分光分布データは、図6に示すように、各フィルタに対応して獲得された波長に基づいて分解されたバンド毎の情報であるため、そのままでは全波長域に亙る分光分布データとして用いることはできない。本実施の形態に係るマルチスペクトルカメラ102によって獲得された限定された波長域でのバンド情報に対し、全波長域に亙る分光分布データをマルチ分光分布データと呼ぶことにする。従って、この実施の形態に係るマルチスペクトルカメラ102によってサンプリングされたバンド毎の分光分布データに対して補間処理を行うことによって、そのマルチ分光分布データを獲得するための手段が必要となる。
【0037】
本実施の形態においては、図6に示すように、回転フィルタ502から得られた各バンド毎における出力波長データにおいて、各波長データの中間の値をバンド情報として定義し、点線601で示すように、これらバンド情報を補間することによってマルチ分光分布データを得ている。
【0038】
図3における撮影対象物分光分布データ推測部304が、カメラなどの撮影装置内、或いは画像処理装置に設けられていて、上述したバンド毎の情報として入力されるバンドデータより、画像処理装置で用いられるマルチ分光分布データを作成している。
【0039】
この撮影対象物分光分布データ推測部304は、マルチスペクトルカメラ102により撮影された各バンド情報に対して逐次処理を実行し、補間により得られたマルチ分光分布データを、マルチスペクトルカメラ102の分光分布データとして出力するか、もしくは、画像処理装置内で、マルチスペクトルカメラ102から入力された各バンド情報に対して補間による推定処理を行い、その推定されたマルチ分光分布データを画像処理装置のデータ格納部106に分光分布データとして格納する構成であっても良い。
【0040】
また本実施の形態に係る構成においては、環境光の分光分布データを検出する撮影環境光分光分布データ検出部101、及び観察環境光分光分布データ検出部104において検出された環境光の分光分布データが、上述したような限定された波長域に対応するバンド情報であった場合には、上記と同様に、これら撮影時、及び観察時における環境光の分光分布データを推測する撮影環境光分光分布データ推測部302、及び観察環境光分光分布データ推測部310を画像処理装置内に備えるのが望ましい。
【0041】
また本実施の形態では、分光分布データは、従来のRGBといった3信号値に対して複数の値を持つバンド情報として構成されるため、1画素に対するデータ量が大きくなってしまう。
【0042】
よって、撮影環境光分光分布データ検出部101およびマルチスペクトルカメラ102より画像処理装置に対して、マルチ分光分布データもしくはマルチ分光分布データに対するバンド情報を伝達する際には、図3では不図示であるが、マルチ分光分布データもしくはマルチ分光分布データに対するバンド情報を圧縮するデータ圧縮部を設け、このデータ圧縮部を用いて伝送すべきデータを圧縮して伝送することにより、これらデータの転送に要する時間を短縮することが可能となる。この場合、画像処理装置は、不図示のデータ復元部を備え、その伝送されたデータを受信し、受信した画像データをそのまま、或いは復元してデータ格納部106に格納する。
【0043】
以下、分光分布データ或いはバンド情報を圧縮する処理の一例を説明する。
【0044】
図7は、本実施の形態に係るマルチスペクトルカメラ102の回転フィルタ502に8枚のフィルタが設置されている場合の、各フレームバンド情報の時間的な並びを示した図である。
【0045】
本実施の形態に係るマルチスペクトルカメラ102では、回転フィルタ502の回転によって、1枚のフィルタを通した波長のバンド情報を画素毎に獲得しているため、1枚のフィルタにつき1つのフレームバンド情報が獲得される。そして回転フィルタ502を回転し、フィルタを順次切り替えて全てのフィルタを用いて撮影を行うと、この回転フィルタ502に設けられたフィルタ数分のフレームバンド情報が獲得される。
【0046】
次に図8に示すように、注目画素に対するフレーム毎のバンド情報に注目し、隣合うフレームバンド情報同士の差分を求めることによって、フレームバンド情報間の相関情報を抽出する。次に1フレーム内でのバンド情報において、各画素間の差分を求めることによって、1フレームのバンド情報内における画素間の相関情報を抽出する。
【0047】
このようにして、フレームバンド情報間の相関情報と、1フレーム内でのバンド情報の画素間の相関情報に基づいた最適な符号化を行うことにより、効率の良い分光分布データの圧縮を行うことができる。
【0048】
一方、撮影時及び観察時における環境光における分光分布データの圧縮に関しては、マルチスペクトルカメラ102によって撮影された画像の分光分布データに比べて、フレームバンド情報が必ずしも必要ではなく、各フィルタに対応するバンド情報のみがあれば良い。よって、本実施の形態に係る撮影環境光及び観察環境光分光分布データ検出部101,104は、各フィルタに対応するバンド情報のみを出力する構成であってもよく、またはマルチスペクトルカメラ102によって、その環境光の下で標準白色板を撮影することによって環境光の分光分布データを検出する場合には、撮影された画像のフレームバンド情報より、任意の画素におけるフィルタに対応するバンド情報を直接、もしくは任意のいくつかの画素における各フィルタに対応するバンド情報を平均化した値を、バンド情報として出力するようにしても良い。
【0049】
このような方法によって獲得された撮影時、及び観察時の環境光の分光分布データの各フィルタに対応するバンド情報に対して、バンド情報間の差分を求め、そのバンド情報間の相関情報に基づいた最適な符号化を行うことによって、効率の良い分光分布データの圧縮を行うことができる。
【0050】
上記の画像処理装置は、撮影装置に接続された、例えば、ホストコンピュータのドライバソフトウェアのような形態で構成され、ホストコンピュータに入力された分光分布データを、そのソフトウェアによって処理して画像出力装置に出力する構成であっても良い。もしくは、この画像処理機能が撮影装置内にファームウェアとして組み込まれており、分光分布データが入力されると、撮影装置内の画像処理機能によって上記画像信号処理が行われ、出力信号に変換した後に画像出力装置に伝送されて出力される構成を持つものであっても良い。又、これらを画像処理方法を実行するプログラム、もしくはそれを記憶する記録媒体であっても良い。
【0051】
後者の構成に対しては、PCなどの仲介を必要とせず、撮影装置と画像出力装置とが任意の伝達手段(ケーブル、ネットワークなど)によって直接接続することが可能となるため、画像処理システムの構成が簡易となる利点がある。
【0052】
図3における、画像処理装置における信号処理部103は、環境光変換データ作成部107、分光反射率変換部108、表色データ変換部109の3つの信号処理部を備えている。
【0053】
図9は、これら環境光変換データ作成部107、分光反射率変換部108、表色データ変換部109のそれぞれの詳細な構成を示すブロック図である。
【0054】
図9において、各分光分布データを格納するメモリ316,317,321及び等色関数データメモリ323には、画像処理装置内におけるデータ格納部106よりデータが渡される。
【0055】
環境光変換データ作成部107において、撮影環境光分光分布データメモリ316よりの撮影環境光分光分布データと、観察環境光分光分布データメモリ317よりの観察環境光分光分布データとが割り算器318に供給される。この割り算器318は、撮影環境光分光分布データを観察環境光分光分布データで割り算し比率を求め(Tr(λ)=S1(λ)/S0(λ))、その計算結果を環境光変換データ(Tr(λ))として環境光変換データメモリ319に格納する。
【0056】
分光反射率変換部108において、積算器320は、カメラ102により撮影した対象物の分光分布データを記憶している対象物分光分布データメモリ321よりの分光分布データと、環境光変換データメモリ319よりの環境光変換データとを乗算することにより、撮影した対象物の分光反射率(S1(λ)・R(λ))を求めている。
【0057】
表色データ変換部109では、積算器322により、先に求められた撮影した対象物の分光分布データと環境光変換データを乗算した結果である積算器320の出力と、等色関数データメモリ323から供給される等色関数とを乗算し、その計算結果を積分器324にてコンボリューション積分演算することによって、3値の表色データを算出し、その結果を表色データ格納メモリ325に格納する。
【0058】
図10は本実施の形態に係る画像出力装置の構成を示すブロック図である。
【0059】
図において、処理部326は、観察環境光分光分布データ検出部104で得られた分光分布データを通信インターフェース装置313、通信インターフェース装置312を通じて画像処理装置に転送する。また画像処理装置からは、この出力部105の独自の色空間における3信号値(XYZ,Lab等)である表色データや、表色データを出力部105への出力信号に変換する際、この画像出力装置のカラーマネジメントシステムを観察環境光におけるデバイスプロファイルに変更するために必要な情報が、通信インターフェース装置312,313を通じて画像出力装置の処理部326に伝送される。
【0060】
この処理部326は、表色データを出力信号値に変換するためのカラーマネジメントシステムを含む色変換部329を使用して、その観察環境光における画像出力装置に最適な出力信号を作成する。この出力信号は、D/A変換器327によってアナログ信号に変換され、出力エンジン328に出力される。
【0061】
図11は、本実施の形態に係る画像出力装置に搭載されているカラーマネジメントシステムを、観察環境光に応じたデバイスプロファイルに変更する処理を説明するブロック図である。
【0062】
ここで、フォン・クリースの色順応予測式によれば、第1の環境光(試験光)の下で、ある物体色の3刺激値を(X,Y,Z)とし、これを他の環境光(基準光)に変えた時の対応色の3刺激値を(X',Y',Z')とすると、式(3)が成立する。ここで行列要素aijは、試験光と基準光の3刺激値から求められる定数である。
【0063】
【数1】
【0064】
観察環境光分光分布データ検出部104によって検出された観察環境光の分光分布データがバンド情報であった場合には、マルチ分光分布データ推定部340によりマルチ分光分布データに変換する。表色データ変換部341は、XYZ表色系の等色関数を等色関数メモリ342より獲得し、その観察環境における環境光分光分布データをXYZ値に変換する。これにより、その観察環境光の下での白色のXYZ値が得られる。なお、このXYZ値又は等色関数は、撮影側にある画像処理装置において算出して格納されているので、それを通信インターフェース312,313を通じて獲得しても良い。
【0065】
更に、デバイスプロファイル変換データ作成部343は、この求められた観察環境光の下での白色値のXYZデータ、及び画像出力装置に搭載されているカラーマネジメントシステムにおける、標準光源下での白色値のXYZ値をデバイスプロファイルメモリ345より獲得する。そして、フォン・クリースの色順応予測式を適用することによって、カラーマッチングシステムにおける標準光源下での画像出力装置の出力色の特性を記述したデバイスプロファイルのXYZ値を、その観察環境下での物体色のXYZ値に変換するために前述の行列要素aijを算出する。
【0066】
デバイスプロファイル変換部344は、こうして算出された行列要素aijに基づいて、画像出力装置に搭載のカラーマネジメントシステムにおける標準光源に基づくデバイスプロファイルより、その観察環境光の下での画像出力装置のデバイスプロファイルを作成する。こうして作成されたデバイスプロファイルは、その環境光の下でのデバイスプロファイルとして、デバイスプロファイルメモリ345に格納される。
【0067】
上述のように、撮影環境光に基づいて変換された撮影対象物の分光分布データである表色データ347が入力されると、色変換部329およびCMS処理部346は、前述の観察環境光の下におけるデバイスプロファイルを用いて、その観察環境光に応じて最適化した出力信号を得る。その出力信号はD/A変換器327によってアナログ信号に変換され、出力エンジン328に送られて画像として出力される。これにより、その観察環境光の下で、元の対象物の色に応じた正確な表色を実現することができる。
【0068】
以上説明した実施の形態1に係る画像処理装置においては、ある環境光によって照射されて撮影された対象物の表色を分光分布データを用いて正確に再現することによって、それとは異なる環境光の下での観察環境であっても、その対象物そのものが、その観察環境光の下に置かれた場合に見られる表色で、その対象物の画像を再生することができる。
【0069】
また、撮影時と観察時のそれぞれの環境光の分光分布データを取得することによって、画像出力装置のカラーマネジメントシステムに搭載されている標準光源下におけるデバイスプロファイルを、その環境光下におけるデバイスプロファイルに変換できるため、画像出力装置において正確な色再現性を実現することができる。
【0070】
[実施の形態2]
図12は、本発明の実施の形態2に係る画像処理装置の構成を示すブロック図で、ここでは撮影装置(カメラ)における撮影環境光と、それを再生する画像処理部及び画像出力部の観察環境光が異なっている場合の構成例を示す。尚、前述の実施の形態1と共通する部分は同じ番号で示し、それらの説明を省略する。
即ち、ここでは、少なくともマルチスペクトルカメラ102および撮影環境光分光分布データ検出部101を備える撮影装置が置かれている撮影環境光の下と、それとは異なる可能性の高い観察環境光の下に置かれた画像処理部(信号処理部411等を中心とする処理部)及び出力装置とを備えている。
【0071】
ここで画像処理部及び出力装置は、少なくともデータ格納部106、信号処理部411、画像を出力する出力部105、及び観察環境光分光分布データ検出部104を備えている。ここで撮影装置と画像処理部及び出力装置との間は、各装置に設けられた各通信インターフェース装置403,404を介して任意の伝達手段によって接続され、双方向でのデータ伝送を可能にしている。
【0072】
この実施の形態2に係る構成では、画像処理部が観察環境側に存在するため、撮影装置は、少なくとも被写体を撮影するマルチスペクトルカメラ102と撮影環境光の分光分布データを検出する撮影環境光分光分布データ検出部101、及び観察環境に置かれた画像処理装置に分光分布データを転送するための通信インターフェース装置403だけを備えれば良い。これにより撮影装置を軽量小型化できるため、撮影環境が複数存在し、かつ画像処理装置の機能が一体となった撮影装置を各撮影場所に移動することが困難な場合であっても容易に対処できる。
【0073】
また実施の形態2において、撮影された対象物の分光分布データ、撮影環境光の分光分布データという少なくとも2つ以上の分光分布データを転送する必要があるため、分光分布データを効率良く転送するための分光分布データ圧縮・復元する装置を、通信インターフェース装置403、404内に備えても良い。
【0074】
又、マルチスペクトルカメラ102および撮影環境光分光分布データ検出部101において検出され、或いは撮影された各分光分布データがマルチ分光分布情報でなく上述したバンド情報であった場合は、そのバンド情報をマルチ分光分布データに補間するための、上述したような分光分布データ推定部をデータ格納部106に備え、その補間されたマルチ分光分布データを格納するようにしても良い。
【0075】
この実施の形態2に係る画像処理は、画像出力装置に接続された、例えばホストコンピュータにドライバソフトウェアのような形態で記憶され、ホストコンピュータに入力された分光分布データを画像処理して画像出力装置に出力信号として出力するか、もしくは、画像出力装置内にファームウェアとして組み込まれており、画像出力装置に分光分布データが入力され、そのデータに対して画像処理が行われた後、出力信号に変換されて出力されるものであっても良く、もしくは、そのようなソフトウェアを記憶する記録媒体であっても良い。
【0076】
[実施の形態3]
前述の実施の形態2では、撮影環境と観察環境という明確な環境条件が設定されて、そこに撮影装置、画像出力装置が設けられていたが、実施の形態3では、撮影環境、観察環境という環境を定義をせず、図13に示すように、環境A(環境光A)に置かれたマルチスペクトルカメラ601、環境光分光分布データ検出部602、画像処理装置603、通信インターフェース装置606及び出力装置604を備え、別の環境B(環境光B)に置かれたマルチスペクトルカメラ607、環境光分光分布データ検出部608、画像処理装置609、通信インターフェース装置610及び出力装置611を備えている。これら互いに異なる環境光の下で撮影された対象物を、通信インターフェース装置606,610によって双方向通信を可能とし、それぞれの環境光の下で、出力装置604,611によって、別の環境光の下で撮影された対象物の表色を正確に再現できるようにしている。この基本原理は前述の実施の形態と同様であるため、その説明を省略する。
【0077】
また、ある環境光に置かれた画像処理装置では、その環境光の下で撮影した画像データを取得して処理するのか、或いは別の環境光の下で撮影された対象物の画像データを処理して再現するのかによって、その画像処理を行う画像データの対象とする環境光が撮影環境光になるのか、観察環境光になるかが一義的に定義される。これにより、画像処理装置は前述の実施の形態で説明された信号処理方法を適用して、対象物の表色を適正に再現することが可能となる。
【0078】
ここで、画像処理速度、メモリ容量などといった画像処理装置の処理能力、または伝達手段におけるデータ伝送速度や、ユーザの指示などによって、上記画像処理装置における演算処理をどちらの環境光に基づいて行うかを決定する構成であっても良い。
【0079】
[第4実施の形態]
図14は、RGBの分光特性を示すグラフ図である。
【0080】
前述の実施の形態において、マルチスペクトルカメラ102,601,607から出力されるバンド情報である分光分布データ、また環境光分光分布データ検出部101,602,608によって検出されるバンド情報である環境光の分光分布データは、前述の図6に示すような、各波長に応じた出力値である。この第4実施の形態では、分光分布データを示す任意の複数の波長に対応する出力値は、図14に示すような、RGBの分光特性を持つものでもよい。尚、このRGB分光特性データの代わりに、RGB値を直接持つようなデータ構成であっても良い。
【0081】
[第5実施の形態]
前述の実施の形態では、マルチスペクトルカメラは、回転フィルタを備え、各フィルタの波長に応じた分光分布データを出力したが、第5実施の形態に係るマルチスペクトルカメラはこれに限定されるものでなく、例えば、複数の波長の光に対して高感度なフィルタを配置したエリアセンサを備えるマルチスペクトルカメラであっても良い。
【0082】
また或いは、複数の特定の波長の光源データを切り替えて使用するか、もしくは複数の波長に対して高い感度を有するフィルタを切り替えて使用するラインセンサを備えたマルチスペクトルカメラであっても良い。要は、この第5実施の形態に係るカメラは、各波長に応じた分光分布データを獲得するためのスペクトルカメラであれば良く、その光学的構成には依存しない。
【0083】
[実施の形態6]
本実施の形態6では、予め、図2のフローチャートのステップS205で環境光変換データを作成した後、その環境光変換データを画像処理装置のデータ格納部106に格納しておき、撮影環境光或は観察環境光のいずれかが変化した場合のみ、その環境光変換データを更新することを特徴としている。
【0084】
図15は、この実施の形態6に係る処理を示すフローチャートである。尚、この場合の装置構成は前述の実施の形態1(図1,図3)と同様であるので、その説明を省略する。
【0085】
まずステップS301において、スペクトルカメラ102により対象物を撮影し、次にステップS302に進み、撮影環境光分光分布データ検出部101からの検出データで示される、そのスペクトルカメラ102による撮影環境光の分光分布データが、先に撮影された時点における撮影環境光の分光分布データ(データ格納部106に格納されている)と比べて変化しているかどうかを判断する。変化している場合はステップS303に進み、その撮影環境光分光分布データ検出部101からの分光分布データを、新たな撮影環境光分光分布データとしてデータ格納部106に格納してステップS304に進む。
【0086】
一方ステップS302で、撮影環境光分光分布データ検出部101からの分光分布データが変化していないか、或いは撮影時間間隔や、ユーザからの指示等により、撮影環境光の分光分布データに変化が無いと判断された場合はステップS304に進み、観察環境光分光分布データ検出部104からの分光分布データが、既にデータ格納部106に格納されている観察環境光の分光分布データに対して変化しているかを調べ、変化があった場合はステップS305に進み、観察環境光分光分布データ検出部104からの分光分布データを、新たな観察環境光の分光分布データとしてデータ格納部106に格納してステップS306に進む。
【0087】
またステップS304で、観察環境光分光分布データ検出部104からの分光分布データが変化していないか、或いは撮影時間間隔や、ユーザからの指示等により、観察環境光の分光分布データに変化が無いと判断された場合はステップS306に進み、その対象物を撮影した環境光の下での対象物の分光分布データをデータ格納部106から読み出して獲得する。
【0088】
次にステップS307に進み、ステップS302及びステップS304における環境光分光分布データの変化の有無によって、撮影環境光もしくは観察環境光のいずれかでも変化しているか否かを判定し、変化している場合はステップS309に進み、ステップS303、及び/又はステップS305において保存された、撮影及び/又は観察環境での環境光の分光分布データに基づいて、その対象物の環境光変換データTr(λ)を再度、算出する。
【0089】
一方、ステップS307で、いずれの環境光の分光分布データも変化していないと判断された場合はステップS308に進み、データ格納部106に予め格納されていた環境光変換データTr(λ)を読み出す。
【0090】
こうしてステップS308或いはS309を実行した後ステップS310に進み、ステップS308又はS309で獲得された環境光変換データTr(λ)を用い、分光反射率変換部108により、マルチスペクトルカメラ102によって撮影された対象物の分光分布データの環境光に基づく変換処理を行う。そしてステップS311に進み、表色データへの変換を実行する。次にステップS312に進み、画像出力装置の出力部105へ応じた出力信号に変換し、ステップS313で、その出力信号を出力部105に出力する。
【0091】
この実施の形態6によれば、マルチスペクトルカメラ102において連続撮影を行う場合などにおいて、環境光の変化が無かった場合には処理工程を少なくできる。
【0092】
又実施の形態6によれば、環境光変換データを予め格納しておくことにより、環境光を常に測定することが必要がなくなる。又、予め格納された所望の環境光変換データを用いることによって、所望の環境光によって照射される対象物の分光分布データを推定することができる。
【0093】
又、撮影環境光及び観察環境光がそれぞれ複数存在する場合には、それぞれの環境光に対応する環境光変換データを記憶しておくことにより、同様に対処できる。
【0094】
[実施の形態7]
次に本発明の実施の形態7を説明する。この実施の形態7では、予め、或いは最新の撮影及び観察環境光変換データを記憶しておき、そのいずれかが変化した場合にのみ、その変化した環境光の分光分布データを取得して、前述と同様に、その環境における対象物の分光分布データを作成することを特徴とする。
【0095】
図16は、この実施の形態7に係る処理を示すフローチャートである。
【0096】
まずステップS321で、マルチスペクトルカメラ102を用いて対象物を撮影し、ステップS322で、現時点での撮影環境光分光分布データ検出部101からの分光分布データが、先に撮影された時点での撮影環境光分光分布データ(データ格納部106に格納されている)と比べて変化しているか否かを判定する。変化している場合にはステップS324に進み、撮影環境光分光分布データ検出部101からの分光分布データを入力してデータ格納部106に格納する。
【0097】
一方ステップS322で変化していないか、或いは撮影環境光の分光分布データの変化の確認の結果や、撮影時間間隔の条件やユーザからの指定等によって、撮影環境光の分光分布データに変化が無いと判断された場合はステップS323に進み、データ格納部106に格納されていた、先に撮影された時点における撮影環境光の分光分布データを読み出す。
【0098】
次にステップS325に進み、現時点での観察環境光分光分布データ検出部104からの分光分布データの変化を確認し、データ格納部106に格納されていた観察環境光の分光分布データと変化があった場合はステップS327に進み、観察環境光分光分布データ検出部104で検出された撮影環境光の分光分布データを取得する。又、その観察環境光分光分布データ検出部104における検出結果が変化していないか、或いは撮影時間間隔の条件やユーザからの指示等によって観察環境光の分光分布データに変化が無いと判断された場合はステップS326に進み、データ格納部106に格納されていた、先に獲得された時点における観察環境光の分光分布データを読み出す。
【0099】
次にステップS328に進み、その対象物を撮影した分光分布データを獲得し、次にステップS329に進み、環境光変換データTr(λ)を算出してステップS330に進む。こうしてステップS330乃至S333で、前述の図15のステップS310乃至S313と同様にして、撮影された分光分布データの環境光変換処理、表色データへの変換、及び画像出力装置の出力部105への出力信号への変換処理を行って、出力部105による画像再生を行う
このように実施の形態7によれば、例えばマルチスペクトルカメラ102を使用して連続撮影を行った場合や、常に環境光の分光分布データが調整されている環境下の場合など、どちらかの環境光に変化がないような場合には、予め記憶されているデータを使用できるので処理効率を高めることができる。
【0100】
又実施の形態7によれば、環境光の分光分布データを格納しておくことにより、環境光を必ずしも測定する必要がなくなる。また所望の環境光の分光分布データを格納しておき、それを用いることにより、所望の環境光によって照射される対象物の分光分布データを容易に推定することができる。
【0101】
[実施の形態8]
図17は本発明の実施の形態8に係る構成を示すブロック図で、前述の図3と共通する部分は同じ番号で示し、その説明を省略する。
【0102】
図3と比較すると明らかなように、実施の形態8では、撮影装置と画像処理装置及び画像出力装置とがそれぞれ分離されて、通信インターフェース装置312,313、403,404を介して接続されており、それぞれ異なる環境に置かれている。また、前述の実施の形態1では、分光分布データをバンド情報として受取るため、それを全波長に亙るマルチ分光分布データに変換するための分光分布データ推測部302,304,310を備えていたのに対し、この実施の形態8では、各環境光の分光分布データを全波長に亙るマルチ分光分布データとして入力するため、これらが不要になっている。
【0103】
実施の形態8に係る画像処理装置1313は、観察環境及び撮影環境のいずれに対しても独立した関係にあり、各環境より受け取った分光分布データを基に適宜、環境光変換データを作成して対象物の分光分布データの変換を行う。更に、その分光分布データを表色データに変換すべく演算を実行し、その算出された表色データを観察環境光の下に置かれた画像出力装置に出力して画像を再生する。
【0104】
この実施の形態8に係る画像処理装置の機能は、コンピュータ等の処理装置における画像処理方法を実行するプログラムにより達成されても良い。
【0105】
例えば、図18に示すように、撮影環境と観察環境といった環境光の属性がそれぞれ異なる可能性がある場合、任意の2つの異なる環境光を持つ環境A,Bにおいて、それぞれマルチスペクトルカメラ1402、1408、環境光分光分布データ検出器1401、1407、処理装置1403、1409、通信インターフェース装置1405、1309、1414、出力装置1406、1412及びユーザI/F1405、1410を備え、互いに異なる環境光の下で撮影された対象物の画像を、通信インターフェース装置1405、1411を通じて、対象物の環境光の変換処理を行う画像処理装置1313に接続されている。
【0106】
この構成において、各装置間で双方向通信を可能とすることにより、画像処理装置1313において、撮影環境を環境A或いはBとして処理するか、或いは観察環境を環境A或いはBとして処理するかを適宜切り換えることができる。
【0107】
また、上記説明においては、画像処理装置1313に対する観察環境及び撮影環境が1対1で定義されているが、例えば図19に示すように、任意の複数の撮影環境820〜823、及び任意の複数の観察環境824〜827が伝送回線を通じて接続されていても良い。尚、図19において、撮影環境と観察環境がそれぞれ同じ数で示されているが、これらはそれぞれ異なっていても良い。
【0108】
この場合、画像処理装置1313において、指定された撮影環境と観察環境における各分光分布データを獲得し、撮影された対象物の分光分布データを表色変換処理し、指示された観察環境光の下での画像出力装置に対して表色データを送信するような場合にも適用できる。
【0109】
例えば、ネットワーク上に色変換処理サーバとして、実施の形態8に係る画像処理装置1313を備え、それぞれの撮影環境、観察環境から、そのネットワークを通じて各分光分布データを獲得し、観察環境光に置かれた画像出力装置に対して表色データを送信する色変換処理システムとしても本発明を適用することが出来る。
【0110】
[実施の形態9]
図19に示すように、画像処理装置1313が、複数の撮影環境820〜823と、複数の観察環境824〜827とに伝送回線を通じて接続されている場合、画像処理装置1313は、指定された撮影環境と観察環境の組における各分光分布データを獲得し、撮影された対象物の分光分布データに対して表色変換処理を行い、その観察環境光の下に置かれた画像出力装置に対して表色データを送信する。
【0111】
この場合、図18に示すように、それぞれの環境におけるユーザは、ユーザI/F1404、1410、及び通信インターフェース装置1405、1411、1309を介して、撮影された対象物の分光分布データ及び撮影環境における撮影光の分光分布データを取得して画像処理装置1313のデータ格納部106に格納、登録することができる。こうして登録されたデータは画像データベースとして使用可能である。
【0112】
図20は、本発明の実施の形態に9に係る、ユーザが環境光の分光分布データを登録するデータ格納部106のデータ構成例を示す図である。
【0113】
ここでは各ユーザIDに対して、登録されている環境光の種類が、撮影環境光であるか、もしくは観察環境光であるかを示す環境光の種類、及び、環境光の分光分布データが各波長(nm)毎の値で格納されている。もちろん、環境光の分光分布データは圧縮された形態で登録されていても良いことはいうまでもない。
【0114】
図21は、本発明の実施の形態9に係る処理を示すフローチャートで、ユーザによって行われるデータ格納部106への環境光の分光分布データの登録、更新処理を示すフローチャートである。
【0115】
まずステップS401において、撮影環境或いは観察環境における環境光が環境光分光分布データ検出器において検出され、それが取得される。次にステップS402に進み、その環境光の分光分布データが既にデータ格納部106に登録されているかをみる。そうであればステップS404に進み、その取得した環境光の分光分布データを更新するかを判断する。更新すると判断した場合はステップS405に進み、そのユーザの登録IDを入力する。次にステップS406に進み、その入力されたユーザIDによって、登録されている環境光の分光分布データの種類が特定される。即ち、図20に示すデータ格納部106のデータ構成において、1つの環境光データの一組が特定される。
【0116】
次にステップS407に進み、その特定された環境光の分光分布データを、ステップS401で新たに取得した環境光の分光分布データで更新する。そしてステップS408で、その更新処理を終了する。尚、ステップS404で更新処理を実行しない場合にはステップS408に進んで処理を終了する。
【0117】
またステップS402で登録済みでない場合はステップS403に進み、登録するかどうかを判断する。登録しない場合はステップS408に進んで処理を終了するが、登録する場合はステップS409に進み、図20に示すデータ格納部106のデータ構成において、1つの環境光データの一組を登録するためのデータ領域メモリが確保される。そしてステップS410に進み、そのユーザのIDを設定登録し、ステップS411で、その入力されたユーザIDに対応付けて、登録する分光分布データの環境光の種類を指定する。そしてステップS412に進み、その環境光の分光分布データを、対応するデータ領域に記憶し、それに対応付けてユーザID、環境光の種類も登録する。そしてステップS408に進み、登録更新手続きを終了する。
【0118】
図22は、本発明の実施の形態9に係る環境光の分光分布データの削除手続きを示すフローチャートである。
【0119】
まずステップS421で、登録されている環境光の分光分布データを削除する指示が入力されたかどうかを判断する。削除しない時はステップS428に進み、この削除処理を終了する。削除する場合はステップS422に進み、そのユーザの登録IDが入力され、次にステップS423に進み、そのユーザIDに対応して格納されている環境光の分光分布データの中から、削除すべき環境光の分光分布データの環境光の種類が指定される。これによって、図20に示すデータ格納部106のうちの、削除すべき環境光データの組が特定される。
【0120】
次にステップS424に進み、その特定された環境光の分光分布データを削除する。そしてステップS425に進み、その削除した環境光の分光分布データの環境光の種類を示す情報を削除する。次にステップS426に進み、その削除した環境光の分光分布データの登録ID(ユーザID)を削除する。次にステップS427に進み、その削除した1つの環境光データの組を格納していたデータ格納部106のメモリ領域を開放する。そしてステップS428に進み、この削除手続きを終了する。
【0121】
以上説明したように実施の形態9によれば、各環境光の分光分布データをユーザ毎に登録可能にし、又そのユーザ毎のデータの更新、削除を行うことができる。
【0122】
これにより、ユーザが、登録された各環境光の分光分布データを指定することによって、各環境光の分光分布データを毎回受け取ることなく、上述した色変換処理を行うことができる。
【0123】
これにより、各環境間でのデータ伝送によるトラフィックの効率向上を図ることができ、画像処理装置は、対象物の分光分布データに対して環境光の変換処理のみを行えばよく、撮影及び観察環境光の分光分布データを取得するための手段を不要にできる。
【0124】
また実施の形態9では、ユーザによって、ユーザI/F及び通信インターフェース装置を介してデータ格納部106に格納された各環境光の分光分布データの登録、更新、削除を行っていた。しかし、環境光を検出した時間からの経過時間等により、その情報の登録、更新、削除するかどうかを自動的に判別してもよい。
【0125】
また、登録ID及び分光分布データの種類、撮影した環境光の分光分布データを指定するパラメータ、及び撮影された対象物の分光分布データを、図20に示されるデータ構成と同様に設定し、データ格納部106に登録、更新或いは削除できるようにしても良い。
【0126】
以上説明したように実施の形態9によれば、ある環境下で撮影された対象物の分光分布データ及びその撮影環境光の分光分布データ、及びその対象物の出力画像を観察する観察環境光の分光分布データを用いて、異なる照明光の下で撮影され、別の環境光の下で観察される対象物の画像を正確に再現することができる。
【0127】
また、複数の撮影部と複数の画像出力部とを有する画像処理部を複数持つ必要が無く、一つの画像処理装置によって、複数の画像入力部および複数の画像出力部とを接続して正確な色再現を行うことができる。
【0128】
[実施の形態10]
次に本発明の実施の形態10について説明する。
【0129】
図23は、この実施の形態10に係る構成を説明するブロック図で、前述の図1と共通する部分は同じ番号で示し、それらの説明を省略する。
【0130】
図23において、110は再現環境光分光分布データ検出部で、撮影環境及び観察環境とは異なる照明光(再現環境光)で照射される環境において、その再現環境光の下での分光分布データを得ている。この再現環境光の下での分光分布データはデータ格納部106に送られて記憶される。信号処理部103は、撮影環境光の下で撮影された対象物の分光分布データを取得し、その対象物の画像を再現する再現環境光の分光分布データに応じた表色データに変換する。更に、その再現された画像を観察する観察環境光の下での分光分布データに変換する。
【0131】
図24はこの処理を示すフローチャート、そして図25は、この実施の形態10に係る詳細構成を示すブロック図で、図17と共通する部分は同じ番号で示し、その説明を省略する。
【0132】
この図25と図17から明らかなように、実施の形態10に係る画像処理装置では、再現環境を示す環境光の分光分布データが再現環境光分光分布データ検出部110で検出され、通信インターフェース装置305、通信インターフェース装置404を介して入力される点が前述の実施の形態8と異なっている。その他の構成及び処理に関しては、基本的に前述の実施の形態と同様であるので、詳しい説明は省略する。
【0133】
次に実施の形態10に係る分光分布データを用いた画像処理の概要を図24のフローチャートに従って説明する。
【0134】
まずステップS501で、ある環境光によって対象物を照射する撮影環境において、マルチスペクトルカメラ102によって、その対象物を撮影する。これによりステップS502で、その撮影した映像に応じた画像信号(分光分布データ)を得る。この結果、その撮影環境における環境光の分光分布データS0(λ)と、その対象物の画像信号における各画素の分光分布データR(λ)とが掛け合わされた分光分布データS0(λ)・R(λ)が得られることになる。
【0135】
次にステップS503に進み、そのマルチスペクトルカメラ102による撮影環境での環境光の分光分布データが、撮影環境光分光分布データ検出部101によって検出されることによって、その撮影時の環境光の分光分布データS0(λ)が得られる。尚、この撮影環境光の分光分布データS0(λ)は、撮影時に環境光で照射される標準白板の反射光をマルチスペクトルカメラ102によって撮影した結果から求めても良い。こうして得られた撮影環境光の分光分布データS0(λ)と、分光分布データS0(λ)・R(λ)は、通信インターフェース装置403,404を介して画像処理装置に伝送され、データ格納部106に格納される。
【0136】
次にステップS504に進み、撮影環境とは異なる環境である可能性の高い観察環境での観察環境光の分光分布データS1(λ)を得る。これは、観察環境光分光分布データ検出部104からの検出結果に基づくものである。この観察環境光の分光分布データS1(λ)の検出は、この検出部104によるものだけでなく、例えば観察環境光によって照射される標準白板を、別のマルチスペクトルカメラ等によって撮影した結果から求めても良い。こうして獲得された、観察環境光の分光分布データS1(λ)は、通信インターフェース装置313、312を通じて、その画像処理装置に伝送され、データ格納部106に格納される。
【0137】
尚、この際、その観察環境における観察環境光の分光分布データS1(λ)を圧縮処理部(不図示)によって圧縮し、その圧縮されたデータを、この通信インターフェース装置312,313を通して伝送しても良い。この場合、その画像処理装置では、その受信したデータを圧縮したままデータ格納部106に格納してもよく、或いはデータ復元部(不図示)により復号した後、データ格納部106に格納してもよい。
【0138】
次にステップS505に進み、再現環境光分光分布データ検出部110により、対象物を照明したい環境光条件を有し、撮影環境光及び観察環境光とは異なる再現環境光での分光分布データS2(λ)を得る。この再現環境光の分光分布データS2(λ)の検出は、この検出部110によるものだけでなく、例えば再現環境光によって照射される標準白板を、別のマルチスペクトルカメラ等によって撮影した結果から求めても良い。こうして獲得された、再現環境光の分光分布データS2(λ)は、通信インターフェース装置305、404を通じて、その画像処理装置に伝送される。この際、この分光分布データS2(λ)もまた圧縮されて伝送されて、データ格納部106に格納されてもよい。
【0139】
次にステップS506に進み、撮影環境光によって照射された対象物の画像信号から得られた分光分布データS0(λ)と、その画像信号に基づいて出力された画像を観察する観察環境光の分光分布データS1(λ)、及び再現環境における再現環境光の分光分布データS2(λ)とに基づいて、その対象物の画像の分光反射率を得るために、環境光変換データTr(λ)を式(4)の如く定義する。
【0140】
Tr(λ)=S2(λ)/(S0(λ)・S1(λ)) ...式(4)
この環境光変換データTr(λ)は、環境光変換データ作成部107において算出される。
【0141】
次にステップS507に進み、データ格納部106に格納されている対象物の分光分布データS0(λ)・R(λ)に対して、ステップS506で求められた環境光変換データTr(λ)をかけ合わせることによって、観察環境光によって照射される、対象物の画像の画素毎の分光反射率を求める。これは式(5)に基づいて求められ、この計算は分光反射率変換部108において算出される。
【0142】
R(λ)・S2(λ)/S1(λ)=Tr(λ)・R(λ)S0(λ) ...式(5)
次にステップS508に進み、表色データ変換部109により、ステップS504で得られた観察環境光の分光分布データS1(λ)の下での、対象物の画像の画素毎の分光分布データR(λ)・S2(λ)/S1(λ)を、適宜選択された表色系での等色関数のコンボリューション演算によって積分し、3つの値を持つ表色ベクトルデータに変換する。ここでは一般的に、3つの値を持つ表色ベクトルデータとしては、L*a*b*表色系や、XYZ表色系等のデバイス・インデペンデント値が選択される。このように変換された3つの値を持つXYZ表色系のそれぞれの表色ベクトルデータは、通信インターフェース装置312、313を通じて画像出力装置の出力部105に伝送される。
【0143】
この等色関数の一例は前述の図4に示すような、XYZ表色系における等色関数である。
【0144】
次にステップS509に進み、ステップS508において、分光分布データR(λ)・S2(λ)/S1(λ)により変換され、出力部105に伝送された3つの値を持つ表色ベクトルデータを、その画像出力装置の出力部105における観察環境光に最適な出力信号に変換する。この画像出力装置としては、例えばRGB信号値を用いるディスプレイや、CMYK信号を用いるプリンタ、及びRGB,CMYK以上の多色信号値を用いるディスプレイ、もしくはプリンタ装置等が挙げられる。このような画像出力装置においては、3値の表色ベクトルに対して、出力部105の出力特性を考慮し、その出力部105において、適正な表色を行うためのCMS(カラーマネジメント)等の機能が組み込まれており、ステップS508における表色データ変換の際には、このようなCMS機能を参照して、出力部105における観察環境光に最適な出力信号に変換する。
【0145】
そしてステップS510に進み、ステップS509で作成された出力信号を出力部105に出力して、画像の出力を行う。
【0146】
以上説明した図24のフローチャートで示される各ステップによって作成された画像データの、出力部105における出力結果は、撮影環境光の下で撮影された対象物を、それとは異なる再現環境光の下で観察した場合の表色を、観察環境光の下で、正確な色再現性を有する表色で出力されたものとなる。
【0147】
尚、この実施の形態10に係るマルチスペクトルカメラ102の構成は前述の図5に示す如くであり、それによるバンド情報の処理に関しても、上述の実施の形態と同様であるので、その詳細な説明を省略する。
【0148】
この場合、図25に示すブロック図において、撮影対象物分光分布データ推測部が、マルチスペクトルカメラ102もしくは画像処理装置に設けられており、バンド毎の情報として入力されたバンド情報より画像処理装置において用いられるマルチ分光分布データを作成する。この処理は前述した実施の形態と同様である。
【0149】
図25に示す画像処理装置における信号処理部103では、環境光変換データ作成部107、分光反射率変換部108、表色データ変換部109の3つの信号処理部を有している。図26は、これら環境光変換データ作成部107、分光反射率変換部108及び表色データ変換部109の詳細な構成を示すブロック図である。
【0150】
図26において、分光分布データ等を格納するデータメモリ2315,2316,2317、2321には、画像処理装置におけるデータ格納部106より、適宜データが渡される。
【0151】
環境光変換データ作成部107は、撮影環境光分光分布データメモリ2315より撮影環境光の分光分布データS0(λ)を、観察環境光分光分布データメモリ2317より観察環境光の分光分布データS1(λ)を、そして再現環境光分光分布データメモリ2316より再現環境光の分光分布データS2(λ)を入力し、これらを割り算器2319に供給して、再現環境光の分光分布データを、撮影環境光の分光分布データおよび観察環境光の分光分布データで除算した結果(S2(λ)/(S0(λ)・S1(λ)))を環境光変換データTr(λ)として環境光変換データメモリ2319に格納する。
【0152】
分光反射率変換部108は、対象物分光分布データメモリ2321より撮影した対象物の分光分布データ(S0(λ)・R(λ))を読み出して積算部2320に供給し、環境光変換データメモリ2319からの環境光変換データTr(λ)と乗算し、その結果(R(λ)・S2(λ)/S1(λ))が求められる。
【0153】
表色データ変換部109は、対象物の分光分布データと環境光変換データとを乗算した結果に対して、積算器2324において、等色関数データメモリ2323より供給される等色関数と乗算し、その乗算結果を、積分器2324によりコンボリューション演算することによって3値の表色データを算出し、それを表色データ格納メモリ2325に格納する。
【0154】
図25に示す観察環境における画像出力装置を含む出力部105の詳細な構成は、前述の図10の構成と同じであるので、その説明を省略する。また、画像処理装置は、前述の図11の構成と同じであるので、その説明を省略する。
【0155】
[実施の形態11]
実施の形態11では、画像処理装置に通信インターフェース装置を通じて接続される観察環境、観察環境、再現環境は1組の関係に限られるものでなく、任意の数の環境に接続されてもよい。よって、各環境における分光分布データを獲得し、データ格納部106に格納される構成を備えることを特徴とする。
【0156】
よって実施の形態11では、図27に示すように、複数の環境1〜nと、環境1〜mとが、伝送回線を介して画像処理装置に接続されている。これにより、これら複数の環境の中から、ユーザの指定等によって、所望の撮影環境、観察環境及び再現環境を含む一組の環境群を定義することができる。
【0157】
これら撮影環境、観察環境及び再現環境として定義された各環境から伝送回線を通じて、撮影された対象物の撮影環境光の分光分布データを獲得し、更に再現環境として定義された環境からの環境光の分光分布データを入力し、観察環境として定義された環境におかれた画像出力装置に対して最適な表色データを得ることができる。
【0158】
例えば、実施の形態11における画像処理装置を、ネットワーク上に色変換処理サーバとして構築し、定義された撮影環境、観察環境および再現環境の各環境からネットワークを通じて、それぞれ対応する環境光の分光分布データ、及び撮影された対象物の分光分布データを獲得し、観察環境として定義された環境光の下に置かれた画像出力装置に対して表色データを出力して画像の再生を行うことができる。
【0159】
実施の形態11によれば、任意に定義された2つの環境間で、所望の環境光に置かれた対象物の表色を、観察環境光の下で正確な表色で再現できる。
【0160】
これにより、ネットワークに接続された、それぞれ異なる環境での撮影と、その最適な色再生とを実現できる。
【0161】
[実施の形態12]
実施の形態12においては、図28のブロック図に示すように、画像処理装置2312が、マルチスペクトルカメラ2402によって撮影された対象物の分光分布データ、および各環境光の分光分布データを格納するデータ格納装置2410を有し、また、これら分光分布データの登録、更新、削除、読み出しを行うデータベース管理部を備える処理装置2409を有することを特徴とする。
【0162】
また画像処理装置2312は、伝送回線及び通信インターフェース装置2404,2407,2408,2413を通じて、撮影環境、観察環境、再現環境に接続されている。これら各環境は、それぞれ任意の数あってもよく、各環境での環境光における分光分布データを獲得し、それらをデータ格納装置2410に格納することができることを特徴としている。
【0163】
撮影環境は、撮影環境光の分光分布を測定する照明スペクトラム検出器2401,マルチスペクトルカメラ2402,処理装置2403及び通信インターフェース装置2404を有し、再現環境は、再現環境光での分光分布を測定する照明スペクトラム検出器2405,処理装置2406及び通信インターフェース装置2407を有している。更に、観察環境は、観察環境光の分光分布を測定する照明スペクトラム検出器2411,ユーザインターフェース2414,処理装置2412、出力装置2415及び通信インターフェース装置2413を有しており、それぞれ各環境での環境光(照明光)の分光分布データを取得して、画像処理装置2312に伝送している。
【0164】
この実施の形態12では、任意の再現環境において検出された再現環境光の分光分布データ、任意の対象物を撮影した撮影環境において検出された撮影環境光の分光分布データ、及び太陽光、白熱灯、蛍光灯といった標準的な環境光の分光分布データを予めデータ格納装置2410に登録しておく。
【0165】
任意の観察環境では、観察側におけるユーザはユーザI/F2414により、伝送回線、通信インターフェース装置2413を通して画像処理装置2312に指示し、データ格納装置2410より、任意の撮影された対象物の分光分布データ、及び任意の再現環境光の分光分布データを指定することができる。また、処理装置2412は、観察環境における環境光の分光分布データを照明スペクトル検出器2411で検出し、通信インターフェース2413を通じて画像処理装置2312に伝送することができる。
【0166】
画像処理装置2312は、観察環境から選択された、任意の撮影された対象物の分光分布データより、対応する撮影環境光の分光分布データを選択する。そして、その選択した撮影環境光の分光分布データと、再現環境光の分光分布データおよび伝送された観察環境光の分光分布データより、実施の形態12に係る環境光変換データを作成する。この環境光変換データにより、撮影された対象物の分光分布データを変換した後、表色データに変換し、その表色データを観察環境に伝送する。これを受信した観察環境では、その受信した表色データを出力装置2415への出力信号に変換し、出力装置2415で出力する。
【0167】
以上の処理によって、観察環境において、ユーザが指定した所望の再現環境の照明光によって照射される、異なる撮影環境光の下で撮影された対象物の表色を、観察環境光の下で、正確に色再現して画像再生できる。
【0168】
また観察環境における照明スペクトル検出器2411によって検出された観察環境光の分光分布データを、画像処理装置2312のデータ格納装置2410に登録することも可能であり、ユーザIDなどの識別情報と共に、画像処理装置2312のデータベース管理部に対して登録するように指示できる。こうして登録された観察環境光の分光分布データを指定すると、画像処理装置2312の処理装置2409は、データ格納装置2410から、その指定された観察環境光の分光分布データを読み出す。
【0169】
これにより、観察環境から環境光の分光分布データを毎回伝送する必要が無くなり、伝送回線のトラフィック効率が向上する。また、登録された分光分布データの更新、削除も容易に行うことが可能である。
【0170】
実施の形態12は、例えばインターネットを使用したオンラインによるカタログショッピング等に適用することができる。即ち、カタログショッピングを希望するユーザに対し、画像処理装置2312のデータ格納装置2410に登録されている商品の表色を、ユーザが所望する再現環境光の下において見た色に再現できる。これにより、ユーザはその商品の購入に関して適切な判断を下すことが可能となる。
【0171】
更に、ユーザが、マルチスペクトルカメラ2402によって撮影した画像の分光分布データ、及びその撮影時に検出した撮影環境光の分光分布データを画像処理装置2312に登録することもできる。これによりユーザは、実施の形態12に係る画像処理装置2312において、撮影した画像の色を、所望する再現環境光の下での表色に変換することが可能となる。また、他のユーザが、登録(および公開)されている撮影された画像を指定した場合にも適用出来る。
【0172】
また、ユーザが任意に検出した再現環境光の分光分布データをデータ格納装置2400に、任意に登録することもできる。
【0173】
実施の形態12に係る画像処理装置2312は、撮影された対象物の分光分布データ、及び撮影環境における環境光の分光分布データ、再現環境光の分光分布データを格納・登録して管理するデータ格納装置2410を有し、任意の観察環境におけるユーザが、その観察環境光の分光分布データをデータ格納装置2410に、そのユーザIDとともに登録できる。そして、ある観察環境におけるユーザが、ある対象物の撮影された画像データ(分光分布データ)と、その再現環境光の分光分布データ、登録されている観察環境光の分光分布データとを指定すると、画像処理装置2312は、その対象物を撮影した撮影環境、再現環境及び観察環境の各分光分布データを基に、その撮影された対象物の分光分布データに対して表色変換処理を行い、その指定された観察環境光に置かれた出力装置2415に対して、その変換した表色データを送信して出力するようにしてもよい。
【0174】
又、ある観察環境にあるユーザが、画像処理装置2312に登録されている観察環境光の分光分布データを指定することにより、画像処理装置2312は、その観察環境からの環境光の分光分布データを毎回受け取る必要がなくなる。これにより、データ転送におけるトラフィックの効率向上を実現できる。
【0175】
実施の形態12では、画像処理装置2312は、複数の撮影環境からの環境光の分光分布データを受け取ることができるため、各撮影環境における撮影環境光の分光分布データ、或いは環境光変換データそのものをデータ格納装置2410に格納しておく。そして各撮影環境光の分光分布データが変化しなければ、画像処理装置2312は、撮影された対象物の分光分布データのみを受け取るだけで、撮影環境光の分光分布データはデータ格納装置2410を参照すれば良い。これにより、データ転送の効率を向上できる。
【0176】
又、この画像処理装置2312は、例えばネットワーク上に設けられた色変換処理サーバとして機能しても良い。
【0177】
[実施の形態13]
前述の実施の形態5において示したように、さまざまなマルチスペクトルカメラの構成があることから、撮影された分光分布データに対して、マルチスペクトルカメラの特性が影響を及ぼす。そのため、被写体が同じであっても構成が異なるカメラによって撮影された分光分布データには違いが生じる。
【0178】
この影響を補正するために、マルチスペクトルカメラの特性情報や補正情報を記載したプロファイルデータを保持する機構及び、プロファイルデータに則り撮影された分光分布データを補正する機構を、マルチスペクトルカメラが持ち、カメラ側で補正を施し、その補正済み分光分布データを、画像処理装置に渡すような構成であって良い。
【0179】
もしくは、マルチスペクトルカメラが撮影した分光分布データとプロファイルデータを、画像入力信号として画像処理装置/信号処理部に渡し、画像処理装置/信号処理部では、撮影された分光分布データを補正する機構によって、受け取ったプロファイルデータに則り、分光分布データの補正を行なった後、画像処理を行なうような構成としても良い。
【0180】
なお、本実施の形態は、前記実施の形態1から実施の形態12における、マルチスペクトルカメラや分光分布データ検出器とそれらに付随する処理装置、画像処理装置/信号処理部においても適用可能であることは言うまでもない。
【0181】
これによって、撮影された分光分布データに対してマルチスペクトルカメラの特性による影響を排除した後、画像処理を行うことによって、出力装置において正確な色再現性を実現する。
【0182】
なお本発明は、複数の機器(例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用しても良い。
【0183】
また本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUまたはMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。
【0184】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることが出来る。
【0185】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0186】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0187】
以上説明したように本実施の形態によれば、撮影された対象物の分光分布データおよび異なる2つの環境光の分光分布データより求められた環境光変換データを用いた分光反射率変換処理によって、対象物の分光反射率R(λ)を求めることなく、異なる環境光によって照射される対象物の分光分布データを正確に再現することができる。
【0188】
本発明は上述した実施の形態に限定されるものでなく、上述した特許請求の範囲により規定されるものである。
【0189】
【発明の効果】
以上説明したように本発明によれば、被写体の撮影された撮影環境光と、その撮影された被写体の画像信号に基づく出力画像の観察環境光とに基づいて、被写体の画像信号を処理して最適な表色の画像で出力できる。
【0190】
また本発明によれば、被写体の撮影環境光と観察環境光とが互いに異なる場合でも、再生された被写体の画像の色が、その観察環境光の下に置いた時に、本来の被写体の色として再現される表色で再生できるという効果がある。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る機能構成を示すブロック図である。
【図2】本発明の実施の形態に係る画像処理の流れを示すフローチャートである。
【図3】本発明の実施の形態1に係る画像処理システムの構成を示すブロック図である。
【図4】等色関数の一例を示すグラフ図である。
【図5】本実施の形態に係るマルチスペクトルカメラの構成例を示すブロック図である。
【図6】本実施の形態に係るマルチスペクトルカメラにおいてフィルタを通して得られるバンド情報を示すグラフ図である。
【図7】分光分布データの圧縮処理を説明する図である。
【図8】分光分布データの圧縮処理を説明する図である。
【図9】本発明の実施の形態に係る信号処理部の構成を示すブロック図である。
【図10】本発明の実施の形態に係る出力装置の構成を示すブロック図である。
【図11】本発明の実施の形態に係るカラーマネジメントシステムの修正方法を示すブロック図である。
【図12】本発明の実施の形態2に係る画像処理システムの構成例を示すブロック図である。
【図13】本発明の実施の形態3に係る構成例を示すブロック図である。
【図14】スペクトルカメラにおけるRGBフィルタ特性の一例を示す図である。
【図15】本発明の実施の形態6に係る画像処理ステムにおける処理の流れを示すフローチャートである。
【図16】本発明の実施の形態7に係る画像処理ステムにおける処理の流れを示すフローチャートである。
【図17】本発明の実施の形態8に係る画像処理システムの構成例を示すブロック図である。
【図18】本発明の実施の形態8に係る信号処理部の構成を示すブロック図である。
【図19】本発明の実施の形態9に係る画像出力システムの構成を示すブロック図である。
【図20】本発明の実施の形態9に係る、ユーザが環境光分光分布データを登録するデータ格納部のデータ構成例を示す図である。
【図21】本発明の実施の形態9に係る処理を示すフローチャートである。
【図22】本発明の実施の形態9に係る環境光の分光分布データの削除手続きを示すフローチャートである。
【図23】本発明の実施の形態10に係る画像処理システムの構成を説明するブロック図である。
【図24】本発明の実施の形態10に係る処理を示すフローチャートである。
【図25】本発明の実施の形態10に係る画像処理システムの構成を示すブロック図である。
【図26】本発明の実施の形態10に係る信号処理部の構成を示すブロック図である。
【図27】本発明の実施の形態11に係る画像処理システムの構成を説明するブロック図である。
【図28】本発明の実施の形態12に係る画像処理システムの構成を示すブロック図である。
Claims (9)
- 対象物を撮影する撮影環境における撮影環境光の分光分布データと、画像を出力する画像出力装置により出力された画像を観察する観察環境における観察環境光の分光分布データと、前記撮影環境における対象物の各画素の分光分布データとを取得する取得手段と、
前記撮影環境光の分光分布データと前記観察環境光の分光分布データとの比を算出して環境光変換データを求める算出手段と、
前記取得手段により取得された対象物の各画素の分布分布データと、前記算出手段により算出された前記環境光変換データとを各画素ごとに乗算することによって、前記取得手段により取得された対象物の各画素の分光分布データを前記観察環境における分光分布データに変換する変換手段と、
前記変換手段により変換された各画素の分布分布データを表色データに変換すべく演算を行い、前記画像出力装置に出力する表色データを生成して出力するデータ出力手段と、
を有することを特徴とする画像処理装置。 - 撮影環境で撮影された対象物の画像信号に対して、画像を観察する観察環境における観察環境光を考慮した画像処理を行う画像処理装置の画像処理方法であって、
前記画像処理装置の取得手段が、対象物を撮影する撮影環境における撮影環境光の分光分布データと、画像を出力する画像出力装置により出力された画像を観察する観察環境における観察環境光の分光分布データと、前記撮影環境における対象物の各画素の分光分布データとを取得する取得工程と、
前記画像処理装置の算出手段が、前記撮影環境光の分光分布データと前記観察環境光の分光分布データとの比を算出して環境光変換データを求める算出工程と、
前記画像処理装置の変換手段が、前記取得工程で取得された対象物の各画素の分布分布データと、前記算出工程で算出された前記環境光変換データとを各画素ごとに乗算することによって、前記取得工程で取得された対象物の各画素の分光分布データを前記観察環境における分光分布データに変換する変換工程と、
前記画像処理装置のデータ出力手段が、前記変換工程で変換された各画素の分布分布データを表色データに変換すべく演算を行い、前記画像出力装置に出力する表色データを生成して出力するデータ出力工程と、
を有することを特徴とする画像処理方法。 - 前記画像処理装置の画像出力手段が、前記データ出力工程で出力される前記出力信号に基づいて画像を出力する画像出力工程を更に有することを特徴とする請求項2に記載の画像処理方法。
- 前記画像処理装置の分光分布データ変換手段が、前記分光分布データが離散波長に対応するデータである場合、前記分光分布データを補間して所定の波長帯に亙る分光分布データに変換する分光分布データ変換工程を更に有することを特徴とする請求項2に記載の画像処理方法。
- 前記取得工程では、メモリに記憶された前記撮影環境光の分光分布データ及び前記観察環境光の分光分布データを取得することを特徴とする請求項2又は3に記載の画像処理方法。
- 前記画像処理装置のデータ圧縮手段が、前記分光分布データを圧縮するデータ圧縮工程を更に有することを特徴とする請求項2に記載の画像処理方法。
- 前記画像信号の分光分布データが離散波長に対応するデータである場合、前記データ圧縮工程は、フレーム間における画素値の相関、及びフレーム内における画素値の相関に基づいて圧縮を行うことを特徴とする請求項6に記載の画像処理方法。
- 前記環境情報を示す分光分布データが離散波長に対応する出力値を有する場合、前記データ圧縮工程は、前記出力値の相関に基づいて圧縮することを特徴とする請求項6に記載の画像処理方法。
- 撮影環境で撮影された対象物の画像信号に対して、画像を観察する観察環境における観察環境光を考慮した画像処理をコンピュータに実行させるために、該コンピュータを、
対象物を撮影する撮影環境における撮影環境光の分光分布データと、画像を出力する画像出力装置により出力された画像を観察する観察環境における観察環境光の分光分布データと、前記撮影環境における対象物の各画素の分光分布データとを取得する取得手段と、
前記撮影環境光の分光分布データと前記観察環境光の分光分布データとの比を算出して環境光変換データを求める算出手段と、
前記取得手段により取得された対象物の各画素の分布分布データと、前記算出手段により算出された前記環境光変換データとを各画素ごとに乗算することによって、前記取得手段により取得された対象物の各画素の分光分布データを前記観察環境における分光分布データに変換する変換手段と、
前記変換手段により変換された各画素の分布分布データを表色データに変換すべく演算を行い、前記画像出力装置に出力する表色データを生成して出力するデータ出力手段と、を有する画像処理装置として機能させる制御プログラムを記憶したことを特徴とする、コンピュータにより読取り可能な記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001373597A JP4557478B2 (ja) | 2000-12-12 | 2001-12-07 | 画像処理装置及び画像処理方法と記録媒体 |
US10/012,377 US7230642B2 (en) | 2000-12-12 | 2001-12-12 | Apparatus and method for converting spectral data of an object in a photographing environment into spectral data in an observation environment |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000-378021 | 2000-12-12 | ||
JP2000378021 | 2000-12-12 | ||
JP2001373597A JP4557478B2 (ja) | 2000-12-12 | 2001-12-07 | 画像処理装置及び画像処理方法と記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2002262305A JP2002262305A (ja) | 2002-09-13 |
JP2002262305A5 JP2002262305A5 (ja) | 2005-07-14 |
JP4557478B2 true JP4557478B2 (ja) | 2010-10-06 |
Family
ID=26605704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001373597A Expired - Fee Related JP4557478B2 (ja) | 2000-12-12 | 2001-12-07 | 画像処理装置及び画像処理方法と記録媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7230642B2 (ja) |
JP (1) | JP4557478B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4371566B2 (ja) * | 2000-11-22 | 2009-11-25 | キヤノン株式会社 | 色処理装置およびその方法 |
JP2003333355A (ja) * | 2002-05-10 | 2003-11-21 | Canon Inc | 色評価装置及び方法 |
US7433102B2 (en) * | 2002-05-10 | 2008-10-07 | Canon Kabushiki Kaisha | Reproduction color prediction apparatus and method |
US7755676B2 (en) * | 2002-08-30 | 2010-07-13 | Fujifilm Corporation | Multi-band image photographing method and apparatus, and program for executing the method |
JP4232498B2 (ja) * | 2003-03-24 | 2009-03-04 | 富士ゼロックス株式会社 | 被写体撮影状態判定装置、画質調整装置、及び画像撮影装置 |
KR100609155B1 (ko) * | 2004-03-22 | 2006-08-02 | 엘지전자 주식회사 | 영상 처리 장치 및 이를 이용한 역광 보정 방법 |
JP2006229402A (ja) * | 2005-02-16 | 2006-08-31 | Seiko Epson Corp | ネットワークを介した印刷物のシミュレーションサービス |
JP5074101B2 (ja) * | 2007-06-04 | 2012-11-14 | オリンパス株式会社 | マルチスペクトル画像処理装置およびこれを用いる色再現システム |
US8019153B2 (en) * | 2007-09-18 | 2011-09-13 | Canon Kabushiki Kaisha | Wide luminance range colorimetrically accurate profile generation method |
JP5080934B2 (ja) * | 2007-10-22 | 2012-11-21 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
JP5122920B2 (ja) * | 2007-11-19 | 2013-01-16 | オリンパス株式会社 | 色再現システム、色再現装置、色再現方法、および、色再現プログラム |
DE102014101307A1 (de) | 2014-02-03 | 2015-08-06 | Osram Opto Semiconductors Gmbh | Kodierverfahren zur Datenkompression von Leistungsspektren eines optoelektronischen Bauteils und Dekodierverfahren |
JP2015179915A (ja) * | 2014-03-19 | 2015-10-08 | 有限会社パパラボ | 色忠実シミュレーション装置および色忠実シミュレーション方法 |
JP7028075B2 (ja) | 2018-06-12 | 2022-03-02 | オムロン株式会社 | 画像処理装置、画像処理方法、画像センサ |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09172649A (ja) * | 1995-12-19 | 1997-06-30 | Olympus Optical Co Ltd | カラー画像記録再生システム |
JPH1185952A (ja) * | 1997-09-09 | 1999-03-30 | Olympus Optical Co Ltd | 色再現装置 |
JP2000090233A (ja) * | 1998-09-08 | 2000-03-31 | Olympus Optical Co Ltd | 画像処理装置 |
JP2000152269A (ja) * | 1998-11-13 | 2000-05-30 | Olympus Optical Co Ltd | 色再現システム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4855814A (en) * | 1985-10-09 | 1989-08-08 | Canon Kabushiki Kaisha | Video camera body and detachable lens each containing a memory for storing signals indicative of spectral characteristics |
US5617139A (en) * | 1987-09-10 | 1997-04-01 | Canon Kabushiki Kaisha | Image pickup apparatus |
US5099313A (en) * | 1988-03-06 | 1992-03-24 | Fuji Photo Film Co., Ltd. | White balance controlling device having a device for determining whether fluorescent light is being illuminated on a scene |
-
2001
- 2001-12-07 JP JP2001373597A patent/JP4557478B2/ja not_active Expired - Fee Related
- 2001-12-12 US US10/012,377 patent/US7230642B2/en not_active Expired - Lifetime
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09172649A (ja) * | 1995-12-19 | 1997-06-30 | Olympus Optical Co Ltd | カラー画像記録再生システム |
JPH1185952A (ja) * | 1997-09-09 | 1999-03-30 | Olympus Optical Co Ltd | 色再現装置 |
JP2000090233A (ja) * | 1998-09-08 | 2000-03-31 | Olympus Optical Co Ltd | 画像処理装置 |
JP2000152269A (ja) * | 1998-11-13 | 2000-05-30 | Olympus Optical Co Ltd | 色再現システム |
Also Published As
Publication number | Publication date |
---|---|
US7230642B2 (en) | 2007-06-12 |
JP2002262305A (ja) | 2002-09-13 |
US20020113880A1 (en) | 2002-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4557478B2 (ja) | 画像処理装置及び画像処理方法と記録媒体 | |
JP4212165B2 (ja) | 色再現システム | |
JP4133052B2 (ja) | デジタル撮像システム | |
JP4174703B2 (ja) | スペクトル・色再現システム | |
JP2001060082A (ja) | 色再現端末装置およびネットワーク色再現システム | |
US20040247175A1 (en) | Image processing method, image capturing apparatus, image processing apparatus and image recording apparatus | |
JP2004534491A (ja) | イメージの品質を修正する方法およびシステム | |
JPH09172649A (ja) | カラー画像記録再生システム | |
JP2004165932A (ja) | 光源推定装置、光源推定方法、撮像装置および画像処理方法 | |
JP2005026800A (ja) | 画像処理方法、撮像装置、画像処理装置及び画像記録装置 | |
JP4262359B2 (ja) | 色再現システム | |
JP2005354372A (ja) | 画像記録装置、画像記録方法、画像処理装置、画像処理方法、及び画像処理システム | |
JP3925681B2 (ja) | マルチバンド画像出力方法および装置 | |
JP4967490B2 (ja) | プロファイル作成システム | |
US7782367B2 (en) | Direct calibration of color imaging devices | |
JP2004096505A (ja) | 画像処理方法、画像処理装置、画像記録装置、プログラム及び記録媒体。 | |
JP2001258047A (ja) | 測色画像変換方法及び測色画像変換装置並びに測色画像変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体 | |
JP2005203865A (ja) | 画像処理システム | |
JP4403224B2 (ja) | 色変換システム、色変換方法及び色変換プログラム | |
JP4529210B2 (ja) | 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体 | |
JP2007060421A (ja) | 画像処理装置及びその方法、コンピュータプログラム及び記憶媒体 | |
JP3577977B2 (ja) | 照明光分光特性推定装置 | |
JP2004112675A (ja) | 画像データ提供方法、記録装置及びプログラム | |
JP2003298854A (ja) | 画像処理装置及びその方法 | |
JP2004023207A (ja) | 色変換表作成装置、色変換表作成方法、色変換表作成プログラムを記録した記録媒体、および、上記装置または方法によって作成された色変換表に基づいてプロファイルを作成するプロファイル作成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070809 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071031 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071116 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20081219 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100720 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4557478 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130730 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |