JP2011022044A - Apparatus and method for estimating light source - Google Patents
Apparatus and method for estimating light source Download PDFInfo
- Publication number
- JP2011022044A JP2011022044A JP2009168279A JP2009168279A JP2011022044A JP 2011022044 A JP2011022044 A JP 2011022044A JP 2009168279 A JP2009168279 A JP 2009168279A JP 2009168279 A JP2009168279 A JP 2009168279A JP 2011022044 A JP2011022044 A JP 2011022044A
- Authority
- JP
- Japan
- Prior art keywords
- spectral distribution
- light source
- difference
- strobe
- distribution information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
Description
本発明は、撮影画像から光源の分光分布を推定する光源推定装置および光源推定方法に関する。 The present invention relates to a light source estimation apparatus and a light source estimation method for estimating a spectral distribution of a light source from a captured image.
撮影対象の分光波形を実用上十分な精度で復元可能とするマルチバンドカメラが知られている。マルチバンドカメラとしては、４種類以上の複数フィルタを用いるものが一般的であり、特殊な６バンドフィルタ配列とデモザイクによってワンショットでマルチバンド情報を取得するカメラも実用化されている。このようなマルチバンドカメラは、撮像されたマルチバンド画像に基づき、物体の分光反射率を正確に予測するために利用される。 A multiband camera that can restore a spectral waveform to be imaged with sufficient accuracy for practical use is known. A multiband camera generally uses four or more types of filters, and a camera that acquires multiband information in one shot by using a special 6-band filter array and demosaic has been put into practical use. Such a multiband camera is used for accurately predicting the spectral reflectance of an object based on the captured multiband image.
マルチバンドカメラによって実際に取得されるマルチバンド情報は分光放射輝度であるため、該分光放射輝度を、光源の分光分布と物体の分光反射率データに分離する必要がある。そのため従来では、以下のような方法によって物体の分光反射率を推定していた。 Since the multiband information actually obtained by the multiband camera is the spectral radiance, it is necessary to separate the spectral radiance into the spectral distribution of the light source and the spectral reflectance data of the object. Therefore, conventionally, the spectral reflectance of an object has been estimated by the following method.
まず、本撮影を行うに先立って、シーン中に分光反射率が既知である被写体を入れて撮影を行い、該撮影によって得られたマルチバンド情報を該被写体の分光反射率で除算することによって、光源の分光分布データを得ておく。そして本撮影においては、得られたマルチバンド情報を光源の分光分布データで除算することによって、該撮影された被写体の分光反射率が得られる。また、撮影時の光源の分光分布を測定器等により入手し、この測定データに基づいて、被写体の分光反射率を求めることも可能である。 First, prior to performing the main shooting, a subject with a known spectral reflectance is put in the scene, and the multiband information obtained by the shooting is divided by the spectral reflectance of the subject. Obtain spectral distribution data of the light source. In the actual photographing, the obtained multiband information is divided by the spectral distribution data of the light source to obtain the spectral reflectance of the photographed subject. It is also possible to obtain the spectral distribution of the light source at the time of photographing with a measuring instrument or the like and obtain the spectral reflectance of the subject based on this measurement data.
このように、分光分布が既知である光源を用いたマルチバンド撮影によって被写体の分光分布を推定する方法として、特許文献１に記載された方法が知られている。この方法においては、液晶チューナブルフィルタと既知の分光分布を持つプローブ光源を利用している。すなわち、プローブ光源と照明光源を照射したマルチバンド情報と、照明光源のみを照射したマルチバンド情報との差分を、プローブ光の分光分布で除算することによって、被写体の分光分布を推定している。 As described above, as a method for estimating the spectral distribution of a subject by multiband imaging using a light source having a known spectral distribution, a method described in Patent Document 1 is known. In this method, a liquid crystal tunable filter and a probe light source having a known spectral distribution are used. That is, the spectral distribution of the subject is estimated by dividing the difference between the multiband information irradiated with the probe light source and the illumination light source and the multiband information irradiated only with the illumination light source by the spectral distribution of the probe light.
以上説明したように従来のマルチバンド撮影では、被写体の分光反射率を推定する際に、光源の分光分布を利用していた。 As described above, in the conventional multiband imaging, the spectral distribution of the light source is used when estimating the spectral reflectance of the subject.
しかしながら、上記特許文献１による分光分布の推定方法によれば、プローブ光源毎に撮影を行う必要があり、最大で１６回もの撮影を必要とする。そのため、動被写体についての撮影では、被写体の位置がずれてしまうため、正確なマルチバンド情報を取得することができない。また、撮影時間内に照明の条件が変動する場合にも、正確なマルチバンド情報は取得できない。更に、撮像バンド数を削減して撮像回数を削減した場合には、分光反射率の推定精度が著しく低下してしまう。また、使用する液晶チューナブルフィルタや各波長のプローブ光が安定するまでには所定の時間を要するため、これら機器に精通していない一般のユーザでは容易に操作することはできなかった。 However, according to the spectral distribution estimation method disclosed in Patent Document 1, it is necessary to perform imaging for each probe light source, and imaging is required up to 16 times. For this reason, in shooting a moving subject, the position of the subject is shifted, so that accurate multiband information cannot be acquired. In addition, accurate multiband information cannot be acquired even when the illumination conditions fluctuate within the photographing time. Furthermore, when the number of imaging bands is reduced to reduce the number of times of imaging, the spectral reflectance estimation accuracy is significantly reduced. Further, since a predetermined time is required until the liquid crystal tunable filter to be used and the probe light of each wavelength are stabilized, it cannot be easily operated by a general user who is not familiar with these devices.
上述したように、一般のユーザでは、マルチバンドカメラによる撮影時に、光源の分光分布の測定用に測定器を用意して操作することは困難であり、さらに、撮影時に既知の分光反射率の被写体を撮影することも困難である。このような場合には光源の分光分布が得られないため、被写体の分光情報を推定することができない。そこで、測定器の扱いに精通していない一般ユーザでも、光源の分光分布を取得できるような技術が求められる。 As described above, it is difficult for a general user to prepare and operate a measuring instrument for measuring the spectral distribution of a light source when photographing with a multi-band camera. It is also difficult to shoot. In such a case, since the spectral distribution of the light source cannot be obtained, the spectral information of the subject cannot be estimated. Therefore, there is a need for a technique that enables even general users who are not familiar with the handling of measuring instruments to acquire the spectral distribution of the light source.
本発明は上述した問題を解決するためになされたものであり、被写体に対する光源の分光分布を簡易に取得可能とする光源推定装置および光源推定方法を提供することを目的とする。 The present invention has been made to solve the above-described problem, and an object of the present invention is to provide a light source estimation device and a light source estimation method that can easily obtain a spectral distribution of a light source with respect to a subject.
上記目的を達成するための一手段として、本発明の光源推定装置は以下の構成を備える。 As a means for achieving the above object, a light source estimation apparatus of the present invention comprises the following arrangement.
すなわち、被写体に対する照明光源の分光分布情報を推定する光源推定装置であって、複数の分光特性によるマルチバンド撮影を行ってマルチバンド画像情報を得る撮像手段と、複数種類の光源の分光分布情報を保持する分光分布保持手段と、ストロボ光源の分光分布情報を設定するストロボ設定手段と、前記撮像手段によって、前記被写体を前記ストロボ光源の下でマルチバンド撮影したマルチバンド画像情報と、前記被写体を前記照明光源の下でマルチバンド撮影したマルチバンド画像情報と、の差分であるマルチバンド画像差分を算出する画像差分算出手段と、前記分光分布保持手段に保持された複数の分光分布情報のそれぞれについて、前記ストロボ光源の分光分布情報との差分である分光分布差分を算出する分光分布差分算出手段と、該算出された複数の分光分布差分のそれぞれについて、前記マルチバンド画像差分と比較した一致度を算出し、該一致度が最も高い分光分布差分を選択する差分比較手段と、前記差分比較手段で選択された分光分布差分に対応する分光分布情報を、前記照明光源に対する分光分布情報として推定する分光分布推定手段と、を有することを特徴とする。 That is, a light source estimation device for estimating spectral distribution information of an illumination light source for a subject, imaging means for obtaining multiband image information by performing multiband imaging with a plurality of spectral characteristics, and spectral distribution information of a plurality of types of light sources. Spectral distribution holding means for holding, strobe setting means for setting spectral distribution information of a strobe light source, multiband image information obtained by photographing the subject under the strobe light source by the imaging means, and the subject For each of the plurality of spectral distribution information held in the spectral distribution holding means, the image difference calculation means for calculating the multiband image difference that is the difference between the multiband image information taken by the multiband under the illumination light source, Spectral distribution difference calculation means for calculating a spectral distribution difference that is a difference from the spectral distribution information of the strobe light source For each of the calculated spectral distribution differences, a degree of coincidence compared with the multiband image difference is calculated, and a difference comparison unit that selects the spectral distribution difference having the highest degree of coincidence, and the difference comparison unit Spectral distribution estimation means for estimating spectral distribution information corresponding to the selected spectral distribution difference as spectral distribution information for the illumination light source.
上記構成からなる本発明によれば、被写体に対する光源の分光分布を簡易に取得することができる。 According to the present invention having the above-described configuration, the spectral distribution of the light source with respect to the subject can be easily obtained.
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。 Hereinafter, the present invention will be described in detail based on preferred embodiments with reference to the accompanying drawings. The configurations shown in the following embodiments are merely examples, and the present invention is not limited to the illustrated configurations.
＜第１実施形態＞
●システム構成
図１は、本実施形態における光源推定装置の構成を示すブロック図である。同図において、１０は撮像部、１１は画像処理部、１２は被写体、１３はストロボ光源、１４は照明光源、である。撮像部１０は、例えば６種類の分光特性によるマルチバンド撮影を行ってマルチバンド画像情報を得る、６バンドカメラである。本実施形態では、ストロボ光源１３および照明光源１４でそれぞれ照射された被写体１２に対し、撮像部１０のマルチバンド撮影によって得られたマルチバンド画像情報（ストロボ画像情報および照明画像情報）を画像処理部１１に転送する。画像処理部１１ではこれらのマルチバンド画像情報から照明光源の分光分布を推定する。
<First Embodiment>
System Configuration FIG. 1 is a block diagram showing the configuration of the light source estimation apparatus in this embodiment. In the figure, 10 is an imaging unit, 11 is an image processing unit, 12 is a subject, 13 is a strobe light source, and 14 is an illumination light source. The
画像処理部１１は概略として以下の構成を有する。まず、ストロボ画像情報と照明画像情報の差分（マルチバンド画像差分）を算出する画像差分演算部１１１と、複数種類の光源に対する分光分布情報を格納する、分光分布保持手段としての分光分布データベース１１２を有する。そして、ストロボ分光分布と分光分布データベース１１２内の照明分光分布の差分を算出する分光分布差分演算部１１３と、マルチバンド画像差分と分光分布差分を比較する差分比較部１１４を有する。さらに、差分比較結果に基づいて照明光源１４の分光分布を推定する分光分布推定部１１５と、ストロボ光源１３の分光分布情報をユーザ指示に応じて設定するストロボ設定部１１６、を有する。
The
なお、ストロボ光源１３としては、大型フラッシュ、小型フラッシュ、マクロ用フラッシュ、内蔵フラッシュのいずれでもかまわないが、広い波長域にスペクトルをもつブロードな特性の光源であることが望ましい。本実施形態では、ストロボ光源１３として小型フラッシュのキセノンガス、グリップオンタイプを想定している。分光分布データベース１１２には、ストロボ光源１３として使用可能な様々なストロボ光源の分光分布をはじめ、標準光源、各種蛍光灯、特殊光源の分光反射率、等が格納されている。
The
●光源推定処理
上記構成における光源推定処理について、図２のフローチャートを用いて説明する。まずＳ２０１において、ストロボ設定部１１６で制御されるＵＩにより、使用するストロボ光源１３の種類を設定する。このストロボ設定の詳細については後述するが、この処理によってストロボ光源１３の分光分布が設定される。その後、Ｓ２０２で撮像部１０がストロボ光源１３を用いて、被写体１２のマルチバンド撮影を行うことによって、ストロボ画素値Ｐs_n（ｎはバンド１〜６を示す）を得る。そしてＳ２０３では、撮像部１０が照明光源１４の下で被写体１２のマルチバンド撮影を行うことによって、照明下画素値Ｐx_nを得る。
Light Source Estimation Process The light source estimation process in the above configuration will be described using the flowchart of FIG. First, in S201, the type of the
するとＳ２０４でマルチバンド画像差分算出処理を行う。すなわち、画像差分演算部１１１において、Ｓ２０２で撮影したストロボ画素値Ｐs_nとＳ２０３で撮影した照明下画素値Ｐx_nとの差分（マルチバンド画像差分Ｄp）を、以下の式(1)より求める。 In step S204, multiband image difference calculation processing is performed. That is, the image difference calculation unit 111 obtains a difference (multiband image difference Dp) between the strobe pixel value Ps_n photographed in S202 and the under-illumination pixel value Px_n photographed in S203 by the following equation (1).
Ｄp＝Σ(Ｐs_n−Ｐx_n) ・・・(1)
次にＳ２０５では分光分布差分算出処理を行う。すなわち、分光分布差分演算部１１３において、ストロボ光源１３の分光分布Ｉs_nと、複数の分光分布Ｉi_n（ｉは分光分布番号）に対する差分（分光分布差分Ｄs_i）を、以下の式(2)より算出する。なお、これらの分光分布Ｉs_n，Ｉi_nは、分光分布データベース１１２に予め保持されている。この分光分布差分算出処理の詳細については後述する。
Dp = Σ (Ps_n−Px_n) (1)
In step S205, spectral distribution difference calculation processing is performed. That is, the spectral distribution
Ｄs_i＝Σ(Ｉs_n−Ｉi_n) ・・・(2)
次にＳ２０６で差分比較部１１４において、Ｓ２０４で求めたマルチバンド画像差分ＤpとＳ２０５で求めた分光分布差分Ｄs_iとを比較して、差分評価値Ｐiを求める。この比較処理の詳細については後述する。
Ds_i = Σ (Is_n−Ii_n) (2)
Next, in S206, the
そしてＳ２０７で分光分布推定部１１５において、Ｓ２０６で得られた差分評価値Ｐiに基づいて、分光分布データベース１１２に保持されている複数の分光分布のうち、照明光源１４に最も近いと判定される光源を選出する。このように選出された光源が、照明光源１４として推定されることになる。
In S207, the spectral
●ストロボ設定ＵＩ
図３（ａ）に、上記Ｓ２０１においてストロボ情報を指定するためのＵＩ例を示す。同図において、２１０はストロボ形態選択コンボボックスであり、ユーザが使用するストロボ光源１３について、外付タイプと内蔵タイプのいずれかを選択すると、該選択された項目が反転表示される。２１１はストロボ種類選択コンボボックスであり、ユーザがストロボ光源１３の型番を選択すると、選択した項目が反転表示される。２１２は分光分布表示ウィンドウであり、設定されたストロボ光源１３に該当する分光分布が、分光分布データベース１１２から選択されて表示される。このように、選択したストロボの分光分布がＵＩ表示されることにより、該ストロボが照明光源１４を推定するのに適しているかをユーザが判断する一助となる。
● Flash setting UI
FIG. 3A shows an example of a UI for designating strobe information in S201. In the figure, reference numeral 210 denotes a strobe type selection combo box. When the user selects either the external type or the built-in type for the
２１３は選択ボタンであり、ユーザによって押下されると、各コンボボックスの設定内容に応じたストロボの分光分布情報がメモリに保持される。２１４はキャンセルボタンであり、ユーザによって押下されるとメモリの解放等を行って設定ＵＩのダイアログウィンドウを終了する。
以下、上記ストロボ設定ＵＩにおけるストロボ種類設定動作について、図３（ｂ）の状態遷移図を用いて説明する。まずステート２２０では、初期設定の読み込みや、図２ＢのＵＩを表示する等の初期化動作を行い、ステート２２１へ移行する。
The strobe type setting operation in the strobe setting UI will be described below with reference to the state transition diagram of FIG. First, in
ステート２２１では、図３（ａ）のＵＩにおけるユーザ操作待ち状態となる。ここで、ストロボ形態選択コンボボックス２１０にて項目選択が行われるとステート２２２へ移行する。同じく、ストロボ種類選択コンボボックス２１１にて項目選択が行われるとステート２２３へ移行する。また、選択ボタン２１３が押下されるとステート２２５へ移行し、キャンセルボタン２１４が押下されるとステート２２６へ移行する。
In the
ステート２２２では、ストロボ形態選択コンボボックス２１０にて選択された項目を反転表示し、ステート２２３へ移行する。ステート２２３では、ストロボ種類選択コンボボックス２１１にて選択された項目を反転表示し、ステート２２４へ移行する。
In
ステート２２４では、ステート２２２およびステート２２３にて選択された項目、すなわち設定されたストロボ情報に従って、対応する分光分布を分光分布データベース１１２から選択して描画ウィンドウ２１２に描画し、ステート２２１へ移行する。
In the
ステート２２５では、設定したストロボの分光分布をメモリ（不図示）に格納し、ステート２２６へ移行する。そしてステート２２６では、終了に関する動作を行う。
In the
なお、本実施形態ではストロボの形態や種類を図３（ａ）のＵＩにより取得する例を示したが、取得方法はこの例に限定されない。例えば、通信ケーブルを介して外部より取得するようにしても良い。 In the present embodiment, an example in which the form and type of the strobe is acquired using the UI of FIG. 3A is shown, but the acquisition method is not limited to this example. For example, it may be acquired from the outside via a communication cable.
●分光分布差分算出処理
以下、上記Ｓ２０５における、ストロボ光源１３の分光分布Ｉs_nと分光分布データベース１１２に保持された複数の分光分布Ｉi_nとの差分である、分光分布差分Ｄs_iの算出処理について、図４のフローチャートを用いて説明する。
Spectral Distribution Difference Calculation Processing Hereinafter, the calculation processing of the spectral distribution difference Ds_i, which is the difference between the spectral distribution Is_n of the
まずＳ３０１において、分光分布データベース１１２に保持された光源の番号を表す変数ｉを１に設定し、メモリ確保等の初期化処理を行う。次にＳ３０２において、ストロボ光源１３の分光分布として以下の式(3)より、ストロボ分光分布Ｌs(λ)とフィルタ特性Ｔn(λ)の乗算値の全波長域における積分値（６バンド積分値）を算出する。
First, in S301, the variable i representing the light source number held in the
Ｉs_n＝Σ{Ｌs(λ)×Ｔn(λ)} ・・・(3)
次にＳ３０３では、光源ｉの分光分布として以下の式(4)より、光源ｉの分光分布Ｌi(λ)とフィルタ特性Ｔn(λ)の乗算値の全波長域における積分値（６バンド積分値）を算出する。なお、光源ｉの分光分布Ｌi(λ)は分光分布データベース１１２に格納されており、例えば図５に示すように、３８０〜７８０nmの１０nm間隔にて、各波長域のスペクトル情報が光源番号の順にラスタライズされているとする。
Is_n = Σ {Ls (λ) × Tn (λ)} (3)
Next, in S303, the integral value (6-band integral value) in the entire wavelength region of the product of the spectral distribution Li (λ) of the light source i and the filter characteristic Tn (λ) is obtained from the following equation (4) as the spectral distribution of the light source i. ) Is calculated. The spectral distribution Li (λ) of the light source i is stored in the
Ｉi_n＝Σ{Ｌi(λ)×Ｔn(λ)} ・・・(4)
次にＳ３０４では、上記式(2)により、Ｓ３０２による積分値Ｉs_nとＳ３０３による積分値Ｉi_nの差分Ｄs_i（６バンド差分）を算出し、メモリに格納する。
Ii_n = Σ {Li (λ) × Tn (λ)} (4)
Next, in S304, the difference Ds_i (6-band difference) between the integral value Is_n obtained in S302 and the integral value Ii_n obtained in S303 is calculated by the above equation (2) and stored in the memory.
そしてＳ３０５において、分光分布データベース１１２内の全ての光源について処理を行ったか否かを判定し、未処理の光源が残っていればｉに１を加算してＳ３０３へ戻り、残っていなければ終了に関する処理を行う。
In step S305, it is determined whether or not processing has been performed for all light sources in the
●光源比較処理
以下、上記Ｓ２０６における、マルチバンド画像差分Ｄpと分光分布差分Ｄs_iによる光源比較処理について、図６のフローチャートを用いて説明する。
Light Source Comparison Processing Hereinafter, the light source comparison processing based on the multiband image difference Dp and the spectral distribution difference Ds_i in S206 will be described with reference to the flowchart of FIG.
まずＳ５０１において、分光分布データベース１１２に保持された光源の番号を表す変数ｉに１を設定し、後述する差分評価値の最小値を格納するための変数ＭＩＮに所定の定数ｋを設定して、メモリ確保等の初期化処理を行う。次にＳ５０２において、以下の式(5)により、差分評価値Ｐiを算出する。式(5)に示す差分評価値Ｐiは、バンド毎の差分として示されるマルチバンド画像差分Ｄpと分光分布差分Ｄs_iの一致度（差分ノルム）を、全バンドについて合計した値として算出される。差分評価値Ｐiは、その値が小さいほど、マルチバンド画像差分Ｄpと分光分布差分Ｄs_iの一致度が高いことを示す。
First, in S501, 1 is set to a variable i representing a light source number held in the
Ｐi＝Ｄp−Ｄs_i ・・・(5)
次にＳ５０３において、差分評価値ＰiがＭＩＮより小さければＳ５０４へ進み、ＭＩＮの値を差分評価値Ｐiで置き換え、この際の光源ＩＤ、すなわち分光分布データベース１１２において変数ｉに対応する光源のＩＤをメモリに格納した後、Ｓ５０５に進む。一方、Ｓ５０３で差分評価値ＰiがＭＩＮ以上であれば、そのままＳ５０５へ進む。Ｓ５０５では、分光分布データベース１１２内の全ての光源について処理を行ったか否かを判定し、未処理の光源が残っていればｉに１を加算してＳ５０２へ戻り、残っていなければ終了に関する処理を行う。
Pi = Dp−Ds_i (5)
Next, in S503, if the difference evaluation value Pi is smaller than MIN, the process proceeds to S504, where the value of MIN is replaced with the difference evaluation value Pi, and the light source ID at this time, that is, the ID of the light source corresponding to the variable i in the
図６のフローチャートに示す処理が終了した時点で、Ｓ５０４にて最終的に設定された最小の差分評価値Ｐiに対応する光源ＩＤが、Ｓ２０７で照明光源１４として選出される。
When the process shown in the flowchart of FIG. 6 ends, the light source ID corresponding to the minimum difference evaluation value Pi finally set in S504 is selected as the
このように本実施形態においては、既知のストロボ光源に対する差分であるマルチバンド画像差分Ｄpと、同じく既知のストロボ光源に対する差分である分光分布差分Ｄs_iについて、その一致度（ノルム）を検証する。そして、分光分布データベース１１２内で該一致度が最も高い光源が、照明光源１４として選出される。
As described above, in this embodiment, the degree of coincidence (norm) of the multiband image difference Dp that is a difference with respect to a known strobe light source and the spectral distribution difference Ds_i that is also a difference with respect to a known strobe light source are verified. Then, the light source having the highest coincidence in the
以上説明した様に本実施形態によれば、ストロボ光と照明光による実際のマルチバンド撮影情報と、ストロボおよび所定光源の既知の分光分布との一致度に基づき、照明光源の分光分布を推定する。これにより、既知の反射率を持つ被写体を撮影したり、測定器による分光分布測定を行うことなく、照明光源の分光分布を推定することができる。 As described above, according to the present embodiment, the spectral distribution of the illumination light source is estimated on the basis of the degree of coincidence between the actual multiband imaging information using the strobe light and the illumination light and the known spectral distribution of the strobe and the predetermined light source. . Thereby, the spectral distribution of the illumination light source can be estimated without photographing a subject having a known reflectance or performing spectral distribution measurement with a measuring instrument.
更に、様々な光源情報を有する分光分布データベースを参照するため、様々な光源に対して高精度な推定を行うことが可能であり、全波長での撮像を行わなくとも、１〜数回の撮影で、照明の分光分布を簡易に推定することができる。 Furthermore, since the spectral distribution database having various light source information is referred to, it is possible to perform highly accurate estimation for various light sources, and it is possible to take one to several times without imaging at all wavelengths. Thus, the spectral distribution of illumination can be easily estimated.
なお、本実施形態では一致度として６バンドの差分ノルムを用いる例を示したが、この差分に代えて、６バンドから算出される色差を用いることも可能である。更に、６バンドの差分ノルムと６バンドから算出される色差との組み合わせからなる差分評価値等、様々な評価値を用いることが可能である。 In the present embodiment, an example of using a 6-band difference norm as the degree of coincidence has been shown, but it is also possible to use a color difference calculated from 6 bands instead of this difference. Furthermore, various evaluation values such as a difference evaluation value composed of a combination of a difference norm of 6 bands and a color difference calculated from the 6 bands can be used.
また、データベース内のストロボ光源については、各機種ごとに分光分布を格納する例を示したが、個体差を考慮して測定値に基づく分光分布をストロボ個体ごとに格納することも可能である。また、経時変化を考慮して分光分布情報を更新することも有効である。 In addition, for the strobe light source in the database, an example is shown in which the spectral distribution is stored for each model. However, it is also possible to store the spectral distribution based on the measured value for each strobe individual in consideration of individual differences. It is also effective to update the spectral distribution information in consideration of changes over time.
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。上述した第１実施形態では、照明が単一光源であると仮定して分光分布を推定する例を示したが、第２実施形態ではさらに、複数の光源、すなわち混合光源（以下、ＭＩＸ光源）の分光分布も推定可能とする例を示す。以下では、特に第１実施形態と異なる部分のみについて説明する。
Second Embodiment
Hereinafter, a second embodiment according to the present invention will be described. In the first embodiment described above, an example is shown in which the spectral distribution is estimated on the assumption that the illumination is a single light source. However, in the second embodiment, a plurality of light sources, that is, a mixed light source (hereinafter, MIX light source) is further illustrated. An example in which the spectral distribution of can be estimated is shown. Below, only a different part from 1st Embodiment is demonstrated especially.
図７は、第２実施形態における光源推定装置の構成を示すブロック図である。同図においては画像処理部６の構成が、上述した第１実施形態での図１に示した画像処理部１１と異なる。画像処理部６は、概略として以下の構成を有する。まず、上述した第１実施形態と同様に、画像差分演算部６０１と分光分布データベース６０２、分光分布差分演算部６０３、差分比較部６０４、分光分布推定部６０５、およびストロボ設定部６０６を有する。そして第２実施形態における特徴的な構成として、ＭＩＸ光源推定を行うか否かの判定処理を行うＭＩＸ光源推定判定部６０７と、ＭＩＸ光源の分光分布を生成するＭＩＸ光源分光分布生成部６０８を有する。
FIG. 7 is a block diagram showing the configuration of the light source estimation apparatus in the second embodiment. In the figure, the configuration of the image processing unit 6 is different from the
●光源推定処理
以下、第２実施形態における光源推定処理について、図８のフローチャートを用いて説明する。まずＳ７０１において、ストロボ設定部６０６で制御されるＵＩ等によって、使用するストロボ光源１３の情報を設定する。その後、Ｓ７０２で撮像部１０がストロボ光源１３を用いて、被写体のマルチバンド撮影を行う。そしてＳ７０３では、撮像部１０が照明光源１４の下で被写体のマルチバンド撮影を行う。するとＳ７０４で画像差分演算部６０１において、Ｓ７０２で撮影した画素値とＳ７０３で撮影した画素値との差分（マルチバンド画像差分Ｄp）を、上記式(1)より求める。次にＳ７０５では分光分布差分演算部６０３において、予め保持しているストロボの分光分布と、分光分布データベース６０２に保持されている複数の分光分布に対する差分（分光分布差分Ｄs_i）を、上記式(2)より算出する。次にＳ７０６で差分比較部６０４において、Ｓ７０４で求めたマルチバンド画像差分ＤpとＳ７０５で求めた分光分布差分Ｄs_iとを比較して、差分評価値Ｐiを求める。ここまでは、上述した第１実施形態に示した図２のＳ２０１〜Ｓ２０６と同様である。
Light Source Estimation Process Hereinafter, the light source estimation process in the second embodiment will be described using the flowchart of FIG. First, in step S <b> 701, information on the
第２実施形態では次にＳ７０７でＭＩＸ光源推定判定部６０７において、Ｓ７０６で得られた差分評価値Ｐiに基づいて、ＭＩＸ光源推定処理の可否を判定する。すなわち、最小の差分評価値Ｐiが所定の値よりも大きい場合に、マルチバンド画像差分Ｄpと分光分布差分Ｄs_iとにおいて満足する一致度が得られなかったとして、Ｓ７０８に進む。Ｓ７０８では仮想ＭＩＸ光源についての比較処理を行うが、その詳細については後述する。一方、Ｓ７０７で満足する一致度が得られた場合には、Ｓ７０８の仮想ＭＩＸ光源比較処理を行わずに、そのままＳ７０９へ進む。
In the second embodiment, in step S707, the MIX light source
そしてＳ７０９では分光分布推定部６０５において、Ｓ７０６またはＳ７０８で得られた差分評価値Ｐiに基づいて、分光分布データベース６０２に保持されている複数の分光分布から、照明光源１４に最も近いと判定される光源を選出する。すなわち第２実施形態では、差分評価値Ｐiに対応する単独光源またはＭＩＸ光源に係る光源が、照明光源１４として選出される。
In step S709, the spectral
●仮想ＭＩＸ光源比較処理
以下、上記Ｓ７０８における仮想ＭＩＸ光源比較処理について、図９のフローチャートを用いて説明する。まずＳ８０１でＭＩＸ光源分光分布生成部６０８において、分光分布データベース６０２に保持された複数の分光分布の組み合わせによるＭＩＸ光源の複数組について、以下の式(6)により、仮想ＭＩＸ光源の分光分布（混合分光分布情報）を生成する。式(6)は、ｊ番目の組み合わせとしてのｉ1光源とｉ2光源のＭＩＸ光源による分光分布モデルを示し、α，βはゲイン、kは混合比である。すなわち仮想ＭＩＸ光源の分光分布は、ＭＩＸ光源を構成する各光源に対する分光分布情報を、ゲインα，βおよび混合比ｋに基づいて合成することによって算出される。なお、ここでＭＩＸ光源としては、分光分布データベース６０２に保持された全ての分光分布の組み合わせとしても良いし、所定の分光分布の組み合わせのみに対応させても良い。
Virtual MIX Light Source Comparison Processing Hereinafter, the virtual MIX light source comparison processing in S708 will be described with reference to the flowchart of FIG. First, in step S <b> 801, the MIX light source spectral
Ｉmix_j_n＝Σ{(α×ｋ×Ｌi1(λ)＋β×(1-ｋ)×Ｌi2(λ))×Ｔn(λ)} ・・・(6)
次にＳ８０２で分光分布差分演算部６０３において、予め保持しているストロボの分光分布Ｉs_nと、Ｓ８０１で生成された複数の仮想ＭＩＸ光源の分光分布Ｉmix_j_nの差分（混合分光分布差分）Ｄs_jを、以下の式(7)より算出する。
Imix_j_n = Σ {(α × k × Li1 (λ) + β × (1-k) × Li2 (λ)) × Tn (λ)} (6)
In step S802, the spectral distribution
Ｄs_j＝Σ(Ｉs_n−Ｉmix_j_n) ・・・(7)
そしてＳ８０３において差分比較部６０４が、上述した第１実施形態の図６と同様の方法で、Ｓ７０４で求めたマルチバンド画像差分Ｄpと、Ｓ８０２で求めた仮想ＭＩＸ光源の分光分布差分Ｄs_jの全てを比較し、新たな差分評価値Ｐiを得る。
Ds_j = Σ (Is_n−Imix_j_n) (7)
In step S803, the
以上説明した様に第２実施形態によれば、ストロボ光と照明光による実際の撮影情報と、ストロボと仮想ＭＩＸ光源の分光分布とに基づき、照明光源の分光分布を推定することができる。これにより、データベースに保持された所定光源からは十分な推定が行えない場合にも、それらの組み合わせからなる仮想ＭＩＸ光に対する推定が可能となるため、より詳細な推定を行うことができる。 As described above, according to the second embodiment, the spectral distribution of the illumination light source can be estimated based on the actual photographing information by the strobe light and the illumination light and the spectral distribution of the strobe and the virtual MIX light source. As a result, even when sufficient estimation cannot be performed from the predetermined light source stored in the database, it is possible to estimate the virtual MIX light composed of the combination, and therefore more detailed estimation can be performed.
なお、第２実施形態では、差分一致度が所定のレベルを満たしていない場合にＭＩＸ光源推定を行う例を示したが、２種類以上の光源に対して同等の最良一致度をもつ光源があった場合に、該ＭＩＸ光源推定処理を実施するようにしても良い。 In the second embodiment, an example in which MIX light source estimation is performed when the difference coincidence does not satisfy a predetermined level has been described. However, there are light sources having the same best coincidence for two or more types of light sources. In this case, the MIX light source estimation process may be performed.
また、データベース内の全ての光源の組み合わせから仮想ＭＩＸ光を生成する例を示したが、一致度が最も高い光源と２番目に高い光源に限定して仮想ＭＩＸ光を生成することで、処理時間を短縮することができる。 Moreover, although the example which produces | generates virtual MIX light from the combination of all the light sources in a database was shown, processing time is limited by producing | generating virtual MIX light only in the light source with the highest coincidence, and a 2nd highest light source. Can be shortened.
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
<Other embodiments>
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (9)
複数の分光特性によるマルチバンド撮影を行ってマルチバンド画像情報を得る撮像手段と、
複数種類の光源の分光分布情報を保持する分光分布保持手段と、
ストロボ光源の分光分布情報を設定するストロボ設定手段と、
前記撮像手段によって、前記被写体を前記ストロボ光源の下でマルチバンド撮影したマルチバンド画像情報と、前記被写体を前記照明光源の下でマルチバンド撮影したマルチバンド画像情報と、の差分であるマルチバンド画像差分を算出する画像差分算出手段と、
前記分光分布保持手段に保持された複数の分光分布情報のそれぞれについて、前記ストロボ光源の分光分布情報との差分である分光分布差分を算出する分光分布差分算出手段と、
該算出された複数の分光分布差分のそれぞれについて、前記マルチバンド画像差分と比較した一致度を算出し、該一致度が最も高い分光分布差分を選択する差分比較手段と、
前記差分比較手段で選択された分光分布差分に対応する分光分布情報を、前記照明光源に対する分光分布情報として推定する分光分布推定手段と、
を有することを特徴とする光源推定装置。 A light source estimation device for estimating spectral distribution information of an illumination light source for a subject,
Imaging means for obtaining multiband image information by performing multiband imaging with a plurality of spectral characteristics;
Spectral distribution holding means for holding spectral distribution information of a plurality of types of light sources;
Strobe setting means for setting the spectral distribution information of the strobe light source,
A multi-band image that is a difference between multi-band image information obtained by photographing the subject with a multi-band under the strobe light source and multi-band image information obtained by photographing the subject with a multi-band under the illumination light source. Image difference calculating means for calculating the difference;
Spectral distribution difference calculation means for calculating a spectral distribution difference that is a difference from the spectral distribution information of the strobe light source for each of a plurality of spectral distribution information held in the spectral distribution holding means,
For each of the plurality of calculated spectral distribution differences, a degree of coincidence compared with the multiband image difference is calculated, and difference comparison means for selecting the spectral distribution difference having the highest degree of coincidence,
Spectral distribution estimation means for estimating spectral distribution information corresponding to the spectral distribution difference selected by the difference comparison means as spectral distribution information for the illumination light source;
A light source estimation device comprising:
前記分光分布差分算出手段は、前記混合分光分布情報のそれぞれについて、前記ストロボ光源の分光分布情報との差分である混合分光分布差分を算出し、
前記差分比較手段は、前記混合分光分布差分のそれぞれについて前記マルチバンド画像差分と比較した一致度を算出して該一致度が最も高い混合分光分布差分を選択し、
前記分光分布推定手段は、前記差分比較手段で選択された混合分光分布差分に対応する混合分光分布情報を、前記照明光源に対する分光分布情報として推定する
ことを特徴とする請求項１に記載の光源推定装置。 Further, when the highest degree of coincidence calculated by the difference comparison unit is less than a predetermined level, for each of a plurality of sets of mixed light sources by a combination of a plurality of light sources held in the spectral distribution holding unit, respectively Having a mixed spectral distribution generating means for generating mixed spectral distribution information of
The spectral distribution difference calculating means calculates a mixed spectral distribution difference that is a difference from the spectral distribution information of the strobe light source for each of the mixed spectral distribution information,
The difference comparison means calculates the degree of coincidence compared to the multiband image difference for each of the mixed spectral distribution differences, and selects the mixed spectral distribution difference having the highest degree of coincidence,
The light source according to claim 1, wherein the spectral distribution estimation unit estimates mixed spectral distribution information corresponding to the mixed spectral distribution difference selected by the difference comparison unit as spectral distribution information for the illumination light source. Estimating device.
ストロボ光源の分光分布情報を設定するストロボ設定ステップと、
複数の分光特性によるマルチバンド撮影を行ってマルチバンド画像情報を得る撮像装置によって、前記被写体を前記ストロボ光源の下でマルチバンド撮影したマルチバンド画像情報と、前記被写体を前記照明光源の下でマルチバンド撮影したマルチバンド画像情報と、の差分であるマルチバンド画像差分を算出する画像差分算出ステップと、
分光分布データベースに保持された複数種類の光源の分光分布情報のそれぞれについて、前記ストロボ光源の分光分布情報との差分である分光分布差分を算出する分光分布差分算出ステップと、
該算出された複数の分光分布差分のそれぞれについて、前記マルチバンド画像差分と比較した一致度を算出し、該一致度が最も高い分光分布差分を選択する差分比較ステップと、
該選択された分光分布差分に対応する分光分布情報を、前記照明光源に対する分光分布情報として推定する分光分布推定ステップと、
を有することを特徴とする光源推定方法。 A light source estimation method for estimating spectral distribution information of an illumination light source for a subject,
A strobe setting step for setting the spectral distribution information of the strobe light source;
Multi-band image information obtained by performing multi-band shooting with a plurality of spectral characteristics to obtain multi-band image information, and shooting the subject in a multi-band under the strobe light source, and the subject under the illumination light source. An image difference calculating step for calculating a multiband image difference that is a difference between the band-captured multiband image information,
A spectral distribution difference calculating step for calculating a spectral distribution difference that is a difference from the spectral distribution information of the strobe light source for each of the spectral distribution information of the plurality of types of light sources held in the spectral distribution database;
For each of the plurality of calculated spectral distribution differences, a degree of coincidence compared with the multiband image difference is calculated, and a difference comparison step of selecting a spectral distribution difference having the highest degree of coincidence,
A spectral distribution estimation step for estimating spectral distribution information corresponding to the selected spectral distribution difference as spectral distribution information for the illumination light source;
A light source estimation method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009168279A JP2011022044A (en) | 2009-07-16 | 2009-07-16 | Apparatus and method for estimating light source |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009168279A JP2011022044A (en) | 2009-07-16 | 2009-07-16 | Apparatus and method for estimating light source |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011022044A true JP2011022044A (en) | 2011-02-03 |
Family
ID=43632252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009168279A Withdrawn JP2011022044A (en) | 2009-07-16 | 2009-07-16 | Apparatus and method for estimating light source |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011022044A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014203453A1 (en) * | 2013-06-19 | 2014-12-24 | 日本電気株式会社 | Illumination estimation device, illumination estimation method, and illumination estimation program |
| JP2016510408A (en) * | 2013-01-31 | 2016-04-07 | ベンタナ メディカル システムズ， インコーポレイテッド | System and method for calibrating, configuring, and determining validity of an imaging device or system for multiple tissue assays |
| JP2020094985A (en) * | 2018-12-14 | 2020-06-18 | 凸版印刷株式会社 | Spectral image estimation system, spectral image estimation method, and program |
-
2009
- 2009-07-16 JP JP2009168279A patent/JP2011022044A/en not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016510408A (en) * | 2013-01-31 | 2016-04-07 | ベンタナ メディカル システムズ， インコーポレイテッド | System and method for calibrating, configuring, and determining validity of an imaging device or system for multiple tissue assays |
| US10012537B2 (en) | 2013-01-31 | 2018-07-03 | Ventana Medical Systems, Inc. | Systems and methods for calibrating, configuring and validating an imaging device or system for multiplex tissue assays |
| US10598548B2 (en) | 2013-01-31 | 2020-03-24 | Ventana Medical Systems, Inc. | Systems and methods for calibrating, configuring and validating an imaging device or system for multiplex tissue assays |
| US11566941B2 (en) | 2013-01-31 | 2023-01-31 | Ventana Medical Systems, Inc. | Systems and methods for calibrating, configuring and validating an imaging device or system for multiplex tissue assays |
| WO2014203453A1 (en) * | 2013-06-19 | 2014-12-24 | 日本電気株式会社 | Illumination estimation device, illumination estimation method, and illumination estimation program |
| JPWO2014203453A1 (en) * | 2013-06-19 | 2017-02-23 | 日本電気株式会社 | Illumination estimation apparatus, illumination estimation method, and illumination estimation program |
| US9692993B2 (en) | 2013-06-19 | 2017-06-27 | Nec Corporation | Illumination estimation device, illumination estimation method, and storage medium |
| JP2020094985A (en) * | 2018-12-14 | 2020-06-18 | 凸版印刷株式会社 | Spectral image estimation system, spectral image estimation method, and program |
| JP7206878B2 (en) | 2018-12-14 | 2023-01-18 | 凸版印刷株式会社 | SPECTRAL IMAGE ESTIMATION SYSTEM, SPECTRAL IMAGE ESTIMATION METHOD, AND PROGRAM |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20170054910A1 (en) | Image processing apparatus and image capturing apparatus | |
| US10354366B2 (en) | Image processing device, image processing method, and recording medium | |
| JP6945620B2 (en) | System operating method and program | |
| EP2407926A1 (en) | Image processing apparatus, image processing method, and recording medium | |
| JP2010034955A (en) | White balance correction apparatus and signal processing program | |
| CN111373436A (en) | Image processing method, terminal device and storage medium | |
| JP2011022044A (en) | Apparatus and method for estimating light source | |
| JP5591090B2 (en) | Image processing apparatus and method | |
| KR101662407B1 (en) | Method for vignetting correction of image and apparatus therefor | |
| JP4728265B2 (en) | Noise characteristic measuring apparatus and noise characteristic measuring method | |
| JP6201507B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6772838B2 (en) | Image information processing device, image information processing system, image information processing method, and image information processing program | |
| US9781399B2 (en) | Lighting and material editing using flash photography | |
| US9491331B2 (en) | Image processing method, image processing device, and program for restoring spectral characteristics of an object and an illumination, respectively | |
| JP2008206163A (en) | Color image processor | |
| CN104427322A (en) | Information processing device, imaging device, information processing method, and program | |
| US9293113B2 (en) | Image processing apparatus and control method thereof | |
| JP2023017091A (en) | Estimation apparatus, estimation method and program | |
| JP4615430B2 (en) | Image generation apparatus, image generation method, and image generation program | |
| JP6369153B2 (en) | Display processing apparatus, display processing method, and program | |
| TWI721288B (en) | Image processing device, image processing method and program recording medium | |
| JP2012127700A (en) | Image processing apparatus and method therefor | |
| US9927630B2 (en) | Color calibration for pathology slides | |
| JP2014052426A (en) | Imaging device, control method for imaging device, and program | |
| JP5282356B2 (en) | Spectral data classification method, spectral data classification device, and spectral data classification program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20121002 |