JP2000338038A - スペクトルデータ処理方法 - Google Patents
スペクトルデータ処理方法Info
- Publication number
- JP2000338038A JP2000338038A JP11150746A JP15074699A JP2000338038A JP 2000338038 A JP2000338038 A JP 2000338038A JP 11150746 A JP11150746 A JP 11150746A JP 15074699 A JP15074699 A JP 15074699A JP 2000338038 A JP2000338038 A JP 2000338038A
- Authority
- JP
- Japan
- Prior art keywords
- sample
- spectrum
- variable
- pls
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Spectrometry And Color Measurement (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
切に除去することであり、第二の目的は、非情報性波長
変数の適切な除去および情報性波長変数の適切な保持を
行うことである。 【解決手段】 本発明にかかるスペクトルデータ処理方
法は、較正用標本のスペクトルデータより測定のエラー
などにより発生した非情報性標本に関するデータを除去
して多変量解析を行うこととしたので、特定成分の含量
予測精度を大きく向上させることができる。また、本発
明において、前記標本除去とともに、非情報性変数の除
去を行うと、より予測精度の向上が図られるとともに、
演算負荷の軽減を図ることができる。
Description
処理方法、特にスペクトルの多変量解析による特定成分
含量の予測機構の改良に関する。
に由来する標本は通常の場合、極めて多くの成分を含ん
でおり、その中から特定成分の定量を行うため分光分析
などにより得られるスペクトルデータは、該特定成分の
スペクトルのみならず、他の多くの成分のスペクトルが
重畳されたものとなる。従って、これら多くの不純物の
存在割合などが不明の場合には、単にその標本のスペク
トルを得ただけでは特定成分の定量を行うことはできな
い。
む標本より特定成分の定量分析を行うため、多変量解析
技術が注目されている。すなわち、この多変量解析技術
においては、既知量の特定成分が含まれた較正用標本の
スペクトルデータを多く採取し、その特定成分含量とス
ペクトルデータの関係を統計的に処理することで、両者
間の定量モデルを見いだし、未知標本の特定成分含量予
測に適用するものである。
には明らかに特定成分の含有量とは関連のない波長(波
数)領域も存在し、これらは定量モデルを算出する際の
過剰な負荷となるばかりでなく、場合によっては予測精
度を低下させるノイズともなる。従来において、これら
のノイズをとるデータ処理技術としてマザート(Massar
t et al)らにより開発されたUVE−PLS法(Uninf
ormative Variable Elimination - Partial Least Squa
res method;非情報性変数除去−偏最小自乗法)などが
適用されていた。
の予測能力を向上させるアルゴリズムであり、定量モデ
ル形成に寄与しない波長(或いは独立の)変数を除去す
ることができる。この方法で重要なのは、実験変数と故
意に加えられた人為的ノイズ変数とを、定量モデル形成
への寄与という観点から比較することである。ノイズ変
数の数は実験変数と同一である。
正用標本は、その特定成分含量については別途の方法に
より定量されてはいるものの、その測定自体が必ずしも
正確とは限らず、多くの較正用標本のスペクトルデータ
の中には大きなエラーを含むものも存在し、これは特定
成分含量とスペクトルデータの定量モデルを算出する際
のノイズとなる。
イズが波長変数と同様に濃度(或いは独立の)変数に導
入されてしまうと、PLSモデルの予測能力を低下させ
る。例えば、較正データとしてまったく用いることので
きない標本を何らかの理由により偶然に較正用標本とし
て導入することもあり得る。このような問題に対処する
多くのロバストモデリング技術が開発されてきたにも関
わらず、その多くは与えられた波長変数のすべてを用い
るものであった。このため、波長変数の中には、モデル
の形成に寄与しない非情報性のものが含まれている。モ
デルの予測能力を増強するためにはこのような非情報性
波長変数の除去を適切に行い、その後に非情報性標本の
除去を行うことが効果的である。換言すれば、非情報性
標本の除去は、情報性波長変数のみに対して情報の有無
を考慮し除去されなければならない。
を実際に測定された較正用スペクトルデータに適用した
ところ、場合によりPLS法での定量モデル算出時の因
子数が予期したものよりも大きくなる傾向にあり、特に
ノイズの多いスペクトルデータにおいてこの傾向が顕著
であることが明らかとなった。ここで、因子数の大きさ
は主成分分析における主因子(Principal Components
(PCs))のそれと同じである。これはPCsの数が最低
のRMSEP標準値を用いることによって決定されてい
ることによる。RMSEP標準値は、それ自体は明瞭で
あるが、モデルがオーバーフィッティングの状態で形成
される危険性がある。この場合、次の二つの状態が発生
する。すなわち除去されるべき非情報性波長変数が除去
されず、或いは残されるべき情報性波長変数が残されな
い状態である。この二つの状態では、PLSの予測能力
は低下する。
たものであり、その第一の目的は、非情報性の標本を適
切に除去することであり、第二の目的は、非情報性変数
の適切な除去および情報性変数の適切な保持を行うた
め、定量モデル算出時に適切な因子数を選択することで
ある。
に本発明は、既知含量の特定成分を含む多数の較正用標
本群のスペクトルデータを多変量解析し、該特定成分含
量とスペクトルの相関を算出し、未知標本中の特定成分
含量をそのスペクトルより予測するスペクトルデータ処
理方法であって、前記多数(n個)の較正用標本群のう
ち、一の較正用標本(i番目)のスペクトルデータを除
外して多変量解析を行うleave-one-out法により特定成
分含量とスペクトルの仮定量モデルを演算し、該i番目
の較正用標本の特定成分含量とそのスペクトルを前記仮
定量モデルに適用した場合の予想含量を比較して予測エ
ラー値e(i)を演算する予測エラー値演算工程と、前記
予測エラー値e(i)が、該i番目の較正用標本の前記予
測エラー値e(i)を除外して得た所定分散範囲内である
か否かを判定する判定工程と、前記予測エラー値e(i)
が所定分散範囲外である場合に、該i番目の較正用標本
を較正用標本群から除外し、残存較正用標本群について
前記予測エラー値演算工程以降を繰り返し行い、前記予
測エラー値e(i)が所定分散範囲内である場合に残存較
正用標本群に対して多変量解析を行う分岐工程と、を含
む非情報性標本除外機構を有することを特徴とする。
予測エラー値e(i)は
yi pはその較正用標本を除いた較正用標本群から得た
定量モデルより算出した予測値) 前記分散範囲は、次記数8により算出されるσ(i)に所
定係数を乗算したもの、例えば3σ(i)であることが好
適である。
除外機構の前段階に非情報性変数除外機構を有すること
が好適である。
理方法において、非情報性変数除外機構は、濃度変数
(或いは従属変数)y(n,1)と、波長(或いは波数)変
数(或いは独立変数)X(n,p)の関係を下記数3で表現
した場合、
り、e(n,1)はモデルで説明することのできない誤差の
ベクトルである。) 波長(又は波数)変数マトリックスX(n,p)に対して、
下記,によるPRESS基準で定量モデル算出時に
おける主因子(PCs)数の最適値の決定を行い、F
(A)=PRESS(APCsのモデル)/PRESS
(A*PCsのモデル)をA=1〜A*について演算す
る。ここで相互確認モデルについてPRESS(Predic
tion Error Sum of Square)を以下の等式により定義す
る。
る。 PCsの最適数としてF(A)<Fa:n,nとなるよう
な最小のAを選択する。ここでFa;n,nは自由度対[n,
n]のF分布の(1−α)パーセントを示し、nは較正
標本の数である。}
ノイズマトリックスR(n,p)を形成し、両者を合成して
マトリックスXR(n,2p)を作成し、前記合成マトリック
スXR(n,2p)からleave-one-out法により前記PCs数
に基づきPLS法モデルの演算を行い、b−係数マトリ
ックスB(n,2p)を作成し、前記マトリックスB(n,2p)の
各カラムに対して標準偏差s(bj)の演算を行い、
均であり、bijはB(n,2p)のi,jの要素である。)
p)を各波長変数jについて演算を行い、ノイズマトリ
ックスRに対応する波長変数の中から最も大きいcjの
絶対値であるq値を次式に基づき決定し、
変数をXより除外し、残存変数により新たなマトリック
スXnew(N,p')を形成する、改変UVE−PLS法であ
ることを特徴とする。
1に固定されていることが好適である。また、前記方法
において、非情報性標本除外後に、PLS法により情報
性較正用標本の多変量解析を行うことが好適である。さ
らに、前記改変UVE−PLS法による非情報性変数除
去後に、前記非情報性標本除去を行うことが好適であ
る。
な実施形態を説明する。本発明にかかる好適な実施形態
においては、以下の手順でスペクトルデータの多変量解
析が行われる。
ルデータを採取する。 情報性波長変数の選択 前記較正用標本スペクトルデータのうち、特定成分の含
量とPLS法などの多変量解析において定量モデル算出
時に関連性を有する波長(波数)部分(情報性変数)
と、関連性を有しない波長(波数)部分(非情報性変
数)とを分離し情報性波長(波数)領域を選択する。
量とPLS法などの多変量解析において定量モデル算出
時に関連性を有する較正用標本スペクトル(情報性標本
スペクトル)と、関連性を有しない較正用標本スペクト
ル(非情報性標本スペクトル)とを分離し、情報性標本
スペクトルを選択する。 前記情報性標本及び情報性変数が選択された較正用標
本スペクトルデータについてPLS法などの多変量解析
を行い、特定成分の含量とスペクトルの定量モデルを得
る。
得られた特定成分の含量とスペクトルの定量モデルよ
り、該特定成分の含量を予測する。前記情報性変数の選
択、情報性標本の選択はそれぞれ単独でも特定成分含量
の予測性能の改善を行うことができるが、特に前記、
順番で両者を適用することにより、優れた予測性能を
得ることができる。
変数の選択、情報性標本の選択についてそれぞれ説明す
る。なお、以下の説明においては、非情報性波長変数の
除去方法についてはUVE(Uninformative Variable E
limination)と呼び、情報性標本の選択方法については
USE(Uninformative Sample Elimination)法とよ
ぶ。また、UVEについて、本発明者らはその予測性能
及び演算負荷をさらに改良した方法を開発しており、こ
れについてはMUVE(Modified UninformativeVariab
le Elimination)と称呼する。さらに、全体の方法につ
いてはその処理順番を考慮しつつ、例えばMUVE−U
SE−PLS法とよぶこととする。
変数の除去方法については、本発明者らが新たに開発し
たMUVE−PLS法のほか、UVE−PLS法、b−
係数法、相関係数法などの従来法があるが、これらはい
ずれも非情報性波長変数の除去方法として、前記非情報
性標本の除去方法とともに用いることができる。このう
ち、特に好適なものは、MUVE−PLS法である。以
下に、それぞれの非情報性変数除去方法について説明す
る。
1)と、波長(或いは波数)変数(或いは独立変数)X
(n,p)の関係を下記等式1で表現する。
e(n,1)はモデルで説明することのできないエラーのベ
クトルである。
p変数)の中で一部は重要であるが、そのすべてがモデ
ル形成に寄与するものではない。このような非情報性波
長変数を除去するため、マザートらはUVE−PLS法
を提案した。図1(a)はそのアルゴリズムの概略を示
す。 (1)予測マトリックスX(n,p)および濃度ベクトルy
(n,1)からもっとも小さいRMSEPとなるPCs(A
1)の数を決定する。ここで、RMSEPは次の等式
(2)により定義される。
目の測定値および予測値である。そして、A2=A1と
する。
ズマトリックスR(n,p)を形成する。このマトリックス
R(n,p)をX(n,p)に合成する。この結果得られるマトリ
ックスはXR(n,2p)と呼ばれ、最初のカラムのpはX
のそれとなり、最後のカラムのpはRのそれとなる。
(3)XR(n,2p)からleave-one-out法によりPCsA
2の数に基づきn個のP LSモデルの演算を行う。この結果b−係数マトリック
スB(n,2p)が得られる。 (4)次の等式(3)に基づき、B(n,2p)の各カラムに
対して標準偏差s(bj)を演算する。
であり、bijはB(n,2p)のi,jの要素である。
そして、各変数jに対してcj=bj/s(bj)(j=1〜
2p)の値を演算する。 (5)ノイズマトリックスRに対応する波長変数の中か
らもっとも大きいcjの値の絶対値であるq値を次の式
に基づき決定する。
数をXから除去する。 (7)残存変数により新たなマトリックスXnew(N,p')
を形成する。p’はカラムの新たな数である。 (8)PCsA2の数に基づきXnewに対してleave-one
-out法でPLSモデルを形成し、前記式2に従ってRM
SEPnewを算出して、新たなモデルの予測能力の評価
を行う。
比較を行う。 (10)もし、RMSEPnew≧RMSEPであれば、
非情報性波長変数の除去はPLSにおけるモデル化を改
善しないから処理を終了し、最後のPLSモデルをA2
PCsに基づき形成する。 (11)もし、RMSEPnew<RMSEPであれば、
A2の値が大きすぎることによるオーバーフィッティン
グによりモデルが形成された可能性がある。この場合前
記(2)よりA2=A2−1およびRMSEP=RMS
EPnewに基づきアルゴリズムを繰り返す。
を行うため、ハーランドおよびトーマスらにより指摘さ
れたPCsの最適数の選定のガイドラインを採用した。
この手法の要約は以下の通りである。 (1)F(A)=PRESS(APCsのモデル)/P
RESS(A*PCsのモデル)をA=1〜A*につい
て演算する。ここで相互確認モデルについてPRESS
(Prediction Error Sum of Square)は以下の等式によ
り定義される。
る。 (2)PCsの最適数としてF(A)<Fa:n,nとなる
ような最小のAを選択する。ここでFa;n,nは自由度対
[n,n]のF分布の(1−α)パーセントを示し、n
は較正標本の数である。Aの最適数を決定するため、α
の値を決定しなければならない。αの値を決定する代わ
りに、経験的にFa;n,nの値を通常もっとも適合する
1.1に固定することができる。換言すれば、PCsの
最適値は、そのモデルに対するPRESSがA*PCs
のモデルに対するよりも著しく大きくはならない最小モ
デル(或いはPCsの最小数)により決定でき、これは
PRESS(A)<1.1×PRESS(A*)となる
ことを意味する。ここではこのガイドラインをPRES
S標準値と呼ぶこととする。
(b)に示すように従来法と近似した手順を経ており、
(2)〜(7)はPRESS標準値から誘導されるA3
PCsを用いて処理される。結果として得られるマトリ
ックスXnewに対して最終的なPCsの最適値を決定す
るためPRESS標準値を再度適用する。最終的なPL
SはA4PCsに基づき形成される。従来法と比較し、
繰り返しループが存在しないためUVE−PLS法と比
較して演算時間がUVE−PLS法でのループの回数分
の一に短縮される。
(n,2p)のPLS b−係数を用いる。b−係数(bj,
j=1〜2p)を得た後、波長変数(bj,j=1〜
p)および人為的ノイズ変数(bj,j=p+1〜2
p)でのb−係数を比較する。ノイズ変数よりも小さな
b−係数を有する波長変数は非情報性であるとして棄却
される。
(n,2p)のj番目のカラムの間で2p 相関係数(ρj,
j=1〜2p)を計算した。
番目およびi,jの要素であり、yi AVおよびXRij
AVはそれぞれyおよびXRのiに関する平均値であ
る。そして、波長変数(j=1〜p)に対するρj値、
および人為的ノイズ変数(j=p+1〜2p)に対する
それを比較する。これは、ノイズ変数よりも小さな相関
係数を有する波長変数は除去されることを意味する。
かかるMUVE−USE−PLS法の概略構成が示され
ている。同図において、 (1)まず、MUVE法を主因子(Principal Componen
ts PCs)Aに基づき較正データ群に適用する。この
段階で非情報性波長変数は除去される。 (2)i番目(1≦i≦n)標本について、予測エラー
値e(i)を演算する。同時に、RMSEP(Root Mean S
quares Error of Prediction)が評価される。
値の標準偏差σ(i)が「leave-one-out法」により演算さ
れる。すなわち、σ(i)はe(i)を除く他の(n−1)e
(j)から、以下の等式により演算される。
σ(i)の絶対値でどちらが大きいかの比較を各iについ
て行う。 (5)もし、abs{e(i)}≧3σ(i)であれば、i番
目の標本は非情報性標本であるとして除去され、PLS
モデルはAPCsとともに残りの較正データから形成さ
れる。そして、前記(2)に帰還する。 (6)もし、abs{e(i)}<3σ(i)であれば、最終
的なPLSモデルを用いて形成する。
外的な標本を判別する能力は、leave-one-out法により
σ(i)値の演算を行うことで向上する。このMUVE−
USE−PLS法は従来のMUVE−PLSプログラム
の若干の修正により行うことができる。
説明する。スペクトルデータ群 較正を行うスペクトルデータ群として、ここでは各種モ
ル分率を有した水−エタノール混合物の中赤外吸収スペ
クトル30種を用いた。これらのスペクトルは、温度コ
ントロール全反射(ATR)アタッチメントセル(モデ
ルATR−LG)を備えた顕微フーリエ変換吸収スペク
トル測定装置(MFT−2000 日本分光株式会社
製)を用いて測定した。各スペクトルについて、波数範
囲600〜4600cm-1に対して3.59cm-1のスペク
トル分解能で16回積算で測定を行った。データポイン
ト数は1038である。混合物の温度は25℃に維持し
た。30種の混合物のエタノールモル分率χethを表1
に示す。水はMilli−Qシステム(ミリポア製)に
より調製し、エタノールは試薬級(和光純薬製)を用い
た。図3は前記混合物の30種のスペクトルを示す。5
つの特徴的な振動バンドが認められる:(1)水および
エタノールのOH−伸縮バンドの重複した部分(305
0〜3900cm-1)、(2)エタノールのCH−伸縮バ
ンド(2600〜3050cm-1)、(3)水およびエタ
ノールのベンディングバンド(1500〜1810c
m-1)、(4)エタノールのCH2−ベンディングバン
ド(1200〜1520cm-1)および(5)エタノール
のCO−伸縮バンド(950〜1200cm-1)。
能力の比較]異なる非情報性波長変数除去方法を用いた
較正方法から得られた最適予測結果を表2および図4に
示す。
0×10−5を与えたのに対し、従来のUVE−PLS
法は11PCs(A1=15,A2=11)についてR
MSEP=889×10−5を与えた。1038点のう
ち、維持された波長変数は65点であった。これは従来
のPLS法に対するUVE−PLS法の優位性を示して
いる。一方、MUVE−PLS法は4PCs(A3=
8,A4=4)に対してRMSEP=852×10−5
であり、維持された波長変数の数は70であった。維持
された70変数に対する波数領域は、図4(b)に示さ
れており、混合物の典型的スペクトル(χeth=0.4
93)は図4(a)に、対応を明らかにするため示され
ている。水およびエタノール混合物の特徴的な5種の振
動バンドが選択されており、維持された波数領域は合理
的である。ここで、二本の点線は標準値の±qを示して
おり、±qの間の値の変数は非情報性であるとして除去
されている。MUVE法の演算時間は従来法のそれと比
較して約1/6となっている。この結果はMUVE法が
実際的な状態で極めてよく機能することを示している。
相関法の結果をそれぞれ示している。b−係数法は15
PCsについてRMSEP=4194×10−5であ
り、維持された波長変数の数は26である。維持波長変
数の数は大きく減少しているが、RMSEPの値は標準
PLS法よりも大きくなっている。加えて、維持された
波数領域は、むしろ物理的な意味にかけており、重要な
3500cm-1付近のOH−伸縮バンドが非情報性である
として除去されている。一方、相関係数法は15PCs
についてRMSEP=1157×10−5を与えてお
り、維持された波長変数の数は791である。この場
合、RMSEPの値は標準PLS法のそれに比べて大き
く改善はされておらず、大きくスペクトル領域が情報性
であるとして維持されている。
波長変数選択時のPCsの数をパラメータとして保持さ
れた情報性波長変数と変数jの関係を示している。ここ
で、レベル1および0は保持された情報性波長変数と除
去された非情報性波長変数をそれぞれ示している。図4
(b)は図3(a)と同じ典型的なスペクトルを示して
いる。これらの図において、従来のUVE=PLS法は
PCs=11(A1=15,A2=11)の場合に相当
し、MUVE法はPCs=8(A3=8,A4=4)の
場合に相当する。PCs≧8の場合の維持変数の数は、
ほぼ同一であり、得られたRMSEPも変化がない。こ
の結果はこのMUVE−PLS法の有効性を再度示して
いる。
人為的に導入されたノイズ変数との比較において直接的
に非情報性波長変数の除去が行われるという点では、他
の方法に比較して優れている。しかしながらこの方法
は、実際上次の2点の問題を有する。すなわち波長変数
選択時および定量モデル算出時におけるPCsの数が相
対的に大きくなってしまいオーバーフィッティングが行
われ、また演算時間が長いことである。本発明はPRE
SS標準を取り入れることによりこれらの二つの問題を
解決した。MUVE−PLS法の実際的な有効性を示す
ため行った各種モル分率の水−エタノール混合物の中赤
外吸収スペクトルの較正データ群に適用した場合にも、
本発明が優れた結果を示した。
除去方法の組み合わせ効果]本実施例において用いられ
るスペクトル較正データ群は、前記同様30種の各種モ
ル比の水−エタノール混合物の中赤外吸収スペクトルを
用いた。USEアルゴリズムの標本除去能を示すため、
ここでは19番目の標本のエタノールモル分率を真値
(χeth=0.11)から偽値(χeth=0.08)に故
意に変更した。混合物のモル分率比は前記表1に示され
ている。
用した。それらの関係は図6に示される。 (1)PLS:与えられた較正データ群に対して標準最
小RMSEP法として標準PLS法を適用した。 (2)MUVE−PLS:較正データ群に対してMUV
E−PLS法を適用した。 (3)USE−PLS:与えられた較正データ群に対し
てUSEアルゴリズムの適用を行った。USE適用の
後、MUVE法を除く標準PLS法を適用した。
E法により処理された較正データ群に対してUSEアル
ゴリズムの適用を行った。この後、標準PLS法を実行
した。 (5)USE−MUVE−PLS:与えられた較正デー
タに対してまず最初にUSEアルゴリズムの適用を行
う。USEの後、MUVE−PLSを実行した。この方
法は、MUVE−USE−PLS法と適用手法は同じで
あるが、MUVEとUSEの順番が逆になっている。
表1に示した30種のエタノール−水混合物のスペクト
ルデータ群に適用した結果を示している。図7(a)
は、予測エラーe(i)を標本番号iの関数としてプロッ
トしたものであり、第一繰り返しループから得られる。
図中二本の点線は±3σ(i)値を示しており、非情報性
標本の除去の基準として用いている。前記第一繰り返し
から、No.1およびNo.19の二つの標本が除去さ
れる。標本No.19はその濃度値が故意に変更された
ものであり、有意に除去される。図7(b)は第二繰り
返しループから得られた結果である。ここでは、標本N
o.2が除去されている。図7(c)は第三繰り返しル
ープから得られた結果を示しており、ここでは標本除去
が行われておらず、各予測エラー値が±3σ(i)値以下
であることを意味する。30種の較正データの中で2種
の標本No.1とNo.2が非情報性であるとして除去
された。この理由は(1)スペクトル強度の非直線性、
及び(2)χethの高濃度領域におけるデータの粗頻度
によるものと考えられる。MUVE−USE−PLSア
ルゴリズムにおいて、最終PLSモデルは残りの27標
本を用いて形成された。
の予測結果は、表3に要約される。
UVE−PLS法よりも、RMSEP値が小さいことが
理解される。これは非情報性標本の除去が行われたため
である。一方、USE−MUVE−PLS法はMUVE
−USE−PLS法よりもよい結果を与えることはでき
なかった。これは非情報性標本の除去よりも前に非情報
性波長変数の除去を行うことの重要性を示している。こ
れは波長変数の数は通常の場合濃度変数のそれよりも遥
かに大きいことによる。
能力を改善するため、非情報性標本を較正データ群から
除去するMUVE−USE−PLS法が好適であること
が理解される。標本除去の指標としては3σを個々の予
測エラーと比較され、σ値はleave-one-out法により演
算される。これは正確なモデルが必要となるときに有用
且つ現実的な手法である。
クトルデータ処理方法によれば、較正用標本のスペクト
ルデータより測定のエラーなどにより発生した非情報性
標本に関するデータを除去して多変量解析を行うことと
したので、特定成分の含量予測精度を大きく向上させる
ことができる。また、本発明において、前記標本除去と
ともに、非情報性波長変数の除去を行うと、より予測精
度の向上が図られるとともに、演算負荷の軽減を図るこ
とができる。特に、非情報性波長変数の除去にPRES
S基準を導入することにより、従来のUVE−PLS法
などに見られるオーバーフィッティング等の問題を良好
に改善することができる。
方法の説明図である。
方法の説明図である。
吸収スペクトルである。
説明図である。
報性変数と変数jの関係を示す説明図である。
試験のモデリングの説明図である。
PLS法の較正用スペクトルデータへの適用例の説明図
である。
Claims (7)
- 【請求項1】 既知含量の特定成分を含む多数の較正用
標本群のスペクトルデータを多変量解析し、該特定成分
含量とスペクトルの関連性から定量モデルを算出し、未
知標本中の特定成分含量をそのスペクトルより予測する
スペクトルデータ処理方法であって、 前記多数(n個)の較正用標本群のうち、一の較正用標
本(i番目)のスペクトルデータを除外して未知標本と
し、多変量解析を行うleave-one-out法により特定成分
含量とスペクトルの仮定量モデルaを演算し、該i番目
の較正用標本の特定成分含量とそのスペクトルを前記仮
定量モデルに適用した場合の予想含量を比較して予測エ
ラー値e(i)を演算する予測エラー値演算工程と、 前記予測エラー値e(i)が、該i番目の較正用標本の前
記予測エラー値e(i)を除外して得た所定分散範囲内で
あるか否かを判定する判定工程と、 前記予測エラー値e(i)が所定分散範囲外である場合
に、該i番目の較正用標本を較正用標本群から除外し、
残存較正用標本群について前記予測エラー値演算工程以
降を繰り返し行い、前記予測エラー値e(i)が所定分散
範囲内である場合に残存較正用標本群に対して多変量解
析を行う分岐工程と、を含む非情報性標本除外機構を有
することを特徴とするスペクトルデータ処理方法。 - 【請求項2】 請求項1記載の方法において、前記予測
エラー値e(i)は 【数1】e(i)=yi−yi p (ここで、yiはi番目の較正用標本の特定成分含量、
yi pはその較正用標本を除いた較正用標本群から得た
定量モデルより算出した予測値) 前記分散範囲は、次記数2により算出されるσ(i)に所
定係数を乗算したものであることを特徴とするスペクト
ルデータ処理方法。 【数2】 - 【請求項3】 請求項1又は2記載の方法において、前
記非情報性標本除外機構の前段階に非情報性波長変数除
外機構を有することを特徴とするスペクトルデータ処理
方法。 - 【請求項4】 既知含量の特定成分を含む多数の較正用
標本群のスペクトルデータをPLS法によって多変量解
析し、該特定成分含量とスペクトルの定量モデルを算出
し、未知標本中の特定成分含量をそのスペクトルより予
測するスペクトルデータ処理方法であって、非情報性波
長変数除外機構は、濃度変数(或いは従属変数)y(n,
1)と、波長(或いは波数)変数(或いは独立変数)X
(n,p)の関係を下記数3で表現した場合、 【数3】y=Xb+e (ここで、b(1,p)はPLS回帰係数のベクトルであ
り、e(n,1)はモデルで説明することのできない誤差の
ベクトルである。) 波長(又は波数)変数マトリックスX(n,p)に対して、
下記,によるPRESS基準で定量モデル算出時に
おける主因子(PCs)数の最適値の決定を行い、{
F(A)=PRESS(APCsのモデル)/PRES
S(A*PCsのモデル)をA=1〜A*について演算
する。ここで相互確認モデルについてPRESS(Pred
iction Error Sum of Square)を以下の等式により定義
する。 【数4】 最小PRESSを生じさせるPCsの数はA*で表され
る。 PCsの最適数としてF(A)<Fa:n,nとなるよう
な最小のAを選択する。ここでFa;n,nは自由度対[n,
n]のF分布の(1−α)パーセントを示し、nは較正
標本の数である。} 前記マトリックスX(n,p)と同じ大きさのノイズマトリ
ックスR(n,p)を形成し、両者を合成してマトリックス
XR(n,2p)を作成し、前記合成マトリックスXR(n,2p)
からleave-one-out法により前記PCs数に基づきPL
S法モデルの演算を行い、b−係数マトリックスB(n,2
p)を作成し、前記マトリックスB(n,2p)の各カラムに対
して標準偏差s(bj)の演算を行い、 【数5】 (ここで、bjはB(n,2p)からのカラムベクトルjの平
均であり、bijはB(n,2p)のi,jの要素である。) 更にcj=bj/s(bj)(j=1〜2p)を各波長
変数jについて演算を行い、ノイズマトリックスRに対
応する波長変数の中から最も大きいcjの絶対値である
q値を次式に基づき決定し、 【数6】 q=max{abs(cj)},j=p+1〜2p j=1〜pにおいてabs(cj)<qとなる波長変数
をXより除外し、残存変数により新たなマトリックスX
new(N,p')を形成する、改変UVE−PLS法であるこ
とを特徴とするスペクトルデータの処理方法。 - 【請求項5】 請求項4記載の方法において、Fa:n,n
は1.1に固定されていることを特徴とするスペクトル
データの処理方法。 - 【請求項6】 請求項1〜5記載の方法において、非情
報性標本除外後に、PLS法により情報性較正用標本の
多変量解析を行うことを特徴とするスペクトルデータの
処理方法。 - 【請求項7】 請求項3記載の方法において、非情報性
波長変数除外機構は、請求項4又は5記載のものである
ことを特徴とするスペクトルデータの処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15074699A JP4177933B2 (ja) | 1999-05-28 | 1999-05-28 | スペクトルデータ処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15074699A JP4177933B2 (ja) | 1999-05-28 | 1999-05-28 | スペクトルデータ処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000338038A true JP2000338038A (ja) | 2000-12-08 |
JP4177933B2 JP4177933B2 (ja) | 2008-11-05 |
Family
ID=15503525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP15074699A Expired - Fee Related JP4177933B2 (ja) | 1999-05-28 | 1999-05-28 | スペクトルデータ処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4177933B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003057178A (ja) * | 2001-08-17 | 2003-02-26 | Horiba Ltd | 多成分分析装置 |
KR101437410B1 (ko) | 2014-04-16 | 2014-09-11 | 대한민국 | 태양광흡수분광장치 및 태양광흡수분광장치의 스펙트럼 처리 방법 |
JP2015007621A (ja) * | 2013-05-31 | 2015-01-15 | キヤノン株式会社 | データの処理方法及び装置 |
CN111751364A (zh) * | 2020-06-28 | 2020-10-09 | 浙江省农业科学院 | 蜂王浆水溶性蛋白和总糖快速测定方法 |
CN113065095A (zh) * | 2021-03-31 | 2021-07-02 | 三峡大学 | 一种基于紫外光谱的水中氮含量检测算法 |
CN113340874A (zh) * | 2020-03-02 | 2021-09-03 | 中国科学院沈阳自动化研究所 | 一种基于结合岭回归和递归特征消除的定量分析方法 |
CN115266583A (zh) * | 2022-07-16 | 2022-11-01 | 北京津发科技股份有限公司 | 环境光滤除方法、***、计算机设备及计算机可读存储介质 |
CN117851979A (zh) * | 2024-03-07 | 2024-04-09 | 常熟市宏宇钙化物有限公司 | 基于近红外光谱技术的氢氧化钙浓度检测方法 |
-
1999
- 1999-05-28 JP JP15074699A patent/JP4177933B2/ja not_active Expired - Fee Related
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003057178A (ja) * | 2001-08-17 | 2003-02-26 | Horiba Ltd | 多成分分析装置 |
JP2015007621A (ja) * | 2013-05-31 | 2015-01-15 | キヤノン株式会社 | データの処理方法及び装置 |
KR101437410B1 (ko) | 2014-04-16 | 2014-09-11 | 대한민국 | 태양광흡수분광장치 및 태양광흡수분광장치의 스펙트럼 처리 방법 |
CN113340874A (zh) * | 2020-03-02 | 2021-09-03 | 中国科学院沈阳自动化研究所 | 一种基于结合岭回归和递归特征消除的定量分析方法 |
CN113340874B (zh) * | 2020-03-02 | 2023-07-18 | 中国科学院沈阳自动化研究所 | 一种基于结合岭回归和递归特征消除的定量分析方法 |
CN111751364A (zh) * | 2020-06-28 | 2020-10-09 | 浙江省农业科学院 | 蜂王浆水溶性蛋白和总糖快速测定方法 |
CN111751364B (zh) * | 2020-06-28 | 2023-05-23 | 浙江省农业科学院 | 蜂王浆水溶性蛋白和总糖快速测定方法 |
CN113065095A (zh) * | 2021-03-31 | 2021-07-02 | 三峡大学 | 一种基于紫外光谱的水中氮含量检测算法 |
CN113065095B (zh) * | 2021-03-31 | 2023-09-19 | 三峡大学 | 一种基于紫外光谱的水中氮含量检测算法 |
CN115266583A (zh) * | 2022-07-16 | 2022-11-01 | 北京津发科技股份有限公司 | 环境光滤除方法、***、计算机设备及计算机可读存储介质 |
CN117851979A (zh) * | 2024-03-07 | 2024-04-09 | 常熟市宏宇钙化物有限公司 | 基于近红外光谱技术的氢氧化钙浓度检测方法 |
CN117851979B (zh) * | 2024-03-07 | 2024-05-03 | 常熟市宏宇钙化物有限公司 | 基于近红外光谱技术的氢氧化钙浓度检测方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4177933B2 (ja) | 2008-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dubnov | Generalization of spectral flatness measure for non-gaussian linear processes | |
Ho et al. | LZIFU: an emission-line fitting toolkit for integral field spectroscopy data | |
US8635258B2 (en) | Alignment of multiple liquid chromatography-mass spectrometry runs | |
Fichot et al. | SeaUV and SeaUVC: Algorithms for the retrieval of UV/Visible diffuse attenuation coefficients from ocean color | |
CN110726694A (zh) | 光谱变量梯度集成遗传算法的特征波长选择方法和*** | |
Dubnov et al. | Structural and affective aspects of music from statistical audio signal analysis | |
JP5945365B2 (ja) | Nmrスペクトルから物質を同定するための方法 | |
Severcan et al. | Using artificially generated spectral data to improve protein secondary structure prediction from Fourier transform infrared spectra of proteins | |
JP2000338038A (ja) | スペクトルデータ処理方法 | |
Yu et al. | Prediction of soil properties based on characteristic wavelengths with optimal spectral resolution by using Vis-NIR spectroscopy | |
Spano et al. | Long period variables in the Large Magellanic Cloud from the EROS-2 survey | |
Cheng et al. | Forecasting volatility using double shrinkage methods | |
CN114611582A (zh) | 一种基于近红外光谱技术分析物质浓度的方法及*** | |
CN110070004A (zh) | 一种应用于深度学习的近地高光谱数据扩展方法 | |
JPH09167152A (ja) | 対話的モデル作成方法 | |
TW201224429A (en) | Method for identifying spectrum | |
CN109063767B (zh) | 一种基于样本和变量共识的近红外光谱建模方法 | |
CN113435115B (zh) | 一种荧光光谱特征波长筛选方法、装置、计算机设备及可读储存介质 | |
Devitt et al. | Estimation of low-level components lost through chromatographic separations with finite detection limits | |
Cox et al. | An outline of supplement 1 to the guide to the expression of uncertainty in measurement on numerical methods for the propagation of distributions | |
CN115171790A (zh) | 质谱的数据序列在质量评估中的分析方法、装置和存储介质 | |
Liu et al. | A survey of the baseline correction algorithms for real-time spectroscopy processing | |
Deaton et al. | Spectral reflectance of conodonts: A step toward quantitative color alteration and thermal maturity indexes | |
CN109145887B (zh) | 一种基于光谱潜变量混淆判别的阈值分析方法 | |
Thomas | Incorporating auxiliary predictor variation in principal component regression models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060516 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080602 |
|
TRDD | Decision of grant or rejection written | ||
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080602 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080805 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080825 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130829 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |