JP2002157588A - 画像データ処理方法及び装置と該方法を実行するためのプログラムを記録した記録媒体 - Google Patents
画像データ処理方法及び装置と該方法を実行するためのプログラムを記録した記録媒体Info
- Publication number
- JP2002157588A JP2002157588A JP2000352671A JP2000352671A JP2002157588A JP 2002157588 A JP2002157588 A JP 2002157588A JP 2000352671 A JP2000352671 A JP 2000352671A JP 2000352671 A JP2000352671 A JP 2000352671A JP 2002157588 A JP2002157588 A JP 2002157588A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixels
- channels
- large number
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 10
- 229910052709 silver Inorganic materials 0.000 claims abstract description 26
- 239000004332 silver Substances 0.000 claims abstract description 26
- -1 silver halide Chemical class 0.000 claims abstract description 26
- 239000013598 vector Substances 0.000 claims abstract description 11
- 238000000513 principal component analysis Methods 0.000 claims description 16
- 230000003595 spectral effect Effects 0.000 claims description 16
- 238000003672 processing method Methods 0.000 claims description 12
- 238000001228 spectrum Methods 0.000 abstract description 9
- 230000015654 memory Effects 0.000 description 4
- 235000010724 Wisteria floribunda Nutrition 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Exposure Control For Cameras (AREA)
- Cameras In General (AREA)
- Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
- Processing Of Color Television Signals (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
(57)【要約】
【課題】銀塩カメラ等の高精細画像と解像度の低いマル
チバンド画像を用いて、簡易に高精細なスペクトル画像
を得る。 【解決手段】多画素数かつ小チャンネル数の画像中の所
定の一点を着目画素として、該着目画素に対応する、前
記画像と同一被写体を撮影して得られた小画素数かつ多
チャンネル数の画像中の一点を含む所定領域における画
像データに対して、主成分分析を行い、該主成分分析に
よって得られた所定数の主成分ベクトルの線型和を用い
て、前記多画素数かつ小チャンネル数の画像中における
前記着目画素の出力値を再現するように、前記線型和の
係数を決定し、これにより前記着目画素のスペクトル情
報を求めることにより、多画素数かつ多チャンネル数の
画像を作成する。
チバンド画像を用いて、簡易に高精細なスペクトル画像
を得る。 【解決手段】多画素数かつ小チャンネル数の画像中の所
定の一点を着目画素として、該着目画素に対応する、前
記画像と同一被写体を撮影して得られた小画素数かつ多
チャンネル数の画像中の一点を含む所定領域における画
像データに対して、主成分分析を行い、該主成分分析に
よって得られた所定数の主成分ベクトルの線型和を用い
て、前記多画素数かつ小チャンネル数の画像中における
前記着目画素の出力値を再現するように、前記線型和の
係数を決定し、これにより前記着目画素のスペクトル情
報を求めることにより、多画素数かつ多チャンネル数の
画像を作成する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像データ処理方
法及び装置と該方法を実行するためのプログラムを記録
した記録媒体に係り、特に、スペクトル画像データの処
理を行い、被写体画像の良好な色再現を行う技術に関す
る。
法及び装置と該方法を実行するためのプログラムを記録
した記録媒体に係り、特に、スペクトル画像データの処
理を行い、被写体画像の良好な色再現を行う技術に関す
る。
【０００２】
【従来の技術】近年、美術館等において、作品をデジタ
ル化して記録、保存するいわゆるデジタルアーカイブが
進みつつある。従来、このような記録作業は、銀塩写真
を用いて行われるのが一般的であった。しかし、銀塩写
真の色再現は必ずしも正確とは言えず、また撮影に用い
られる光源によって結果が左右される等の問題があるた
め、被写体のスペクトル情報を取得できるマルチバンド
カメラが利用されるようになってきた。マルチバンドカ
メラとは、可視域をいくつかの領域に分ける狭帯域のフ
ィルタを用いて被写体を撮影し、それぞれの画像から各
画素のスペクトル情報を復元するカメラである。
ル化して記録、保存するいわゆるデジタルアーカイブが
進みつつある。従来、このような記録作業は、銀塩写真
を用いて行われるのが一般的であった。しかし、銀塩写
真の色再現は必ずしも正確とは言えず、また撮影に用い
られる光源によって結果が左右される等の問題があるた
め、被写体のスペクトル情報を取得できるマルチバンド
カメラが利用されるようになってきた。マルチバンドカ
メラとは、可視域をいくつかの領域に分ける狭帯域のフ
ィルタを用いて被写体を撮影し、それぞれの画像から各
画素のスペクトル情報を復元するカメラである。
【０００３】従来のマルチバンドカメラでは、干渉フィ
ルタと銀塩カメラを組み合わせて撮影を行い、フィルム
に撮影された画像を、スキャナ等で読み取ってデジタル
化し、各画像の位置合わせ（レジストリ作業）を行って
各点（画素）のスペクトル情報を求めていた。しかし、
複数の画像の位置合わせを正確に行うことは容易ではな
く、結果として得られる画像の画質を損なう場合もあっ
た。ところで、ＣＣＤカメラの場合には、被写体情報を
直接デジタル化できることから、カメラを固定しておけ
ば、レジストリ作業の必要がなく、後のデータ処理を簡
易化することができる。そこで近頃では、レジストリ作
業の容易さから、撮像装置として、ＣＣＤカメラが利用
されることが多くなってきた。
ルタと銀塩カメラを組み合わせて撮影を行い、フィルム
に撮影された画像を、スキャナ等で読み取ってデジタル
化し、各画像の位置合わせ（レジストリ作業）を行って
各点（画素）のスペクトル情報を求めていた。しかし、
複数の画像の位置合わせを正確に行うことは容易ではな
く、結果として得られる画像の画質を損なう場合もあっ
た。ところで、ＣＣＤカメラの場合には、被写体情報を
直接デジタル化できることから、カメラを固定しておけ
ば、レジストリ作業の必要がなく、後のデータ処理を簡
易化することができる。そこで近頃では、レジストリ作
業の容易さから、撮像装置として、ＣＣＤカメラが利用
されることが多くなってきた。
【０００４】ところが、多画素数のＣＣＤカメラは、非
常に高価であり、また、これらにしても画素数に限りが
あるため、ＣＣＤカメラを使ったマルチバンドカメラの
画素数は１００万画素を越えるものはほとんどなかっ
た。従って、これでは絵画の保存等の目的のためには画
素数が充分とは言えず、より多くの画素数を取得できる
マルチバンドカメラが要望されていた。これに対して、
例えば、銀塩カメラから輝度情報のみを取得し、これに
マルチバンドカメラより得られた色情報を組み合わせ
て、高精細のスペクトル画像を得る方法が、Proc.of IS
&T/SID Sixth Color Imaging Conference,224-227,1998
に記載されている。
常に高価であり、また、これらにしても画素数に限りが
あるため、ＣＣＤカメラを使ったマルチバンドカメラの
画素数は１００万画素を越えるものはほとんどなかっ
た。従って、これでは絵画の保存等の目的のためには画
素数が充分とは言えず、より多くの画素数を取得できる
マルチバンドカメラが要望されていた。これに対して、
例えば、銀塩カメラから輝度情報のみを取得し、これに
マルチバンドカメラより得られた色情報を組み合わせ
て、高精細のスペクトル画像を得る方法が、Proc.of IS
&T/SID Sixth Color Imaging Conference,224-227,1998
に記載されている。
【０００５】
【発明が解決しようとする課題】しかしながら、上記方
法では、やはり、銀塩カメラから得られた画像とマルチ
バンドカメラから得られた画像を、正確に位置合わせす
る必要があり、相変わらず作業が煩雑であるという問題
があった。本発明は、前記従来の問題に鑑みてなされた
ものであり、例えば、銀塩カメラ等の高精細画像と解像
度の低いマルチバンド画像を用いて、位置合わせを必要
とせず簡易に高精細なスペクトル画像を得ることのでき
る画像データ処理方法及び装置と該方法を実行するため
のプログラムを記録した記録媒体を提供することを課題
とする。
法では、やはり、銀塩カメラから得られた画像とマルチ
バンドカメラから得られた画像を、正確に位置合わせす
る必要があり、相変わらず作業が煩雑であるという問題
があった。本発明は、前記従来の問題に鑑みてなされた
ものであり、例えば、銀塩カメラ等の高精細画像と解像
度の低いマルチバンド画像を用いて、位置合わせを必要
とせず簡易に高精細なスペクトル画像を得ることのでき
る画像データ処理方法及び装置と該方法を実行するため
のプログラムを記録した記録媒体を提供することを課題
とする。
【０００６】
【課題を解決するための手段】前記課題を解決するため
に、本発明の第一の態様は、同一被写体を撮影して得ら
れた、多画素数かつ小チャンネル数の画像と、小画素数
かつ多チャンネル数の画像とを組み合わせて、多画素数
かつ多チャンネル数の画像を作成する画像データ処理方
法であって、前記多画素数かつ小チャンネル数の画像中
の所定の一点を着目画素として、該着目画素に対応する
前記小画素数かつ多チャンネル数の画像中の一点を含む
所定領域における画像データに対して、主成分分析を行
い、該主成分分析によって得られた所定数の主成分ベク
トルの線型和を用いて、前記多画素数かつ小チャンネル
数の画像中における前記着目画素の出力値を再現するよ
うに、前記線型和の係数を決定し、これにより前記着目
画素のスペクトル情報を求めることにより、多画素数か
つ多チャンネル数の画像を作成することを特徴とする画
像データ処理方法を提供する。
に、本発明の第一の態様は、同一被写体を撮影して得ら
れた、多画素数かつ小チャンネル数の画像と、小画素数
かつ多チャンネル数の画像とを組み合わせて、多画素数
かつ多チャンネル数の画像を作成する画像データ処理方
法であって、前記多画素数かつ小チャンネル数の画像中
の所定の一点を着目画素として、該着目画素に対応する
前記小画素数かつ多チャンネル数の画像中の一点を含む
所定領域における画像データに対して、主成分分析を行
い、該主成分分析によって得られた所定数の主成分ベク
トルの線型和を用いて、前記多画素数かつ小チャンネル
数の画像中における前記着目画素の出力値を再現するよ
うに、前記線型和の係数を決定し、これにより前記着目
画素のスペクトル情報を求めることにより、多画素数か
つ多チャンネル数の画像を作成することを特徴とする画
像データ処理方法を提供する。
【０００７】また、前記画像データ処理方法において、
前記多画素数かつ小チャンネル数の画像は、銀塩カメラ
によって撮影された画像をスキャナにより取り込んで得
られる画像であり、また前記小画素数かつ多チャンネル
数の画像は、低解像度のマルチバンドカメラによって撮
影された画像であることが好ましい。
前記多画素数かつ小チャンネル数の画像は、銀塩カメラ
によって撮影された画像をスキャナにより取り込んで得
られる画像であり、また前記小画素数かつ多チャンネル
数の画像は、低解像度のマルチバンドカメラによって撮
影された画像であることが好ましい。
【０００８】また、同様に前記課題を解決するために、
本発明の第二の態様は、同一被写体を撮影して得られ
た、多画素数かつ小チャンネル数の画像と、小画素数か
つ多チャンネル数の画像とを組み合わせて、多画素数か
つ多チャンネル数の画像を作成する画像データ処理装置
であって、前記多画素数かつ小チャンネル数の画像中の
所定の一点を着目画素として、該着目画素に対応する前
記小画素数かつ多チャンネル数の画像中の一点を含む所
定領域における画像データに対して、主成分分析を行う
手段と、前記主成分分析によって得られた所定数の主成
分ベクトルの線型和を用いて、前記多画素数かつ小チャ
ンネル数の画像中における前記着目画素の出力値を再現
するように、前記線型和の係数を決定する手段と、前記
決定された係数により前記着目画素のスペクトル情報を
算出する手段と、を備え、多画素数かつ多チャンネル数
の画像を作成することを特徴とする画像データ処理装置
を提供する。
本発明の第二の態様は、同一被写体を撮影して得られ
た、多画素数かつ小チャンネル数の画像と、小画素数か
つ多チャンネル数の画像とを組み合わせて、多画素数か
つ多チャンネル数の画像を作成する画像データ処理装置
であって、前記多画素数かつ小チャンネル数の画像中の
所定の一点を着目画素として、該着目画素に対応する前
記小画素数かつ多チャンネル数の画像中の一点を含む所
定領域における画像データに対して、主成分分析を行う
手段と、前記主成分分析によって得られた所定数の主成
分ベクトルの線型和を用いて、前記多画素数かつ小チャ
ンネル数の画像中における前記着目画素の出力値を再現
するように、前記線型和の係数を決定する手段と、前記
決定された係数により前記着目画素のスペクトル情報を
算出する手段と、を備え、多画素数かつ多チャンネル数
の画像を作成することを特徴とする画像データ処理装置
を提供する。
【０００９】また、前記画像データ処理装置において、
前記多画素数かつ小チャンネル数の画像は、銀塩カメラ
によって撮影された画像をスキャナにより取り込んで得
られる画像であり、また前記小画素数かつ多チャンネル
数の画像は、低解像度のマルチバンドカメラによって撮
影された画像であることが好ましい。
前記多画素数かつ小チャンネル数の画像は、銀塩カメラ
によって撮影された画像をスキャナにより取り込んで得
られる画像であり、また前記小画素数かつ多チャンネル
数の画像は、低解像度のマルチバンドカメラによって撮
影された画像であることが好ましい。
【００１０】また、同様に前記課題を解決するために、
本発明の第三の態様は、請求項１または２に記載の画像
データ処理方法を実行するためのプログラムを記録した
ことを特徴とする記録媒体を提供する。
本発明の第三の態様は、請求項１または２に記載の画像
データ処理方法を実行するためのプログラムを記録した
ことを特徴とする記録媒体を提供する。
【００１１】
【発明の実施の形態】以下、本発明に係る画像データ処
理方法及び装置と該方法を実行するためのプログラムを
記録した記録媒体について、添付の図面に示される好適
実施形態を基に、詳細に説明する。
理方法及び装置と該方法を実行するためのプログラムを
記録した記録媒体について、添付の図面に示される好適
実施形態を基に、詳細に説明する。
【００１２】図１は、本発明に係る画像データ処理装置
を組み込んだ画像再現システムの概略を示すブロック図
である。図１に示すように、本画像再現システム１は、
撮影対象（被写体）１０を、必要に応じて照明光源１２
で照明し、銀塩カメラ１４およびマルチバンドカメラ１
６により撮影し、それぞれの撮影画像をデジタル画像デ
ータとして画像データ処理装置３０に入力して、これに
対し画像データ処理装置３０において所定の画像データ
処理を行い、高精細なスペクトル画像を作成して画像出
力装置４０から複製画像として出力するものである。
を組み込んだ画像再現システムの概略を示すブロック図
である。図１に示すように、本画像再現システム１は、
撮影対象（被写体）１０を、必要に応じて照明光源１２
で照明し、銀塩カメラ１４およびマルチバンドカメラ１
６により撮影し、それぞれの撮影画像をデジタル画像デ
ータとして画像データ処理装置３０に入力して、これに
対し画像データ処理装置３０において所定の画像データ
処理を行い、高精細なスペクトル画像を作成して画像出
力装置４０から複製画像として出力するものである。
【００１３】銀塩カメラ１４によって撮影され現像処理
されたフィルム１８の画像は、スキャナ２０によって読
み取られ、デジタル画像データとして画像データ処理装
置３０に入力される。また、マルチバンドカメラ１６
は、ＣＣＤカメラを用いており、これによって撮影され
た画像は、そのままデジタル画像データとして画像デー
タ処理装置３０に入力される。
されたフィルム１８の画像は、スキャナ２０によって読
み取られ、デジタル画像データとして画像データ処理装
置３０に入力される。また、マルチバンドカメラ１６
は、ＣＣＤカメラを用いており、これによって撮影され
た画像は、そのままデジタル画像データとして画像デー
タ処理装置３０に入力される。
【００１４】これらのカメラとしては、特に限定される
ものではないが、本実施形態では、銀塩カメラ１４とし
ては、旭光学社製ＰＥＮＴＡＸＺ−５Ｐを使用し、感光
材料としては、富士写真フイルム社製Super G ACE 400
を使用した。また、これを現像処理して得られたフィル
ムを読み取るスキャナ２０としては、富士写真フイルム
社製ＣＥＬＳＩＳ６２００を用いた。これによって得ら
れた画像の画素数は、２７００×２７００であり、また
各画素のチャンネル数はＲ、Ｇ、Ｂの３チャンネルであ
る。
ものではないが、本実施形態では、銀塩カメラ１４とし
ては、旭光学社製ＰＥＮＴＡＸＺ−５Ｐを使用し、感光
材料としては、富士写真フイルム社製Super G ACE 400
を使用した。また、これを現像処理して得られたフィル
ムを読み取るスキャナ２０としては、富士写真フイルム
社製ＣＥＬＳＩＳ６２００を用いた。これによって得ら
れた画像の画素数は、２７００×２７００であり、また
各画素のチャンネル数はＲ、Ｇ、Ｂの３チャンネルであ
る。
【００１５】また、マルチバンドカメラ１６としては、
本実施形態では、富士写真フイルム社製のマルチバンド
カメラでＣＣＤカメラ部、分光フィルタ部及びパーソナ
ルコンピュータから構成されるものを用いた。ＣＣＤカ
メラは、ＤＡＬＳＡ社製ＣＡ−Ｄ４−１０２４Ａ、ＰＣ
Ｉ Ｉ／Ｆであり、このＣＣＤカメラはモノクロで、ピ
クセル数１０２４×１０２４（pixel)、ピクセルサイズ
１２×１２（μ）である。分光フィルタは、ＣＲＩ社製
の液晶チューナブルフィルタ、Varispec Tunable Filte
r ＲＳ２３２Ｃ Ｉ／Ｆであり、これは、波長範囲４０
０〜７２０nm、で中心波長を任意に選択可能であり、波
長半値幅３０nm、透過率６〜６０％（波長に依存）であ
る。また、パーソナルコンピュータは、ＰＲＯＳＩＤＥ
社製のブック型ＰＣ（Windows ９５）Ｃ＋＋であり、Ｃ
ＰＵは１６６ＭＨｚ、ＲＡＭは１２８Ｍbyteである。こ
のようなマルチバンドカメラ１６を用いて、被写体を撮
影し、１６の波長（チャンネル）に関するデータ（デジ
タルデータ）として、画素数１０２４×１０２４、チャ
ンネル数１６のスペクトル画像を得て、このデジタル画
像データを画像データ処理装置３０に入力する。
本実施形態では、富士写真フイルム社製のマルチバンド
カメラでＣＣＤカメラ部、分光フィルタ部及びパーソナ
ルコンピュータから構成されるものを用いた。ＣＣＤカ
メラは、ＤＡＬＳＡ社製ＣＡ−Ｄ４−１０２４Ａ、ＰＣ
Ｉ Ｉ／Ｆであり、このＣＣＤカメラはモノクロで、ピ
クセル数１０２４×１０２４（pixel)、ピクセルサイズ
１２×１２（μ）である。分光フィルタは、ＣＲＩ社製
の液晶チューナブルフィルタ、Varispec Tunable Filte
r ＲＳ２３２Ｃ Ｉ／Ｆであり、これは、波長範囲４０
０〜７２０nm、で中心波長を任意に選択可能であり、波
長半値幅３０nm、透過率６〜６０％（波長に依存）であ
る。また、パーソナルコンピュータは、ＰＲＯＳＩＤＥ
社製のブック型ＰＣ（Windows ９５）Ｃ＋＋であり、Ｃ
ＰＵは１６６ＭＨｚ、ＲＡＭは１２８Ｍbyteである。こ
のようなマルチバンドカメラ１６を用いて、被写体を撮
影し、１６の波長（チャンネル）に関するデータ（デジ
タルデータ）として、画素数１０２４×１０２４、チャ
ンネル数１６のスペクトル画像を得て、このデジタル画
像データを画像データ処理装置３０に入力する。
【００１６】図２に、画像データ処理装置３０の概略構
成を示す。図２に示すように、画像データ処理装置３０
に入力された銀塩画像データおよびマルチバンド画像デ
ータは、それぞれメモリ３１および３２に格納される。
画像データ処理装置３０は、この他、主成分分析手段３
３、係数決定手段３４およびスペクトル情報算出手段３
５を有して構成される。
成を示す。図２に示すように、画像データ処理装置３０
に入力された銀塩画像データおよびマルチバンド画像デ
ータは、それぞれメモリ３１および３２に格納される。
画像データ処理装置３０は、この他、主成分分析手段３
３、係数決定手段３４およびスペクトル情報算出手段３
５を有して構成される。
【００１７】上に述べたように、銀塩画像データは、画
素数２７００×２７００でチャンネル数３のデジタル画
像データであり、また、マルチバンド画像データは、画
素数１０２４×１０２４でチャンネル数１６のデジタル
画像データである。従ってこれらを比較すると、銀塩画
像データは、マルチバンド画像データに対し、多画素数
かつ小チャンネル数の画像であり、マルチバンド画像デ
ータは、銀塩画像データに対し、小画素数かつ多チャン
ネル数の画像であるということができる。
素数２７００×２７００でチャンネル数３のデジタル画
像データであり、また、マルチバンド画像データは、画
素数１０２４×１０２４でチャンネル数１６のデジタル
画像データである。従ってこれらを比較すると、銀塩画
像データは、マルチバンド画像データに対し、多画素数
かつ小チャンネル数の画像であり、マルチバンド画像デ
ータは、銀塩画像データに対し、小画素数かつ多チャン
ネル数の画像であるということができる。
【００１８】本実施形態の画像データ処理装置３０は、
多画素数かつ小チャンネル数の銀塩画像データの着目画
素に対応する、小画素数かつ多チャンネル数のマルチバ
ンド画像中の一点を含む所定領域の画像データに対して
主成分分析を行い、前記銀塩画像データ中の着目画素に
おける露光量と一致するように、前記主成分分析によっ
て得られた主成分ベクトルの線型和を用いて露光量を表
し、このときの線型和の係数を用いて前記着目画素のス
ペクトル情報を算出することにより、多画素数かつ多チ
ャンネル数の画像を作成するものである。
多画素数かつ小チャンネル数の銀塩画像データの着目画
素に対応する、小画素数かつ多チャンネル数のマルチバ
ンド画像中の一点を含む所定領域の画像データに対して
主成分分析を行い、前記銀塩画像データ中の着目画素に
おける露光量と一致するように、前記主成分分析によっ
て得られた主成分ベクトルの線型和を用いて露光量を表
し、このときの線型和の係数を用いて前記着目画素のス
ペクトル情報を算出することにより、多画素数かつ多チ
ャンネル数の画像を作成するものである。
【００１９】主成分分析手段３３は、銀塩画像データ中
のある一点を着目画素として、これに対応するマルチバ
ンド画像データ中の一点について、これを含む所定領域
をとり、この領域内のデータをメモリ３２から取り出し
て、主成分分析を行う。主成分分析によって、第１、第
２、第３主成分ベクトルｖ１、ｖ２、ｖ３を求める。な
お、本実施形態では、マルチバンド画像中における前記
所定領域の大きさは、前記着目画素に対応する一点を中
心に、５０×５０画素とした。この領域は、好適には、
少なくとも主成分分析を行うことができる程度以上の大
きさとし、また第３主成分までの累積寄与率が一定程度
以上となるような大きさまでの範囲とするのがよい。特
に、第３主成分までの累積寄与率が９０％以上となるよ
うな画素数の領域をとると、分光反射率の再現精度が高
くなり、より好ましい。
のある一点を着目画素として、これに対応するマルチバ
ンド画像データ中の一点について、これを含む所定領域
をとり、この領域内のデータをメモリ３２から取り出し
て、主成分分析を行う。主成分分析によって、第１、第
２、第３主成分ベクトルｖ１、ｖ２、ｖ３を求める。な
お、本実施形態では、マルチバンド画像中における前記
所定領域の大きさは、前記着目画素に対応する一点を中
心に、５０×５０画素とした。この領域は、好適には、
少なくとも主成分分析を行うことができる程度以上の大
きさとし、また第３主成分までの累積寄与率が一定程度
以上となるような大きさまでの範囲とするのがよい。特
に、第３主成分までの累積寄与率が９０％以上となるよ
うな画素数の領域をとると、分光反射率の再現精度が高
くなり、より好ましい。
【００２０】次に、係数決定手段３４において、主成分
分析の結果求められた第１、第２、第３主成分ベクトル
ｖ１、ｖ２、ｖ３を用いて、被写体の分光反射率を近似
できるとした場合、次の式（１）〜（３）により、着目
画素の出力値として、感材が受ける露光量ＥR'、ＥG'、
ＥB'を、主成分ベクトルｖ１、ｖ２、ｖ３のα、β、γ
を係数とする線型和を用いて、計算することができる。 ＥR'＝Σ［Ｐ(n)・ＳR(n)・ ｛α・ ｖ1(n)＋β・ ｖ2(n)＋γ・ ｖ3(n)｝] ・・・（１） ＥG'＝Σ［Ｐ(n)・ＳG(n)・ ｛α・ ｖ1(n)＋β・ ｖ2(n)＋γ・ ｖ3(n)｝] ・・・（２） ＥB'＝Σ［Ｐ(n)・ＳB(n)・ ｛α・ ｖ1(n)＋β・ ｖ2(n)＋γ・ ｖ3(n)｝] ・・・（３） ここで、Ｐ(n) は、照明光の分布、ＳR(n)、 ＳG(n)、 Ｓ
B(n)は、それぞれカラーネガフィルムのＲ、Ｇ、Ｂ層の
分光感度を表し、また、和Σは、チャンネル数ｎ＝１〜
１６についてとるものとする。以下、係数α、β、γの
決定方法について説明する。
分析の結果求められた第１、第２、第３主成分ベクトル
ｖ１、ｖ２、ｖ３を用いて、被写体の分光反射率を近似
できるとした場合、次の式（１）〜（３）により、着目
画素の出力値として、感材が受ける露光量ＥR'、ＥG'、
ＥB'を、主成分ベクトルｖ１、ｖ２、ｖ３のα、β、γ
を係数とする線型和を用いて、計算することができる。 ＥR'＝Σ［Ｐ(n)・ＳR(n)・ ｛α・ ｖ1(n)＋β・ ｖ2(n)＋γ・ ｖ3(n)｝] ・・・（１） ＥG'＝Σ［Ｐ(n)・ＳG(n)・ ｛α・ ｖ1(n)＋β・ ｖ2(n)＋γ・ ｖ3(n)｝] ・・・（２） ＥB'＝Σ［Ｐ(n)・ＳB(n)・ ｛α・ ｖ1(n)＋β・ ｖ2(n)＋γ・ ｖ3(n)｝] ・・・（３） ここで、Ｐ(n) は、照明光の分布、ＳR(n)、 ＳG(n)、 Ｓ
B(n)は、それぞれカラーネガフィルムのＲ、Ｇ、Ｂ層の
分光感度を表し、また、和Σは、チャンネル数ｎ＝１〜
１６についてとるものとする。以下、係数α、β、γの
決定方法について説明する。
【００２１】上記式（１）〜（３）において、ａ、〜、
ｉを次の式（４）〜（１２）のようにおくと、式（１）
は、下記の式（１３）のように変形することができる。
なお、和Σはいずれもチャンネル数ｎ＝１〜１６につい
てとるものとする。 ａ＝Σ［Ｐ(n)・ＳR(n)・ ｖ1(n)］ ・・・・・・（４） ｂ＝Σ［Ｐ(n)・ＳR(n)・ ｖ2(n)］ ・・・・・・（５） ｃ＝Σ［Ｐ(n)・ＳR(n)・ ｖ3(n)］ ・・・・・・（６） ｄ＝Σ［Ｐ(n)・ＳG(n)・ ｖ1(n)］ ・・・・・・（７） ｅ＝Σ［Ｐ(n)・ＳG(n)・ ｖ2(n)］ ・・・・・・（８） ｆ＝Σ［Ｐ(n)・ＳG(n)・ ｖ3(n)］ ・・・・・・（９） ｇ＝Σ［Ｐ(n)・ＳB(n)・ ｖ1(n)］ ・・・・・・（１０） ｈ＝Σ［Ｐ(n)・ＳB(n)・ ｖ2(n)］ ・・・・・・（１１） ｉ＝Σ［Ｐ(n)・ＳB(n)・ ｖ3(n)］ ・・・・・・（１２）
ｉを次の式（４）〜（１２）のようにおくと、式（１）
は、下記の式（１３）のように変形することができる。
なお、和Σはいずれもチャンネル数ｎ＝１〜１６につい
てとるものとする。 ａ＝Σ［Ｐ(n)・ＳR(n)・ ｖ1(n)］ ・・・・・・（４） ｂ＝Σ［Ｐ(n)・ＳR(n)・ ｖ2(n)］ ・・・・・・（５） ｃ＝Σ［Ｐ(n)・ＳR(n)・ ｖ3(n)］ ・・・・・・（６） ｄ＝Σ［Ｐ(n)・ＳG(n)・ ｖ1(n)］ ・・・・・・（７） ｅ＝Σ［Ｐ(n)・ＳG(n)・ ｖ2(n)］ ・・・・・・（８） ｆ＝Σ［Ｐ(n)・ＳG(n)・ ｖ3(n)］ ・・・・・・（９） ｇ＝Σ［Ｐ(n)・ＳB(n)・ ｖ1(n)］ ・・・・・・（１０） ｈ＝Σ［Ｐ(n)・ＳB(n)・ ｖ2(n)］ ・・・・・・（１１） ｉ＝Σ［Ｐ(n)・ＳB(n)・ ｖ3(n)］ ・・・・・・（１２）
【００２２】
【数１】
【００２３】従って、上記式（１３）をα、β、γにつ
いて解けば、次の式（１４）が得られる。
いて解けば、次の式（１４）が得られる。
【００２４】
【数２】
【００２５】ここで、メモリ３１に格納されている銀塩
画像データより、着目画素のＲＧＢデジタル信号よりＲ
ＧＢの各層が受けた露光量ＥR 、 ＥG 、ＥB を、予めレ
ーザー露光により求めておいた露光量と発色濃度の関係
を表す３次元ルックアップテーブルを用いて算出する。
この露光量ＥR 、 ＥG 、ＥB を上記式（１４）の露光量
ＥR'、ＥG'、ＥB'に代入することにより、次の式（１
５）のようにして、係数α、β、γを求めることができ
る。
画像データより、着目画素のＲＧＢデジタル信号よりＲ
ＧＢの各層が受けた露光量ＥR 、 ＥG 、ＥB を、予めレ
ーザー露光により求めておいた露光量と発色濃度の関係
を表す３次元ルックアップテーブルを用いて算出する。
この露光量ＥR 、 ＥG 、ＥB を上記式（１４）の露光量
ＥR'、ＥG'、ＥB'に代入することにより、次の式（１
５）のようにして、係数α、β、γを求めることができ
る。
【００２６】
【数３】
【００２７】このようにして、主成分ベクトルの線型和
の係数α、β、γを決定することにより、銀塩画像デー
タ中の着目画素の出力値である露光量を、主成分ベクト
ルで表すことができ、各点の分光反射率を精度よく推定
できる。そこで、スペクトル情報算出手段３５において
は、上で決定された係数α、β、γを用いて、次の式
（１６）により、多画素数かつ小チャンネル数の銀塩画
像データ中の着目画素のスペクトル情報Ｒ（ｎ）を算出
する。 Ｒ（ｎ）＝α・ ｖ1(n)＋β・ ｖ2(n)＋γ・ ｖ3(n) ・・・・・・（１６） ここで、ｎはチャンネル数１〜１６である。このような
操作を銀塩画像データ中の全ての点について行うこと
で、２７００×２７００画素で１６チャンネルの、多画
素数かつ多チャンネル数の画像を得ることができる。
の係数α、β、γを決定することにより、銀塩画像デー
タ中の着目画素の出力値である露光量を、主成分ベクト
ルで表すことができ、各点の分光反射率を精度よく推定
できる。そこで、スペクトル情報算出手段３５において
は、上で決定された係数α、β、γを用いて、次の式
（１６）により、多画素数かつ小チャンネル数の銀塩画
像データ中の着目画素のスペクトル情報Ｒ（ｎ）を算出
する。 Ｒ（ｎ）＝α・ ｖ1(n)＋β・ ｖ2(n)＋γ・ ｖ3(n) ・・・・・・（１６） ここで、ｎはチャンネル数１〜１６である。このような
操作を銀塩画像データ中の全ての点について行うこと
で、２７００×２７００画素で１６チャンネルの、多画
素数かつ多チャンネル数の画像を得ることができる。
【００２８】このようにして得られた多画素数かつ多チ
ャンネル数の画像は、必要に応じてその他の画像処理を
施され、画像出力装置４０から複製画像として出力され
る。また、上記画像データ処理方法を実行するためのプ
ログラムを所定の記録媒体に記録しておけば、さまざま
なシステムにおいて、本実施形態と同じ画像データ処理
を実行することができ、便利である。
ャンネル数の画像は、必要に応じてその他の画像処理を
施され、画像出力装置４０から複製画像として出力され
る。また、上記画像データ処理方法を実行するためのプ
ログラムを所定の記録媒体に記録しておけば、さまざま
なシステムにおいて、本実施形態と同じ画像データ処理
を実行することができ、便利である。
【００２９】このように本実施形態によれば、銀塩カメ
ラと、画素数の少ない、低解像度のマルチバンドカメラ
を組み合わせることにより、従来のような位置合わせを
必要とせずに高精細なスペクトル画像を得ることができ
る。なお、本実施形態では、ＣＣＤカメラを用いたマル
チバンドカメラを使用したが、ＣＣＤカメラに限定され
るものではなく、低解像度のマルチバンドカメラであれ
ばよい。また、多画素数、小画素数、多チャンネル数、
小チャンネル数というのは、相対的なものであり、通常
は、小チャンネルといえば、ＲＧＢの３チャンネルであ
り、それより多ければ多チャンネル数と言える。また、
画素数については、通常１００万画素数程度かそれ以下
が小画素数であり、これより多い、好ましくは、３００
万画素を越えるものが多画素数と言える。
ラと、画素数の少ない、低解像度のマルチバンドカメラ
を組み合わせることにより、従来のような位置合わせを
必要とせずに高精細なスペクトル画像を得ることができ
る。なお、本実施形態では、ＣＣＤカメラを用いたマル
チバンドカメラを使用したが、ＣＣＤカメラに限定され
るものではなく、低解像度のマルチバンドカメラであれ
ばよい。また、多画素数、小画素数、多チャンネル数、
小チャンネル数というのは、相対的なものであり、通常
は、小チャンネルといえば、ＲＧＢの３チャンネルであ
り、それより多ければ多チャンネル数と言える。また、
画素数については、通常１００万画素数程度かそれ以下
が小画素数であり、これより多い、好ましくは、３００
万画素を越えるものが多画素数と言える。
【００３０】以上、本発明の画像データ処理方法及び装
置と該方法を実行するためのプログラムを記録した記録
媒体について詳細に説明したが、本発明は、以上の例に
は限定されず、本発明の要旨を逸脱しない範囲におい
て、各種の改良や変更を行ってもよいのはもちろんであ
る。
置と該方法を実行するためのプログラムを記録した記録
媒体について詳細に説明したが、本発明は、以上の例に
は限定されず、本発明の要旨を逸脱しない範囲におい
て、各種の改良や変更を行ってもよいのはもちろんであ
る。
【００３１】
【発明の効果】以上説明した通り、本発明によれば、多
画素数かつ小チャンネル数の画像データである高精細画
像と小画素数かつ多チャンネル数の画像データである低
解像度の画像を用いて、簡易に多画素数かつ多チャンネ
ル数の高精細なスペクトル画像を得ることができる。
画素数かつ小チャンネル数の画像データである高精細画
像と小画素数かつ多チャンネル数の画像データである低
解像度の画像を用いて、簡易に多画素数かつ多チャンネ
ル数の高精細なスペクトル画像を得ることができる。
【図１】 本発明に係る画像データ処理装置を組み込ん
だ画像再現システムの概略を示すブロック図である。
だ画像再現システムの概略を示すブロック図である。
【図２】 本発明に係る画像データ処理装置の一実施形
態の概略構成を示すブロック図である。
態の概略構成を示すブロック図である。
１ 画像再現システム １０ 撮影対象（被写体） １２ 照明光源 １４ 銀塩カメラ １６ マルチバンドカメラ １８ フィルム ２０ スキャナ ３０ 画像データ処理装置 ３１、３２ メモリ ３３ 主成分分析手段 ３４ 係数決定手段 ３５ スペクトル情報算出手段 ４０ 画像出力装置
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０３Ｂ 17/48 Ｇ０３Ｂ 17/48 19/02 19/02 19/06 19/06 Ｈ０４Ｎ 9/64 Ｈ０４Ｎ 9/64 Ｆ Ｆターム(参考） 2H002 DB02 DB14 DB17 GA00 GA04 HA00 JA00 JA09 2H054 AA01 BB07 CD00 2H104 AA18 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CC02 CE16 CE20 CH08 5C066 AA03 DD06 GA01 JA01 KA12 KE02 KM01 KM11
Claims (5)
- 【請求項１】同一被写体を撮影して得られた、多画素数
かつ小チャンネル数の画像と、小画素数かつ多チャンネ
ル数の画像とを組み合わせて、多画素数かつ多チャンネ
ル数の画像を作成する画像データ処理方法であって、 前記多画素数かつ小チャンネル数の画像中の所定の一点
を着目画素として、該着目画素に対応する前記小画素数
かつ多チャンネル数の画像中の一点を含む所定領域にお
ける画像データに対して、主成分分析を行い、 該主成分分析によって得られた所定数の主成分ベクトル
の線型和を用いて、前記多画素数かつ小チャンネル数の
画像中における前記着目画素の出力値を再現するよう
に、前記線型和の係数を決定し、 これにより前記着目画素のスペクトル情報を求めること
により、多画素数かつ多チャンネル数の画像を作成する
ことを特徴とする画像データ処理方法。 - 【請求項２】前記多画素数かつ小チャンネル数の画像
は、銀塩カメラによって撮影された画像をスキャナによ
り取り込んで得られる画像であり、また前記小画素数か
つ多チャンネル数の画像は、低解像度のマルチバンドカ
メラによって撮影された画像である請求項１に記載の画
像データ処理方法。 - 【請求項３】同一被写体を撮影して得られた、多画素数
かつ小チャンネル数の画像と、小画素数かつ多チャンネ
ル数の画像とを組み合わせて、多画素数かつ多チャンネ
ル数の画像を作成する画像データ処理装置であって、 前記多画素数かつ小チャンネル数の画像中の所定の一点
を着目画素として、該着目画素に対応する前記小画素数
かつ多チャンネル数の画像中の一点を含む所定領域にお
ける画像データに対して、主成分分析を行う手段と、 前記主成分分析によって得られた所定数の主成分ベクト
ルの線型和を用いて、 前記多画素数かつ小チャンネル数の画像中における前記
着目画素の出力値を再現するように、前記線型和の係数
を決定する手段と、 前記決定された係数により前記着目画素のスペクトル情
報を算出する手段と、 を備え、多画素数かつ多チャンネル数の画像を作成する
ことを特徴とする画像データ処理装置。 - 【請求項４】前記多画素数かつ小チャンネル数の画像
は、銀塩カメラによって撮影された画像をスキャナによ
り取り込んで得られる画像であり、また前記小画素数か
つ多チャンネル数の画像は、低解像度のマルチバンドカ
メラによって撮影された画像である請求項３に記載の画
像データ装置。 - 【請求項５】請求項１または２に記載の画像データ処理
方法を実行するためのプログラムを記録したことを特徴
とする記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000352671A JP4259742B2 (ja) | 2000-11-20 | 2000-11-20 | 画像データ処理方法及び装置と該方法を実行するためのプログラムを記録した記録媒体 |
| US09/988,634 US6983070B2 (en) | 2000-11-20 | 2001-11-20 | Method and apparatus for processing image data and a recording medium loaded with a program for executing the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000352671A JP4259742B2 (ja) | 2000-11-20 | 2000-11-20 | 画像データ処理方法及び装置と該方法を実行するためのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002157588A true JP2002157588A (ja) | 2002-05-31 |
| JP4259742B2 JP4259742B2 (ja) | 2009-04-30 |
Family
ID=18825532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000352671A Expired - Fee Related JP4259742B2 (ja) | 2000-11-20 | 2000-11-20 | 画像データ処理方法及び装置と該方法を実行するためのプログラムを記録した記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6983070B2 (ja) |
| JP (1) | JP4259742B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2003103298A1 (ja) * | 2002-05-31 | 2005-10-06 | オリンパス株式会社 | マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法 |
| JP2014038044A (ja) * | 2012-08-17 | 2014-02-27 | Olympus Corp | 分光スペクトル解析方法 |
| US10048210B2 (en) | 2014-02-25 | 2018-08-14 | Olypmus Corporation | Spectroscopic analysis method |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7755676B2 (en) * | 2002-08-30 | 2010-07-13 | Fujifilm Corporation | Multi-band image photographing method and apparatus, and program for executing the method |
| US7978260B2 (en) * | 2003-09-15 | 2011-07-12 | Senshin Capital, Llc | Electronic camera and method with fill flash function |
| JP4420459B2 (ja) * | 2005-06-14 | 2010-02-24 | キヤノン株式会社 | 画像処理装置およびその方法 |
| US8253824B2 (en) * | 2007-10-12 | 2012-08-28 | Microsoft Corporation | Multi-spectral imaging |
| US9373023B2 (en) * | 2012-02-22 | 2016-06-21 | Sri International | Method and apparatus for robustly collecting facial, ocular, and iris images using a single sensor |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000046736A1 (en) * | 1999-02-05 | 2000-08-10 | Yoav Smith | Similarity measurement method for the classification of medical images into predetermined categories |
| US6711291B1 (en) * | 1999-09-17 | 2004-03-23 | Eastman Kodak Company | Method for automatic text placement in digital images |
-
2000
- 2000-11-20 JP JP2000352671A patent/JP4259742B2/ja not_active Expired - Fee Related
-
2001
- 2001-11-20 US US09/988,634 patent/US6983070B2/en not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2003103298A1 (ja) * | 2002-05-31 | 2005-10-06 | オリンパス株式会社 | マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法 |
| JP2014038044A (ja) * | 2012-08-17 | 2014-02-27 | Olympus Corp | 分光スペクトル解析方法 |
| US10048210B2 (en) | 2014-02-25 | 2018-08-14 | Olypmus Corporation | Spectroscopic analysis method |
Also Published As
| Publication number | Publication date |
|---|---|
| US6983070B2 (en) | 2006-01-03 |
| JP4259742B2 (ja) | 2009-04-30 |
| US20020090145A1 (en) | 2002-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7065255B2 (en) | Method and apparatus for enhancing digital images utilizing non-image data | |
| US7825969B2 (en) | Image stabilization using multi-exposure pattern | |
| US8212897B2 (en) | Digital image acquisition system with portrait mode | |
| US8698924B2 (en) | Tone mapping for low-light video frame enhancement | |
| Phillips et al. | Camera image quality benchmarking | |
| Andriani et al. | Beyond the Kodak image set: A new reference set of color image sequences | |
| EP1296510A2 (en) | System and method for correcting defects in captured images | |
| US20140192238A1 (en) | System and Method for Imaging and Image Processing | |
| US20090161982A1 (en) | Restoring images | |
| US20150334283A1 (en) | Tone Mapping For Low-Light Video Frame Enhancement | |
| JPH09181913A (ja) | カメラシステム | |
| US20030052990A1 (en) | Method of eliminating hot spot in digital photograph | |
| US7889275B2 (en) | System and method for continuous flash | |
| JP3907816B2 (ja) | 画像処理方法 | |
| US6940546B2 (en) | Method for compensating a digital image for light falloff while minimizing light balance change | |
| JP2006229868A (ja) | 画像処理装置及び方法、動き検出装置及び方法 | |
| JP4259742B2 (ja) | 画像データ処理方法及び装置と該方法を実行するためのプログラムを記録した記録媒体 | |
| JP4104904B2 (ja) | 画像処理方法および装置並びにプログラム | |
| US20100079582A1 (en) | Method and System for Capturing and Using Automatic Focus Information | |
| JP4829269B2 (ja) | 画像処理システムおよびその方法 | |
| US5572633A (en) | Key-subject alignment method and printer for 3D printing utilizing a video monitor for exposure | |
| US20030112339A1 (en) | Method and system for compositing images with compensation for light falloff | |
| JPH10136298A (ja) | カメラ及びプリンタ | |
| TW201921912A (zh) | 影像處理裝置、影像處理方法及程式記錄媒體 | |
| Smirnov et al. | Magenta Green Screen: Spectrally Multiplexed Alpha Matting with Deep Colorization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050831 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061215 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080725 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090127 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090203 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4259742 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |