JP3920122B2 - Image processing method and apparatus, image processing system, and program - Google Patents
Image processing method and apparatus, image processing system, and program Download PDFInfo
- Publication number
- JP3920122B2 JP3920122B2 JP2002083510A JP2002083510A JP3920122B2 JP 3920122 B2 JP3920122 B2 JP 3920122B2 JP 2002083510 A JP2002083510 A JP 2002083510A JP 2002083510 A JP2002083510 A JP 2002083510A JP 3920122 B2 JP3920122 B2 JP 3920122B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- output device
- image processing
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、複数種類の入力デバイスおよび複数種類の出力デバイスを用いて画像データの出力を行うに際し、画像データに対して画像処理を施して処理済み画像データを得る画像処理方法および装置、画像処理システム並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【0002】
【従来の技術】
スキャナや画像読取装置等の入力デバイスで取り込んだ画像データに、階調調整や鮮鋭度補正(シャープネス)等の所定の画像処理を施し、画像処理を施した画像データをモニタやプリンタ等の出力デバイスにおいて出力して再生画像を得る画像再生システムが各種の用途に用いられている。通常、このような画像再生システムにおいては、画像読取装置等の入力デバイスと、所定の画像処理を施す画像処理装置と、再生画像を出力する出力デバイスとは、互いに1対1で対応している。ところが、近年のコンピュータやワークステーション等の発達により、複数種類の入力デバイスおよび/または出力デバイスに対応するオープンシステム、例えば、画像読取装置で読み取った画像データをワークステーションによって画像処理して、これをプリンタおよびCRT等に出力して画像を再生できるシステムや、一枚の原画像を画像読取装置およびデジタルカメラにより取り込み、得られた画像データをワークステーションにおいて個々に画像処理して再生画像を出力できるシステム等が増加している。
【0003】
このようなオープンシステムにおいては、入力デバイスおよび出力デバイスの種類によらず、同じ原画像を処理した場合には、安定して同じ再生画像が得られることが要求される。しかしながら、入力デバイスや出力デバイスの特性は、通常装置の種類毎に異なるものであり、複数種類の入力デバイスや出力デバイスからなるオープンシステムにおいては、同じ原画像を用いて画像を再生しても、入力デバイスや出力デバイスによって、再生画像の像構造が変わってしまうという問題がある。
【0004】
このため、入力デバイスおよび出力デバイスの組み合わせに応じて、入力デバイスおよび出力デバイスの空間周波数特性を考慮したシャープネス処理を画像データに対して施す画像処理方法が提案されている(特許第3143458号公報)。しかしながら、この画像処理方法では入力デバイスおよび出力デバイスの種類が予め分かっていることを前提としており、入力デバイスおよび出力デバイスの種類が分からない場合には、画像データに対して適切なシャープネス処理を施すことができない。
【0005】
この問題を解決するために、入力デバイスのMTF特性(空間周波数伝達特性)に基づいて、入力デバイスにおいて得られた画像データに対してシャープネス処理を施しておき、その画像データを出力デバイスにおいて出力する際には、出力デバイスのMTF特性に基づいてその画像データに対してシャープネス処理を施すことにより、出力デバイスに応じた鮮鋭度を有する処理済み画像データを得る画像処理方法が本出願人により提案されている(特開平10−51641号公報)。
【0006】
【発明が解決しようとする課題】
しかしながら、出力デバイスにおいて得られる画像の品質は鮮鋭度のみならず、ノイズにも影響される。上記特開平10−51641号公報に記載された方法は、入力デバイスおよび出力デバイスのMTF特性を考慮してシャープネス処理のみを施しているため、入力デバイスにおいて得られる画像データのノイズ特性については考慮されていない。したがって、出力デバイスにおいて得られる処理済み画像データについては、鮮鋭度は適切に修正されているものの、ノイズについては入力デバイスの種類に応じてばらつきがあり、その結果、像構造的に同一品質の処理済み画像を得ることができないという問題があった。
【0007】
本発明は上記事情に鑑みなされたものであり、複数種類の入力デバイスおよび複数種類の出力デバイスを用いて画像データの出力を行うに際し、像構造的に同一品質の処理済み画像を得ることを目的とするものである。
【0008】
【課題を解決するための手段】
本発明による第1の画像処理方法は、複数種類の入力デバイスのうちの一の入力デバイスにおいて取り込んだ画像データに対して所定の画像処理を施して、複数種類の出力デバイスのうちの一の出力デバイスにおいて出力する画像処理方法において、
予め定められた仮想出力デバイスにおいて出力することを想定して、像構造を変換する第1の画像処理を前記画像データに施して、前記仮想出力デバイスに応じた像構造を有する画像を再生可能な仮処理済み画像データを得、
前記仮想出力デバイスの像構造的な出力特性と前記一の出力デバイスの像構造的な出力特性との差異を補正する第2の画像処理を前記仮処理済み画像データに施して処理済み画像データを得、
該処理済み画像データを前記一の出力デバイスにおいて出力することを特徴とするものである。
【0009】
仮処理済み画像データのデータ量の観点から、「仮想出力デバイス」としては、あまりに解像度が低い出力デバイスや小さな出力サイズを想定すると、入力デバイスにおいて得られた画像データに対する仮処理済み画像データのデータ量が少なくなり、情報が欠落してしまう。逆にあまりに解像度が高い出力デバイスや大きな出力サイズを想定すると、再生画像の解像度としては視覚的にそれほど違いがない場合があるにも拘わらず、仮処理済み画像データのデータ量が増加してしまう。このため、本発明における仮想出力デバイスとしては、使用頻度が高い解像度と出力サイズにて画像データを出力する出力デバイスを想定している。具体的には、ポストカードサイズに300から400dpiの解像度でプリント出力を行う出力デバイスを想定しておけば、一般用途のデータ量としては十分である。
【0010】
「像構造を変換する第1の画像処理」とは、画像の鮮鋭度および粒状度を変更する画像処理であり、具体的には画像データにより表される画像におけるエッジやコントラスト等の画像の特性に依存したシャープネス処理およびノイズ除去処理が挙げられる。
【0011】
ここで、仮処理済み画像データは仮想出力デバイスに応じた像構造を有する画像を再生可能なものであることから、実際に画像を出力する一の出力デバイスに応じた像構造を有する画像を再生可能なものではない。このため、「仮想出力デバイスの像構造的な出力特性と出力デバイスの像構造的な出力特性との差異を補正する第2の画像処理」とは、一の出力デバイスにおいてその出力デバイスに応じた像構造を有する画像を再生可能なものとするために、仮想出力デバイスにおいて仮処理済み画像データを再生することにより得られる画像と、出力デバイスにおいて処理済み画像データを再生することにより得られる画像の像構造的な差異がなくなるように、仮処理済み画像データを補正する処理である。
【0012】
具体的には、仮想出力デバイスと出力デバイスとでは得られる画像の鮮鋭度に差がある場合がある。また、仮想出力デバイスと出力デバイスとの解像度が異なる場合には、仮処理済み画像データに対して拡大縮小処理を施す必要があるが、拡大縮小処理を施すと鮮鋭度が劣化する。したがって、「仮想出力デバイスの像構造的な出力特性と出力デバイスの像構造的な出力特性との差異を補正する画像処理」としては、このような鮮鋭度の差、鮮鋭度の劣化および/または解像度の変化に伴う視覚特性の変化を補正する、画像の特性に依存しないシャープネス処理が挙げられる。
【0013】
本発明による第2の画像処理方法は、複数種類の入力デバイスのうちの一の入力デバイスにおいて取り込んだ画像データに対して所定の画像処理を施して、複数種類の出力デバイスのうちの一の出力デバイスにおいて出力するに際し、
予め定められた仮想出力デバイスにおいて出力することを想定した画像処理を前記画像データに施して、前記仮想出力デバイスに応じた像構造を有する画像を再生可能な仮処理済み画像データを得ることを特徴とするものである。
【0014】
本発明による第3の画像処理方法は、本発明による第2の画像処理方法において得られた前記仮処理済み画像データを複数種類の出力デバイスのうちの一の出力デバイスにおいて出力するに際し、
前記仮想出力デバイスの出力特性と前記一の出力デバイスの出力特性との差異を補正する画像処理を前記仮処理済み画像データに施して処理済み画像データを得ることを特徴とするものである。
【0015】
本発明による画像処理システムは、複数種類の入力デバイスのうちの一の入力デバイスにおいて取り込んだ画像データに対して所定の画像処理を施して、複数種類の出力デバイスのうちの一の出力デバイスにおいて出力する画像処理システムにおいて、
予め定められた仮想出力デバイスにおいて出力することを想定して、像構造を変換する第1の画像処理を前記画像データに施して、前記仮想出力デバイスに応じた像構造を有する画像を再生可能な仮処理済み画像データを得る第1の画像処理手段と、
前記仮想出力デバイスの像構造的な出力特性と前記一の出力デバイスの像構造的な出力特性との差異を補正する第2の画像処理を前記仮処理済み画像データに施して処理済み画像データを得る第2の画像処理手段とを備え、
該処理済み画像データを前記一の出力デバイスにおいて出力することを特徴とするものである。
【0016】
本発明による第1の画像処理装置は、複数種類の入力デバイスのうちの一の入力デバイスにおいて取り込んだ画像データに対して所定の画像処理を施して、複数種類の出力デバイスのうちの一の出力デバイスにおいて出力する画像処理システムに用いられる画像処理装置において、
予め定められた仮想出力デバイスにおいて出力することを想定した画像処理を前記画像データに施して、前記仮想出力デバイスに応じた像構造を有する画像を再生可能な仮処理済み画像データを得る画像処理手段を備えたことを特徴とするものである。
【0017】
本発明による第2の画像処理装置は、本発明による第2の画像処理方法において得られた前記仮処理済み画像データを複数種類の出力デバイスのうちの一の出力デバイスにおいて出力する画像処理システムに用いられる画像処理装置において、
前記仮想出力デバイスの出力特性と前記一の出力デバイスの出力特性との差異を補正する画像処理を前記仮処理済み画像データに施して処理済み画像データを得る画像処理手段を備えたことを特徴とするものである。
【0018】
なお、本発明による第1から第3の画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【0019】
【発明の効果】
本発明によれば、予め定められた仮想出力デバイスにおいて出力することを想定して、像構造を変換する画像処理を画像データに対して施しているため、これにより得られる仮処理済み画像データは、仮想出力デバイスに応じた像構造を有するものとなる。このため、入力デバイスの種類が異なっても、仮処理済み画像データは一の仮想出力デバイスにおいて出力することを想定した像構造を有するものとなっているため、仮処理済み画像データを常に像構造的に同一品質の画像を再生可能なものとすることができる。
【0020】
また、仮処理済み画像データを出力デバイスにおいて出力する際には、仮想出力デバイスの像構造的な出力特性と出力デバイスの像構造的な出力特性との差異を補正する画像処理が仮処理済み画像データに施されて処理済み画像データが得られる。このため、出力デバイスの種類に拘わらず、像構造的に同一品質の画像を再生可能な処理済み画像データを得ることができる。また、処理済み画像データを得るには、仮想出力デバイスの像構造的な出力特性と出力デバイスの像構造的な出力特性との差異のみを補正すればよいため、簡易な処理により処理済み画像データを得ることができる。
【0021】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図1は本発明の実施形態による画像処理システムの構成を示す概略ブロック図である。図1に示すように、本実施形態による画像処理システムは、フイルムに記録された画像を読み取る等により画像データS0を取得する複数の入力デバイス11(11a,11b,11c…)と、画像データS0に対して第1の画像処理を施して仮処理済み画像データS1を得る第1の画像処理手段12と、仮処理済み画像データS1をハードディスクや、CD−R、MO、メモリカード等のメディアに記録する記録手段13と、記録手段13から仮処理済み画像データS1を読み出し、読み出された仮処理済み画像データS1に第2の画像処理を施して処理済み画像データS2を得る第2の画像処理手段14と、処理済み画像データS2を出力する複数の出力デバイス15(15a,15b,15c…)とを備える。
【0022】
入力デバイス11としては、原稿が担持する画像や各種の被写体を光電的に読み取って、デジタル画像データとして出力できる公知のデバイスがすべて利用可能であり、例えば、走査露光や面露光によって原稿の反射光や透過光を光電的に読み取るスキャナやフイルムスキャナ、デジタルカメラ、デジタルビデオカメラ等が例示される。
【0023】
出力デバイス15としては、処理済み画像データから可視像あるいは潜像を形成する各種の画像出力媒体すべて利用可能であり、感光体等の感光材料を用いた各種のプリンタ、感熱記録材料を用いるサーマルプリンタ、CRTモニタや液晶モニタ等の各種のモニタ等が例示される。
【0024】
なお、本実施形態においては、入力デバイス11および出力デバイス15は、同じ種類のデバイスを複数(例えば、異なるおよび/または同じ機種のプリンタを複数台等)有するものであってもよく、異なる種類のデバイスを複数種(例えば、画像読取装置とデジタルカメラ等)有するものであってもよく、あるいは両者であってもよい。
【0025】
第1の画像処理手段12は、予め定められた仮想出力デバイスにおいて出力することを想定して、像構造を変換する画像処理を画像データS0に施して、仮想出力デバイスに応じた像構造を有する画像を再生可能な仮処理済み画像データS1を得る。
【0026】
仮処理済み画像データS1のデータ量の観点から、仮想出力デバイスとしては、あまりに解像度が低い出力デバイスや小さな出力サイズを想定すると、入力デバイス11において得られた画像データS0に対して仮処理済み画像データS1のデータ量が少なくなり、情報が欠落してしまう。ところで、ポストカードやLサイズ程度では、300dpiの解像度で画像をプリントしても600dpiの解像度で画像をプリントしても画質の相違はそれほど大きくない。したがって、仮想出力デバイスとしてあまりに解像度が高い出力デバイスや大きな出力サイズを想定すると、画質にそれほど違いがないにも拘わらず、仮処理済み画像データのデータ量が増加してしまう。このため、本実施形態における仮想出力デバイスとしては、使用頻度が高い解像度にて画像データを出力する出力デバイスを想定している。具体的には、ポストカードサイズやLサイズの感光材料に300から400dpiの解像度でプリント出力を行う出力デバイスを想定しておけば、一般用途のデータ量としては十分である。
【0027】
ここで、入力デバイス11がフイルムスキャナである場合、画像データS0を再生することにより得られる画像においては、細かなノイズが多く、そのノイズはフイルム粒状に起因する色ノイズであることが多い。このため、第1の画像処理手段12においては、画像データS0に対して比較的小さなサイズのマスクを用いたノイズ除去処理を施すとともに、仮想出力デバイスの解像度に適した周波数特性を有するものとなるようにシャープネス処理を施して、仮処理済み画像データS1を得る。
【0028】
一方、入力デバイス11がデジタルカメラである場合には、画像データS0はJPEG圧縮されることから、細かなノイズよりは比較的大きなブロックノイズが多い。また、JPEG圧縮の際にYCC変換されることから、輝度を表すY信号にノイズが多く含まれる。このため、第1の画像処理手段12においては、画像データS0をYCC変換して輝度を表すY信号を得、Y信号に対して比較的大きなサイズのマスクを用いたノイズ除去処理を施すとともに、仮想出力デバイスの解像度に応じた周波数特性を有するようにシャープネス処理を施して、仮処理済み画像データS1を得る。
【0029】
なお、ノイズ除去処理としては、画像データS0により表される画像上の各画素について、マスクサイズに対応したエッジ検出フィルタによりエッジらしさを判定し、エッジらしいと判定された画素に対してはスムージングの程度を弱くし、それ以外の画素についてはスムージングの程度を大きくする処理が挙げられる。
【0030】
また、下記の式(1)によりシャープネス処理を行う場合には、エッジらしいと判定された画素に対しては強調度βの値を大きくし、それ以外の画素については強調度βの値を小さくして、シャープネス処理とノイズ除去処理とを同時に行ってもよい。
Sproc=Sorg+β×(Sorg−Sus) (1)
但し、Sproc:処理済み画像データ
Sorg:元の画像データ
Sus:ボケ画像データ
β:強調度
【0031】
なお、式(1)において、ボケ画像データSusは、画像データSorgに対してボケマスクを用いたフィルタリング処理を施すことにより得られる。また、ボケマスクのサイズは、仮想出力デバイスの解像度に応じたものが用いられる。
【0032】
また、上記式(1)によりシャープネス処理を行う場合には、各画素のコントラスト(すなわち(Sorg−Sus))を算出し、コントラストの大きさに応じてスムージングの程度を変更してノイズ除去処理を行ってもよい。ここで、コントラストが大きい場合にはその画素はエッジを表し、コントラストが小さい場合には濃度変化が少なくノイズが多い平坦部を表すものである。したがって、この場合には、コントラストが大きい画素に対してはスムージングの程度を弱くし、それ以外の画素についてはスムージングの程度を大きくするノイズ除去処理を行えばよい。
【0033】
このように第1の画像処理手段において画像データS0に対して入力デバイス特有の像構造を修正する画像処理を施すことにより、入力デバイス11の種類に拘わらず、略同一の像構造を有する画像を再生可能な仮処理済み画像データS1を得ることができる。
【0034】
第2の画像処理手段14は、仮想出力デバイスの像構造的な出力特性と実際の画像を出力する出力デバイス15の像構造的な出力特性との差異を補正する画像処理を仮処理済み画像データS1に施して処理済み画像データS2を得るものである。
【0035】
ここで、仮処理済み画像データS1は仮想出力デバイスに応じた像構造を有する画像を再生可能なものであることから、実際に画像を出力する出力デバイス15に応じた像構造を有する画像を再生可能なものではない。このため、第2の画像処理手段14においては、出力デバイスに応じた像構造を有する画像を再生可能なものとするために、仮想出力デバイスにおいて仮処理済み画像データS1を再生することにより得られる画像と、出力デバイス15において処理済み画像データS2を再生することにより得られる画像との像構造的な差異がなくなるように、仮処理済み画像データS1を補正する処理が行われる。
【0036】
具体的には、仮想出力デバイスおよび出力デバイス15の解像度が異なる場合には、仮処理済み画像データS1に対して拡大縮小処理を施す必要があるが、拡大縮小処理を施すと鮮鋭度が劣化する。したがって、劣化した鮮鋭度を仮処理済み画像データS1と同様のものとなるように、仮処理済み画像データS1に対してシャープネス処理を施す。あるいは仮想出力デバイスと出力デバイス15との解像度の差に起因する鮮鋭度を補正するためのシャープネス処理を施す。
【0037】
次いで、本実施形態の動作について説明する。図2は本実施形態の動作を示すフローチャートである。まず、入力デバイス11において画像データS0が取得され(ステップS1)、第1の画像処理手段12において、予め定められた一の仮想出力デバイスにおいて出力することを想定して、像構造を変換する第1の画像処理が画像データS0に施されて、仮処理済み画像データS1が得られる(ステップS2)。仮処理済み画像データS1は記録手段13においてメディアに記録される(ステップS3)。
【0038】
続いて、記録手段13においてメディアから仮処理済み画像データS1が読み出され(ステップS4)、第2の画像処理手段14において、仮想出力デバイスの像構造的な出力特性と実際の画像を出力する出力デバイス15の像構造的な出力特性との差異を補正する第2の画像処理が仮処理済み画像データS1に対して施されて、処理済み画像データS2が取得される(ステップS5)。処理済み画像データS2は出力デバイス15において出力され(ステップS6)、処理を終了する。
【0039】
このように、本実施形態によれば、予め定められた仮想出力デバイスにおいて出力することを想定して、像構造を変換する第1の画像処理を画像データS0に対して施しているため、これにより得られる仮処理済み画像データS1は、仮想出力デバイスに応じた像構造を有するものとなる。このため、入力デバイス11の種類が異なっても、仮処理済み画像データS1は一の仮想出力デバイスにおいて出力することを想定した像構造を有するものとなっているため、仮処理済み画像データS1を像構造的に常に同一品質の画像を再生可能なものとすることができる。
【0040】
また、仮処理済み画像データS1を出力デバイス15において出力する際には、仮想出力デバイスの像構造的な出力特性と出力デバイス15の像構造的な出力特性との差異を補正する処理が仮処理済み画像データS1に施されて処理済み画像データS2が得られる。このため、出力デバイス15の種類に拘わらず、像構造的に同一品質の画像を再生可能な処理済み画像データS2を得ることができる。
【0041】
また、処理済み画像データS1を得るには、仮想出力デバイスの像構造的な出力特性と出力デバイスの像構造的な出力特性との差異のみを補正すればよいため、簡易な処理により処理済み画像データS2を得ることができる。
【0042】
なお、上記実施形態においては、一の画像処理システムに本発明を適用した場合について説明しているが、入力デバイス11、第1の画像処理手段12および記録手段13からなる第1の画像処理システムと、第2の画像処理手段14および出力デバイス15からなる第2の画像処理システムとの、2つのシステムに分割して構成してもよい。この場合、第1の画像処理システムを、さらに入力デバイス11と、第1の画像処理手段12および記録手段13とからなるシステムに分割して構成してもよい。
【0043】
また、上記実施形態においては、300から400dpiの解像度にてプリント出力を行う出力デバイスを想定しているが、仮処理済み画像データS1はモニタ等において表示されることが多い。このため、仮想出力デバイスとして所定解像度のモニタを想定し、これに適したノイズ除去処理やシャープネス処理を画像データS0に対して施して、仮処理済み画像データS1を得るようにしてもよい。
【図面の簡単な説明】
【図1】本発明の実施形態による画像処理システムの構成を示す概略ブロック図
【図2】本発明の実施形態の動作を示すフローチャート
【符号の説明】
11 入力デバイス
12 第1の画像処理手段
13 記録手段
14 第2の画像処理手段
15 出力デバイス[0001]
BACKGROUND OF THE INVENTION
The present invention provides an image processing method and apparatus for performing image processing on image data to obtain processed image data when outputting image data using a plurality of types of input devices and a plurality of types of output devices, and image processing The present invention relates to a program for causing a computer to execute a system and an image processing method.
[0002]
[Prior art]
Predetermined image processing such as gradation adjustment and sharpness correction (sharpness) is performed on image data captured by an input device such as a scanner or image reading device, and the image data subjected to image processing is output to a monitor or printer. An image reproduction system for outputting a reproduction image by outputting the image is used for various purposes. Usually, in such an image reproduction system, an input device such as an image reading apparatus, an image processing apparatus that performs predetermined image processing, and an output device that outputs a reproduction image correspond to each other on a one-to-one basis. . However, with the recent development of computers, workstations, etc., an open system corresponding to a plurality of types of input devices and / or output devices, for example, image data read by an image reading apparatus is subjected to image processing by a workstation, and this is processed. A system that can output images to a printer, CRT, etc., and reproduce images, or a single original image can be captured by an image reader and digital camera, and the resulting image data can be individually processed at a workstation to output a reproduced image Systems etc. are increasing.
[0003]
In such an open system, it is required that the same reproduced image can be stably obtained when the same original image is processed regardless of the types of the input device and the output device. However, the characteristics of the input device and output device are usually different for each type of device, and in an open system consisting of multiple types of input devices and output devices, even if an image is reproduced using the same original image, There is a problem that the image structure of the reproduced image changes depending on the input device or the output device.
[0004]
For this reason, an image processing method has been proposed in which sharpness processing is performed on image data in consideration of the spatial frequency characteristics of the input device and the output device in accordance with the combination of the input device and the output device (Japanese Patent No. 3143458). . However, this image processing method assumes that the types of the input device and the output device are known in advance, and when the types of the input device and the output device are not known, appropriate sharpness processing is performed on the image data. I can't.
[0005]
In order to solve this problem, image data obtained by the input device is subjected to sharpness processing based on the MTF characteristic (spatial frequency transfer characteristic) of the input device, and the image data is output by the output device. In this case, the applicant has proposed an image processing method for obtaining processed image data having sharpness corresponding to the output device by performing sharpness processing on the image data based on the MTF characteristics of the output device. (JP-A-10-51641).
[0006]
[Problems to be solved by the invention]
However, the quality of the image obtained in the output device is influenced not only by the sharpness but also by the noise. In the method described in Japanese Patent Laid-Open No. 10-51641, only the sharpness processing is performed in consideration of the MTF characteristics of the input device and the output device. Therefore, the noise characteristics of the image data obtained in the input device are considered. Not. Therefore, although the sharpness of the processed image data obtained in the output device is appropriately corrected, the noise varies depending on the type of the input device, and as a result, the image structure is processed with the same quality. There was a problem that a finished image could not be obtained.
[0007]
The present invention has been made in view of the above circumstances, and an object of the present invention is to obtain a processed image having the same quality in terms of image structure when outputting image data using a plurality of types of input devices and a plurality of types of output devices. It is what.
[0008]
[Means for Solving the Problems]
A first image processing method according to the present invention performs predetermined image processing on image data captured by one input device of a plurality of types of input devices, and outputs one of the plurality of types of output devices. In an image processing method for output in a device,
Assuming output in a predetermined virtual output device, it is possible to reproduce the image having the image structure corresponding to the virtual output device by subjecting the image data to first image processing for converting the image structure. Get pre-processed image data
A second image processing for correcting a difference between an image structural output characteristic of the virtual output device and an image structural output characteristic of the one output device is performed on the temporarily processed image data, thereby processing the processed image data. Get
The processed image data is output from the one output device.
[0009]
From the viewpoint of the amount of provisionally processed image data, assuming that an output device with a too low resolution or a small output size is assumed as the “virtual output device”, the data of the provisionally processed image data for the image data obtained at the input device The amount is reduced and information is lost. Conversely, assuming an output device with a very high resolution or a large output size, the amount of temporarily processed image data will increase even though the resolution of the reproduced image may not be visually different. . For this reason, the virtual output device in the present invention is assumed to be an output device that outputs image data with a resolution and an output size that are frequently used. Specifically, assuming an output device that performs print output at a resolution of 300 to 400 dpi as the postcard size, the data amount for general use is sufficient.
[0010]
The “first image processing for converting the image structure” is image processing for changing the sharpness and granularity of an image, and specifically, image characteristics such as edges and contrast in an image represented by image data. And sharpness processing and noise removal processing depending on.
[0011]
Here, since the temporarily processed image data can reproduce an image having an image structure corresponding to the virtual output device, an image having an image structure corresponding to one output device that actually outputs the image is reproduced. It is not possible. For this reason, the “second image processing for correcting the difference between the image structure output characteristics of the virtual output device and the image structure output characteristics of the output device” corresponds to the output device in one output device. In order to be able to reproduce an image having an image structure, an image obtained by reproducing the temporarily processed image data in the virtual output device and an image obtained by reproducing the processed image data in the output device This is a process of correcting the provisionally processed image data so that there is no difference in image structure.
[0012]
Specifically, there may be a difference in the sharpness of images obtained between the virtual output device and the output device. Further, when the resolutions of the virtual output device and the output device are different, it is necessary to perform enlargement / reduction processing on the temporarily processed image data. However, when the enlargement / reduction processing is performed, the sharpness deteriorates. Therefore, as "image processing for correcting the difference between the image structure output characteristics of the virtual output device and the image structure output characteristics of the output device", such a difference in sharpness, deterioration in sharpness and / or A sharpness process that does not depend on the characteristics of an image and corrects a change in visual characteristics accompanying a change in resolution can be given.
[0013]
According to a second image processing method of the present invention, predetermined image processing is performed on image data captured by one input device of a plurality of types of input devices, and one output of the plurality of types of output devices is output. When outputting on the device,
Image processing that is assumed to be output in a predetermined virtual output device is performed on the image data to obtain provisionally processed image data that can reproduce an image having an image structure corresponding to the virtual output device. It is what.
[0014]
When the third image processing method according to the present invention outputs the provisionally processed image data obtained by the second image processing method according to the present invention in one output device among a plurality of types of output devices,
Image processing for correcting a difference between an output characteristic of the virtual output device and an output characteristic of the one output device is performed on the temporarily processed image data to obtain processed image data.
[0015]
An image processing system according to the present invention performs predetermined image processing on image data captured by one input device of a plurality of types of input devices, and outputs the image data from one of the plurality of types of output devices. In the image processing system to
Assuming output in a predetermined virtual output device, it is possible to reproduce the image having the image structure corresponding to the virtual output device by subjecting the image data to first image processing for converting the image structure. First image processing means for obtaining provisionally processed image data;
A second image processing for correcting a difference between an image structural output characteristic of the virtual output device and an image structural output characteristic of the one output device is performed on the temporarily processed image data, thereby processing the processed image data. Second image processing means to obtain,
The processed image data is output from the one output device.
[0016]
A first image processing apparatus according to the present invention performs predetermined image processing on image data captured by one input device of a plurality of types of input devices, and outputs one of the plurality of types of output devices. In an image processing apparatus used in an image processing system that outputs in a device,
Image processing means for obtaining provisionally processed image data capable of reproducing an image having an image structure corresponding to the virtual output device by performing image processing on the image data assuming output in a predetermined virtual output device It is characterized by comprising.
[0017]
A second image processing apparatus according to the present invention is an image processing system that outputs the provisionally processed image data obtained by the second image processing method according to the present invention at one output device among a plurality of types of output devices. In the image processing apparatus used,
And image processing means for obtaining processed image data by performing image processing for correcting a difference between an output characteristic of the virtual output device and an output characteristic of the one output device on the temporarily processed image data. To do.
[0018]
The first to third image processing methods according to the present invention may be provided as a program for causing a computer to execute.
[0019]
【The invention's effect】
According to the present invention, since image processing for converting the image structure is performed on the image data on the assumption that the image is output in a predetermined virtual output device, the temporarily processed image data obtained thereby is And an image structure corresponding to the virtual output device. For this reason, even if the types of input devices are different, the provisionally processed image data has an image structure that is assumed to be output from one virtual output device. Thus, it is possible to reproduce images of the same quality.
[0020]
In addition, when the temporarily processed image data is output from the output device, the image processing for correcting the difference between the image structure output characteristics of the virtual output device and the image structure output characteristics of the output device is the temporarily processed image. The processed image data is obtained by applying to the data. For this reason, processed image data capable of reproducing an image having the same image quality can be obtained regardless of the type of output device. Moreover, in order to obtain processed image data, it is only necessary to correct the difference between the image structural output characteristics of the virtual output device and the image structural output characteristics of the output device. Can be obtained.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a schematic block diagram showing the configuration of an image processing system according to an embodiment of the present invention. As shown in FIG. 1, the image processing system according to the present embodiment includes a plurality of input devices 11 (11a, 11b, 11c...) That acquire image data S0 by reading an image recorded on a film, and the image data S0. The first image processing means 12 that obtains provisionally processed image data S1 by performing first image processing on the image and the provisionally processed image data S1 on a medium such as a hard disk, CD-R, MO, or memory card The
[0022]
As the input device 11, any known device that can photoelectrically read an image carried on a document or various subjects and output it as digital image data can be used. For example, reflected light from a document by scanning exposure or surface exposure can be used. And a scanner, a film scanner, a digital camera, a digital video camera, and the like that photoelectrically read transmitted light.
[0023]
As the
[0024]
In the present embodiment, the input device 11 and the
[0025]
The first
[0026]
From the viewpoint of the data amount of the temporarily processed image data S1, assuming that an output device having a too low resolution or a small output size is assumed as the virtual output device, the temporarily processed image is obtained with respect to the image data S0 obtained in the input device 11. The data amount of the data S1 decreases and information is lost. By the way, in the case of a postcard or an L size, the difference in image quality is not so great whether an image is printed at a resolution of 300 dpi or an image is printed at a resolution of 600 dpi. Therefore, assuming an output device with a very high resolution or a large output size as a virtual output device, the amount of temporarily processed image data increases even though there is not much difference in image quality. For this reason, the virtual output device in the present embodiment is assumed to be an output device that outputs image data with a resolution that is frequently used. Specifically, assuming an output device that performs print output at a resolution of 300 to 400 dpi on a postcard size or L size photosensitive material, the data amount for general use is sufficient.
[0027]
Here, when the input device 11 is a film scanner, an image obtained by reproducing the image data S0 has a lot of fine noise, and the noise is often color noise caused by film grain. For this reason, the first image processing means 12 performs noise removal processing using a mask having a relatively small size on the image data S0 and has frequency characteristics suitable for the resolution of the virtual output device. In this way, the sharpness process is performed to obtain provisionally processed image data S1.
[0028]
On the other hand, when the input device 11 is a digital camera, the image data S0 is JPEG-compressed, and therefore there is a relatively large block noise rather than fine noise. Further, since YCC conversion is performed during JPEG compression, a lot of noise is included in the Y signal representing luminance. For this reason, the first image processing means 12 obtains a Y signal representing luminance by performing YCC conversion on the image data S0, and performs noise removal processing using a relatively large size mask on the Y signal. Sharpness processing is performed so as to have a frequency characteristic corresponding to the resolution of the virtual output device, and provisionally processed image data S1 is obtained.
[0029]
As noise removal processing, the edge-likeness of each pixel on the image represented by the image data S0 is determined by an edge detection filter corresponding to the mask size, and smoothing is performed on pixels that are determined to be edges. For example, a process of reducing the degree and increasing the degree of smoothing for other pixels can be given.
[0030]
In addition, when sharpness processing is performed according to the following equation (1), the enhancement degree β is increased for pixels determined to be edges, and the enhancement degree β is decreased for other pixels. Then, the sharpness process and the noise removal process may be performed simultaneously.
Sproc = Sorg + β × (Sorg−Sus) (1)
However, Sproc: processed image data Sorg: original image data Sus: blurred image data β: enhancement degree
In Expression (1), the blurred image data Sus is obtained by performing a filtering process using a blur mask on the image data Sorg. Also, the size of the blur mask is used according to the resolution of the virtual output device.
[0032]
In addition, when sharpness processing is performed according to the above formula (1), the contrast of each pixel (that is, (Sorg-Sus)) is calculated, and the degree of smoothing is changed according to the magnitude of contrast to perform noise removal processing. You may go. Here, when the contrast is high, the pixel represents an edge, and when the contrast is low, the pixel represents a flat portion with little change in density and a lot of noise. Therefore, in this case, it is sufficient to perform a noise removal process that weakens the degree of smoothing for pixels with high contrast and increases the degree of smoothing for other pixels.
[0033]
In this way, by performing image processing for correcting the image structure peculiar to the input device on the image data S0 in the first image processing means, images having substantially the same image structure are obtained regardless of the type of the input device 11. Reproducible provisionally processed image data S1 can be obtained.
[0034]
The second image processing means 14 performs provisionally processed image data for image processing for correcting the difference between the image structural output characteristics of the virtual output device and the image structural output characteristics of the
[0035]
Here, since the temporarily processed image data S1 can reproduce an image having an image structure corresponding to the virtual output device, an image having an image structure corresponding to the
[0036]
Specifically, when the resolutions of the virtual output device and the
[0037]
Next, the operation of this embodiment will be described. FIG. 2 is a flowchart showing the operation of this embodiment. First, image data S0 is acquired by the input device 11 (step S1), and the first
[0038]
Subsequently, the temporarily processed image data S1 is read from the medium in the recording unit 13 (step S4), and the second
[0039]
As described above, according to the present embodiment, the first image processing for converting the image structure is performed on the image data S0 on the assumption that the image is output from a predetermined virtual output device. The provisionally processed image data S1 obtained by the above has an image structure corresponding to the virtual output device. For this reason, even if the type of the input device 11 is different, the provisionally processed image data S1 has an image structure that is assumed to be output from one virtual output device. An image with the same image quality can always be reproduced.
[0040]
Further, when the provisionally processed image data S1 is output by the
[0041]
Further, in order to obtain the processed image data S1, it is only necessary to correct the difference between the image structural output characteristics of the virtual output device and the image structural output characteristics of the output device. Data S2 can be obtained.
[0042]
In the above embodiment, the case where the present invention is applied to one image processing system has been described. However, the first image processing system including the input device 11, the first image processing means 12, and the recording means 13 is described. And a second image processing system including the second image processing means 14 and the
[0043]
In the above embodiment, an output device that performs print output at a resolution of 300 to 400 dpi is assumed, but the provisionally processed image data S1 is often displayed on a monitor or the like. For this reason, a monitor with a predetermined resolution is assumed as a virtual output device, and noise removal processing and sharpness processing suitable for this may be performed on the image data S0 to obtain provisionally processed image data S1.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing the configuration of an image processing system according to an embodiment of the present invention. FIG. 2 is a flowchart showing the operation of the embodiment of the present invention.
11
Claims (9)
前記画像データにより表される画像の解像度および用途に応じて予め定められた仮想出力デバイスにおいて出力することを想定して、鮮鋭度および粒状度を変換する第1の画像処理を前記画像データに施して、前記仮想出力デバイスに応じた鮮鋭度および粒状度を有する画像を再生可能な仮処理済み画像データを得、
前記仮想出力デバイスの鮮鋭度および粒状度についての出力特性と前記一の出力デバイスの鮮鋭度および粒状度についての出力特性との差異を補正する第2の画像処理を前記仮処理済み画像データに施して処理済み画像データを得、
該処理済み画像データを前記一の出力デバイスにおいて出力することを特徴とする画像処理方法。In an image processing method for performing predetermined image processing on image data captured by one input device of a plurality of types of input devices and outputting the image data by one output device of the plurality of types of output devices,
The image data is subjected to first image processing for converting sharpness and granularity on the assumption that the image is output by a virtual output device determined in advance according to the resolution and use of the image represented by the image data. Obtaining provisionally processed image data capable of reproducing an image having sharpness and granularity according to the virtual output device,
A second image processing for correcting a difference between the output characteristics for the sharpness and granularity of the virtual output device and the output characteristics for the sharpness and granularity of the one output device is performed on the temporarily processed image data. To obtain processed image data,
An image processing method, wherein the processed image data is output from the one output device.
前記画像データにより表される画像の解像度および用途に応じて予め定められた仮想出力デバイスにおいて出力することを想定して、鮮鋭度および粒状度を変換する画像処理を前記画像データに施して、前記仮想出力デバイスに応じた鮮鋭度および粒状度を有する画像を再生可能な仮処理済み画像データを得ることを特徴とする画像処理方法。When predetermined image processing is performed on image data captured by one input device of a plurality of types of input devices and output by one output device of the plurality of types of output devices,
Assuming that the image data represented by the image data is output in a virtual output device determined in advance according to the resolution and use of the image data, the image data is subjected to image processing for converting sharpness and granularity , An image processing method characterized in that provisionally processed image data capable of reproducing an image having sharpness and granularity according to a virtual output device is obtained.
前記仮想出力デバイスの鮮鋭度および粒状度についての出力特性と前記一の出力デバイスの鮮鋭度および粒状度についての出力特性との差異を補正する画像処理を前記仮処理済み画像データに施して処理済み画像データを得ることを特徴とする画像処理方法。When outputting the temporarily processed image data obtained in the image processing method according to claim 2 in one output device of a plurality of types of output devices,
Image processing for correcting the difference between the output characteristics for the sharpness and granularity of the virtual output device and the output characteristics for the sharpness and granularity of the one output device is applied to the temporarily processed image data and processed. An image processing method characterized by obtaining image data.
前記画像データにより表される画像の解像度および用途に応じて予め定められた仮想出力デバイスにおいて出力することを想定して、鮮鋭度および粒状度を変換する第1の画像処理を前記画像データに施して、前記仮想出力デバイスに応じた鮮鋭度および粒状度を有する画像を再生可能な仮処理済み画像データを得る第1の画像処理手段と、
前記仮想出力デバイスの鮮鋭度および粒状度についての出力特性と前記一の出力デバイスの鮮鋭度および粒状度についての出力特性との差異を補正する第2の画像処理を前記仮処理済み画像データに施して処理済み画像データを得る第2の画像処理手段とを備え、
該処理済み画像データを前記一の出力デバイスにおいて出力することを特徴とする画像処理システム。In an image processing system that performs predetermined image processing on image data captured in one input device of a plurality of types of input devices and outputs the image data in one output device of the plurality of types of output devices,
The image data is subjected to first image processing for converting sharpness and granularity on the assumption that the image is output by a virtual output device determined in advance according to the resolution and use of the image represented by the image data. First image processing means for obtaining provisionally processed image data capable of reproducing an image having sharpness and granularity according to the virtual output device;
A second image processing for correcting a difference between the output characteristics for the sharpness and granularity of the virtual output device and the output characteristics for the sharpness and granularity of the one output device is performed on the temporarily processed image data. And second image processing means for obtaining processed image data.
An image processing system, wherein the processed image data is output from the one output device.
前記画像データにより表される画像の解像度および用途に応じて予め定められた仮想出力デバイスにおいて出力することを想定して、鮮鋭度および粒状度を変換する画像処理を前記画像データに施して、前記仮想出力デバイスに応じた鮮鋭度および粒状度を有する画像を再生可能な仮処理済み画像データを得る画像処理手段を備えたことを特徴とする画像処理装置。An image used in an image processing system that performs predetermined image processing on image data captured by one input device of a plurality of types of input devices and outputs the image data from one of the plurality of types of output devices. In the processing device,
Assuming that the image data represented by the image data is output in a virtual output device determined in advance according to the resolution and use of the image data, the image data is subjected to image processing for converting sharpness and granularity , An image processing apparatus comprising image processing means for obtaining provisionally processed image data capable of reproducing an image having sharpness and granularity according to a virtual output device.
前記仮想出力デバイスの鮮鋭度および粒状度についての出力特性と前記一の出力デバイスの鮮鋭度および粒状度についての出力特性との差異を補正する画像処理を前記仮処理済み画像データに施して処理済み画像データを得る画像処理手段を備えたことを特徴とする画像処理装置。In the image processing apparatus used for the image processing system which outputs the said provisionally processed image data obtained in the image processing apparatus of Claim 5 in one output device of multiple types of output devices,
Image processing for correcting the difference between the output characteristics for the sharpness and granularity of the virtual output device and the output characteristics for the sharpness and granularity of the one output device is applied to the temporarily processed image data and processed. An image processing apparatus comprising image processing means for obtaining image data.
前記画像データにより表される画像の解像度および用途に応じて予め定められた仮想出力デバイスにおいて出力することを想定して、鮮鋭度および粒状度を変換する第1の画像処理を前記画像データに施して、前記仮想出力デバイスに応じた鮮鋭度および粒状度を有する画像を再生可能な仮処理済み画像データを得る手順と、
前記仮想出力デバイスの鮮鋭度および粒状度についての出力特性と前記一の出力デバイスの鮮鋭度および粒状度についての出力特性との差異を補正する第2の画像処理を前記仮処理済み画像データに施して処理済み画像データを得る手順と、
該処理済み画像データを前記一の出力デバイスにおいて出力する手順とを有するプログラム。An image processing method for executing predetermined image processing on image data captured by one input device of a plurality of types of input devices and outputting to one of the plurality of output devices is executed on a computer In the program to let
The image data is subjected to first image processing for converting sharpness and granularity on the assumption that the image is represented by a virtual output device determined in advance according to the resolution and use of the image represented by the image data. Obtaining provisionally processed image data capable of reproducing an image having sharpness and granularity according to the virtual output device;
A second image processing for correcting a difference between the output characteristics for the sharpness and granularity of the virtual output device and the output characteristics for the sharpness and granularity of the one output device is performed on the temporarily processed image data. To obtain processed image data,
A program for outputting the processed image data in the one output device.
前記画像データにより表される画像の解像度および用途に応じて予め定められた仮想出力デバイスにおいて出力することを想定して、鮮鋭度および粒状度を変換する画像処理を前記画像データに施して、前記仮想出力デバイスに応じた鮮鋭度および粒状度を有する画像を再生可能な仮処理済み画像データを得る手順を有する画像処理方法をコンピュータに実行させるためのプログラム。When predetermined image processing is performed on image data captured by one input device of a plurality of types of input devices and output by one output device of the plurality of types of output devices,
Assuming that the image data represented by the image data is output in a virtual output device determined in advance according to the resolution and use of the image data, the image data is subjected to image processing for converting sharpness and granularity , A program for causing a computer to execute an image processing method including a procedure for obtaining provisionally processed image data capable of reproducing an image having sharpness and granularity according to a virtual output device.
前記仮想出力デバイスの鮮鋭度および粒状度についての出力特性と前記一の出力デバイスの鮮鋭度および粒状度についての出力特性との差異を補正する画像処理を前記仮処理済み画像データに施して処理済み画像データを得る手順を有する画像処理方法をコンピュータに実行させるためのプログラム。When outputting the temporarily processed image data obtained in the image processing method according to claim 2 in one output device of a plurality of types of output devices,
Image processing for correcting the difference between the output characteristics for the sharpness and granularity of the virtual output device and the output characteristics for the sharpness and granularity of the one output device is applied to the temporarily processed image data and processed. A program for causing a computer to execute an image processing method having a procedure for obtaining image data.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002083510A JP3920122B2 (en) | 2002-03-25 | 2002-03-25 | Image processing method and apparatus, image processing system, and program |
US10/395,201 US20030231321A1 (en) | 2002-03-25 | 2003-03-25 | Method of and system for image processing, method of and apparatus for image generation, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002083510A JP3920122B2 (en) | 2002-03-25 | 2002-03-25 | Image processing method and apparatus, image processing system, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003283823A JP2003283823A (en) | 2003-10-03 |
JP3920122B2 true JP3920122B2 (en) | 2007-05-30 |
Family
ID=29231260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002083510A Expired - Fee Related JP3920122B2 (en) | 2002-03-25 | 2002-03-25 | Image processing method and apparatus, image processing system, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3920122B2 (en) |
-
2002
- 2002-03-25 JP JP2002083510A patent/JP3920122B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003283823A (en) | 2003-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4037095B2 (en) | Adaptive filtering method and apparatus for descreening scanned halftone images | |
JP2000115539A (en) | Method and device for processing image and recording medium | |
US8451506B2 (en) | Image processing apparatus, control method and storage medium | |
JP5157678B2 (en) | Photo image processing method, photo image processing program, and photo image processing apparatus | |
US7548656B2 (en) | Method and apparatus for processing image signals by applying a multi-resolution conversion processing for reducing the image size and applying a dyadic wavelet transform | |
US20050141778A1 (en) | Image processing method, image processing apparatus and image processing program | |
JPH10126725A (en) | Photographic print system | |
JP4366634B2 (en) | Noise pixel map creation method, apparatus and program for implementing the method, and photo print apparatus | |
JP2010068361A (en) | Photographic image processing method, photographic image processing program, and photographic image processor | |
JP3920122B2 (en) | Image processing method and apparatus, image processing system, and program | |
JP5157760B2 (en) | Photo image processing method, photo image processing program, and photo image processing apparatus | |
JP2000092337A (en) | Image processing method, its device and recording medium | |
US20040213477A1 (en) | Image-processing method and apparatus, computer program for executing image processing and image-recording apparatus | |
JP4099366B2 (en) | Image processing apparatus, image reading apparatus, image forming apparatus, and image processing method | |
JP4337386B2 (en) | Image processing method, image processing apparatus, image processing program, and image recording apparatus | |
US20030231321A1 (en) | Method of and system for image processing, method of and apparatus for image generation, and computer program | |
JP4223223B2 (en) | Image processing method, apparatus, and program | |
JP2004253909A (en) | Image processing method | |
JP2006011754A (en) | Image processing device and image processing method | |
JP2004240955A (en) | Image processing method, image processing device, image processing program, and image recording device | |
JP3865651B2 (en) | Color image processing method, color image processing apparatus, program, and recording medium | |
JP2010010974A (en) | Photographic image processing method, photographic image processing program, and photographic image processing device | |
JPH10290368A (en) | Contour emphasis method | |
JP2002051210A (en) | Image processing method and storage medium recording image processing program | |
JP3967163B2 (en) | Image generation method and apparatus, image processing method and apparatus, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060530 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060724 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3920122 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100223 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140223 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |