JP4105426B2 - 画像情報伝達方法及び画像情報処理装置 - Google Patents
画像情報伝達方法及び画像情報処理装置 Download PDFInfo
- Publication number
- JP4105426B2 JP4105426B2 JP2001350523A JP2001350523A JP4105426B2 JP 4105426 B2 JP4105426 B2 JP 4105426B2 JP 2001350523 A JP2001350523 A JP 2001350523A JP 2001350523 A JP2001350523 A JP 2001350523A JP 4105426 B2 JP4105426 B2 JP 4105426B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- color
- image
- gradation
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
- Processing Or Creating Images (AREA)
Description
【発明の属する技術分野】
本発明は、カラー画像を出力するための画像信号処理方法及び画像信号処理装置に関する。
【0002】
【従来の技術】
画像データは作成される段階から何らかの用途で表示・出力されて視覚的な情報に至るまでの系(以下、色再現系と呼ぶ)では、色や階調を表現する信号に加工を施すが、その系は一つの装置の中で完結する場合以外は複数のプロセスに分散しており、最終的に色や階調が所望の状態で再現されるためには、分散したプロセスの各インターフェイスにおける信号の表現に対して共通の解釈が必要である。そのため各種信号の符号化や扱い方について、学会や業界団体などによる標準化が行われている。特に色空間の仕様については、国際照明委員会(CIE)による標準観測者の等色関数を規定したCIE 1931 standard colorimetric systemをベースに測色的な数値基準に基づいた各種色空間やそれらの符号化の定義も標準化されてきている。
【0003】
それらの標準に基づいて信号を伝達すれば測色的に所望の色を再現するというカラーマッチングが可能になるわけだが、入出力機器の特性や符号化の制限によって必ずしも正確に再現できない色も存在する。そこで、色域圧縮などの手法によって特定の出力機器が再現できない色を色域内の近似色にマップしたり、それに合わせて色域内の色も調整が施されることによって、色の見えを一致させたり、より好ましく見える色再現のための補正処理が行われる。
【0004】
【発明が解決しようとする課題】
ところで、例えばsRGB色空間[IEC61966−2.1]は、そのままパーソナルコンピュータのモニターへ出力すれば信号値が意図した色にそれなりに近く再現されるという扱い易さからデファクトスタンダードとして普及しており、デジタルスチルカメラ用画像ファイルの規格として多くのメーカが準拠しているDCF Version1.0[JEIDA−49−2−1998]でもsRGB色空間による色の表現で画像データへ記録することが定義されている。ただしsRGB色空間は標準的なパーソナルコンピュータのモニターのガンマ特性や色域をターゲットにしているためモニター向けに画造りする際にはできるだけsRGB色域外の色を発生させない方がよいのに対して、通常はデジタルスチルカメラで撮像した画像は画造りのプロセスを経てYCC(輝度色度分離色空間)にて保存される場合が多く、この処理を行う際には色域という概念がなく、sRGB色域外の色(YCC)が発生している。一方、各種カラープリンタの色域はsRGB(モニター)とは異なり、一般にその色域は暗い領域でモニターのそれを上回るが、明るい領域では下回っている。したがってカラープリンタ出力が前提である場合は、その色域を考慮して画造りの処理を行った方がよい。このようにデジタルスチルカメラのようなアプリケーションでは、出力が多種多様となると、ある機器を想定されて画造りされた画像を他の機器で出した場合は領域によっては階調潰れ等々が発生してしまう。
【0005】
また、入力機器が存在せずコンピュータグラフィックスにより仮想的な三次元のシーンを表現する場合にも、シーンの物理的な光の強度に比例する値でレンダリング処理が施されて画像データが生成されるが、ターゲットとするモニター表示に合わせて色や階調が調整された結果を表示デバイスに依存したRGB空間による符号化で画像データとして記録されることが多く、例えばデジタル映写機など別の表示デバイスで色域や階調特性を十分に生かすための補正を行うとなると、一旦符号化されたデータからオリジナルの表現を再現することが難しかった。
【0006】
そのような背景から、sRGB色空間が定義した標準的モニター特性や観察環境により符号化された信号の扱い易さを残しつつも、表現できる色域やビット深度を拡張して人間が知覚可能な範囲や各種出力デバイスの表現範囲をカバーした色空間や、物理的な光の強度に1対1で対応する階調特性を持たせて、よりシーンに忠実な信号を記録できる色空間などが新たに標準化されつつある。それらの中でも、より出力できる状態に近い表現(Output−ready)での符号化に有利なsRGB色空間を拡張したもの(例えば、IEC61966−2.1AnnexG/AnnexF)等がある。
【0007】
上述の如き従来の実状に鑑み、本発明の目的は、色域が拡張された標準色空間をうまく利用して所望の色再現を得ることを可能にすることにある。
【0008】
また、本発明の他の目的は、出力デバイスや用途が判明した時点で適切な画造りを行うことができるようにすることにある。
【0009】
また、本発明の他の目的は、効率よくベストな補正結果を得ることができるようにすることにある。
【0010】
さらに、本発明の他の目的は、異なる機器向けに画造りされた画像データが複数保存されている場合に、出力しようとする機器や目的に最も近い状態のデータを選択するだけで必ずしも新たな調整を施すことなく適切な出力を行うことができるようにすることにある。
【0011】
【課題を解決するための手段】
本発明では、各機器向けに画造りされた画像を同時に保存する。また、シーン参照空間で画像を保存して出力機器で画造りを行う。
【0012】
さらには既存技術も含めて次のような点を考慮した仕組みを構築することにより、本発明はより効果的となる。
【0013】
適当な画像フォーマットや色空間を利用した画像データやそれを収めた特定の記憶媒体であれば、ユーザがその素性を把握できる範囲で扱う場合には、適当な調整指示を行うことで望ましい色再現結果を得ることができる。また、これまでは、特定の画像フォーマットや色空間で符号化された画像データの素性(状態)や用途が限定されている場合がほとんどで、画像入出力機器やアプリケーションソフトの補正処理モジュールがそれらをある程度想定して自動的な判断による調整処理を行うことで望ましい色再現結果が得えられる場合もある。ところが、これからのブロードバンドと呼ばれる情報環境においては、1つの機器やアプリケーションソフトであっても多様なコンテンツ、多様な入力機器からのソース、多様な出力機器への出力、多様な出力用途が想定され、一様な想定の上での判断で最適な調整処理を実現することが難しくなってくる。また、前述のように多目的の拡張色空間やそれらの複数の色空間を選択可能なフォーマット(例えばJPEG2000[ITU−T Rec.T.801])が標準化されつつあり、特定の画像フォーマットや色空間のデータといえども、ユーザ、コンテンツ制作者、機器などが期待する表現意図が多様に混在することになる。また、その中に存在する画像データ自体が、伝達される過程でどのような目的の補正がどの程度施されたのかという状態を特定することが難しい。したがって、ユーザが正しく扱って望ましい色再現結果を得るには注意するべき点が多くてユーザによる管理が難しくなったり、若しくは自動的に動作するハードやソフトでの補正処理が複数のプロセスで過剰に重複して適用される可能性も出ててくるであろう。そのような状況において新たな標準色空間をうまく利用して所望の色再現を得るには、適切に状態を把握して目的に合った適切な調整処理を施す使い方が求められる。
【0014】
画像の色や階調の表現を適切に補正する処理は多様であるが、一般に次のような情報のいずれかに基づいて行われる。
【0015】
コンテンツの表現対象:
人物、風景、実在する物体、抽象的物体など
コンテンツの制作環境:
撮影した電子写真、3次元CG、2次元イラストなど
符号化特性:
表現可能な色域、階調カーブ、ビット深度など
入力機器特性:
ノイズ、ダイナミックレンジ、分光感度、光源など
出力機器特性:
再現可能な色域、階調カーブなど
出力アプリケーションの意図:
きれいに、実物に忠実に、制作結果に忠実に、など
このうち、入力機器や出力機器の特性については、CIEXYZやCIELABなどのデバイスに依存しない色空間やCIECAM97sなどの色の見えを表す空間で符号化されている場合には必要とせず、また、デバイスに依存する色空間であればICC(International Color Consortium)で規格化されているようなデバイスプロファイルを参照することが可能であり、若しくは、sRGB色空間のように符号化の仕様の中で特定の定義がされていればよい。出力アプリケーションの意図については、調整処理を施すモジュール自身が独自の判断や取得方法で行うのが適当である。コンテンツの表現対象や制作環境の情報については、既に規格化された一部の画像フォーマットでは、ヘッダ部などに符号化して記録できるものもあり、特許も幾つか出願されているが、そのような方法が望ましい。符号化特性については、画像フォーマットの仕様から判断できる。しかし、既に符号化された画像データに何かしらの調整が施されていることが多く、それがどのような状態にあるのか(調整されてないのか?、調整された場合は何を対象にしたのか?)という情報が明らかであることや、同一のコンテンツに対して別の調整状態の画像データを使用したい場合にはそれが存在するのかどうかまたその参照先を把握できないことが、画像データを有効に利用するための課題として残る。
【0016】
上記課題を解決する本発明は、標準的色空間により符号化された画像データの色と階調の情報を再現するための情報として、上記画像データの色と階調の表現がどのような状態に調整されているかの状態を示す上記画像データの色と階調の表現内容を説明する情報を特定の符号により上記画像データに付し、上記特定の符号による情報を付した画像データを伝達する画像情報伝達方法であって、 上記標準的色空間により符号化された画像データとともに色と階調の調整状態を示す符号が付されたデータファイルに、同一の表現対象に対して色と階調の調整状態が異なる複数の画像データを参照可能にする位置情報を付し、上記位置情報を付した上記同一の表現対象の一つのデータファイルに、色と階調の調整状態が異なる複数の画像データと、各画像データの調整状態を指す特定の符号とを収めることを特徴とする。
【0018】
また、本発明に係る画像情報伝達方法では、上記画像データの色と階調の表現を調整した際の調整内容を示すパラメータを特定の符号により上記画像データに付すようにしてもよい。
【0023】
本発明は、標準的色空間により符号化された画像データの色と階調の情報を再現するための情報として、上記画像データの色と階調の表現がどのような状態に調整されているかの状態を示す情報が特定の符号により付された上記画像データに上記特定の符号により付された情報を参照して、上記画像データに上記特定の符号により付された上記画像データの色と階調の表現内容を説明する情報に基づいて、上記画像データに調整処理を施すことにより、上記画像データの色と階調の情報を再現する調整処理手段を備える画像情報処理装置であって、上記標準的色空間により符号化された画像データとともに色と階調の調整状態を示す符号が付されたデータファイルに、同一の表現対象に対して色と階調の調整状態が異なる複数の画像データを参照可能にする位置情報が付され、上記色と階調の調整状態が異なる複数の画像データと、各画像データの調整状態を指す特定の符号とが収められた上記位置情報を付した上記同一の表現対象の一つのデータファイルが供給され、上記調整処理手段は、供給されたデータファイルに付された位置情報に基づいて、上記データファイル内の参照する画像データを特定して、上記画像データに調整処理を施すことを特徴とする。
【0025】
また、本発明に係る画像情報報処理装置は、上記画像データの色と階調の表現を調整した際の調整内容を示すパラメータが特定の符号により付された上記画像データが供給され、上記調整処理手段により、上記画像データに上記特定の符号により付された上記画像データの色と階調の表現を調整した際の調整内容を示すパラメータに基づいて、上記画像データに調整処理を施すようにしてもよい。
【0028】
また、本発明に係る画像情報処理装置は、上記調整処理手段により、画像の用途を示す情報に基づいて上記用途に応じた色と階調の表現で再現するために調整処理を施すようにしてもよい。
【0030】
また、本発明に係る画像情報処理装置は、上記調整処理手段により、画像の用途を示す情報に基づいて上記用途に応じた色と階調の表現で再現するために調整処理を施すようにしてもよい。
【0032】
また、本発明に係る画像情報処理装置は、上記調整処理手段により、画像の用途を示す情報に基づいて上記用途に応じた色と階調の表現で再現するために調整処理を施すようにしてもよい。
【0039】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【0040】
本発明では、例えば図1に示すようなファイルフォーマットによって画像データをファイルに記録する。
【0041】
すなわち、ファイルフォーマットは、一つのヘッダブロックHBと一つ以上のイメージブロックIB1,IB2・・・とから構成される。
【0042】
ヘッダブロックHBには、ヘッダブロックサイズHBS、コンテンツ作成環境CPE、コンテンツ表現対象CEO、イメージブロック数IBN、イメージステートメントIST、横画素数HSN、縦画素数VSN、カラースペースCS、オフセットアドレスOFAが記録される。
【0043】
すなわち、ヘッダブロックHBには、画像データが表現するコンテンツに関する情報として、次の表1の制作環境を示す符号(Code0〜6)CPEと次の表2の表現対象を示す符号(Code0〜7)CEOが記録される。
【0044】
【表1】
【0045】
【表2】
【0046】
また、各イメージブロックについて、次の表3の画像データの調整状態を示す符号、次の表4の色空間(Color Space)を示す符号(Code0〜12)CS、縦横の画素数HSN,VSN、イメージブロック先頭のオフセットアドレスOFAを記録する。
【0047】
【表3】
【0048】
【表4】
【0049】
表3においてイメージステートメントISTとして調整状態を示す2つの符号のうちMainとする方が0〜3では、表現するシーンを参照した状態(Scene Referred State)を指し、光の物理的強度に対して線形な値、若しくはそれに1対1に対応する特定の可逆関数で変換された値で画像データが符号化されている。一方4〜7では、出力するように調整された状態(Output Ready State)を指し、特定のデバイスの再現特性に合わせて調整された値で符号化されている。
【0050】
各イメージブロックIB1,IB2・・・には、左上から右下への点順次のRAW形式で特定の色空間で符号化された画像データが並んで記録される。
【0051】
ここでは、図2に示すような画像データが作成されてから表示・出力されて利用される多様なフローを含んだ画像処理系10を想定する。この画像処理系10は、デジタルスチルカメラ、ビデオカメラやイメージスキャナ等の画像読み取り装置1を介して入力される被写体や原稿などの画像データ、CG作成装置2により作成される表現対象のCG画像データ、上記画像データやCG画像データから画像編集装置3により編集された画像データなどがネットワークや記録媒体等のデータ伝送系4を介してアプリケーション5に供給され、このアプリケーション5から出力デバイス6を介してプリンタ出力、モニター出力、テレビ出力やスクリーン出力等の各種出力を得るようになっている。
【0052】
この画像処理系10の中では、どの部位においても、何らかの目的の調整処理が施される可能性が高いが、その中でアプリケーション5と記した部分が行う調整処理において図1に示したファイルフォーマットを利用する例について説明する。
【0053】
図2中のアプリケーション5とはユーザが何の用途にどのデバイスに出力・表示するのかが判っており、それらの情報と上記フォーマットのファイル内の情報から上記フォーマットのファイル内の画像データに適切な補正処理を施す画像処理装置内のモジュールであり、ここでは、パーソナルコンピュータ上で動作するソフトウエアとする。
【0054】
アプリケーションソフトは、ユーザが上記フォーマットのファイルを開いて画面上に表示するように指示があったと判定した場合に、図3のフローチャートに示す手順に従って、色と階調を適切に補正する処理を行う。
【0055】
すなわち、ステップS1では、ヘッダブロックHBより、イメージステートIST[4−x]の画像ブロックを検出した否かを判定する。ここで、イメージステートIST[4−x]は、上記表3に示したように、調整時にターゲットとしたデバイスがパーソナルコンピュータ用モニターであることを表している。
【0056】
このステップS1における判定結果がYESすなわちイメージステートIST[4−x]の画像ブロックを検出した場合には次のステップS2に進む。また、上記ステップS1における判定結果がNOの場合にはステップS4に進む。
【0057】
ステップS2では、該当ブロックのオフセットアドレスOFAにより画像データを読み込む。
【0058】
次のステップS3では、ヘッダブロックHBより、色空間を示す符号CSが[3]であるか否かを判定する。ここで、上記色空間を示す符号CS[3]は、上記表4に示したように、IEC61966−2.1で定義されているsRGB(8bit)空間であることを表している。
【0059】
このステップS3における判定結果がYESすなわち色空間を示す符号CSが[3]である場合にはステップS16に進む。また、上記ステップS3における判定結果がNOの場合にはステップS15に進む。
【0060】
また、ステップS4では、ヘッダブロックHBより、イメージステートISTが[3−0]又は[2−0]の画像ブロックを検出した否かを判定する。ここで、上記表3に示したように、上記イメージステートIST[3−0]は、特定のデバイスに依存せず視覚的色域内で意図的に調整された値であることを表している。また、上記イメージステートIST[2−0]は、ホワイトバランス、特定のセンサ空間への線形マトリクス変換などの調整済みの値であることを表している。
【0061】
このステップS4における判定結果がYESすなわちイメージステートISTが[3−0]又は[2−0]の画像ブロックを検出した場合には次のステップS5に進む。また、上記ステップS1における判定結果がNOの場合にはステップS6に進む。
【0062】
ステップS5では、該当ブロックのオフセットアドレスOFAより画像データを読み込み、その後ステップS10に進む。
【0063】
また、ステップS6では、ヘッダブロックHBより、イメージステートISTが[1−0]の画像ブロックを検出した否かを判定する。ここで、イメージステートIST[1−0]は、上記表3に示したように、イメージセンサで取得された信号で、ノイズカット程度の処理は施されている可能性がある値であることを表している。
【0064】
このステップS6における判定結果がYESすなわちイメージステートISTが[1−0]画像ブロックを検出した場合には次のステップS7に進む。また、上記ステップS6における判定結果がNOの場合にはステップS11に進む。
【0065】
ステップS7では、該当ブロックのオフセットアドレスより画像データを読み込む。
【0066】
次のステップS8では、ヒストグラムを生成し ホワイトポイントを特定する。
【0067】
次のステップS9では、リニア空間においてホワイトバランス補正を行い、その結果をIEC61966−2.2で定義されているscRGB(16bit)空間へ変換する。なお、この色空間は、上記表3に示した色空間を示す符号CS[7]で表される。
【0068】
そして、次のステップS10では、色空間を示す符号CS[3]で表される色空間の色域外の値に色域圧縮処理を行い、その後ステップS15に進む。
【0069】
また、ステップS11では、ヘッダブロックHBより、上記表3に示したイメージステートISTが[5−0]以上の画像ブロックを検出した否かを判定する。
【0070】
このステップS11における判定結果がYESすなわちヘッダブロックよりイメージステート5−0の画像ブロックを検出した場合には次のステップS12に進む。また、上記ステップS1における判定結果がNOの場合にはステップS14に進む。
【0071】
ステップS12では、該当ブロックのオフセットアドレスOFAより画像データを読み込む。
【0072】
次のステップS13では、イメージステートISTが指すデバイスの色域内の全ての値を上記色空間を示す符号CS[3]に対応するIEC61966−2.1で定義されているsRGB(8bit)空間の色域内へマップし、その後ステップS15に進む。
【0073】
また、ステップS14では、エラーメッセージの表示を指示する。
【0074】
さらに、ステップS15では、色空間を上記色空間を示す符号CS[3]に対応するsRGB(8bit)空間へ変換し、このsRGB(8bit)空間の色域外の値は符号化時にクリップする。
【0075】
そして、次のステップS16では、モニターへ画像表示を指示する。
【0076】
また、上記アプリケーションソフトは、画面上に表示しているファイルの画像内容に対して、ユーザより鑑賞を意図してカラープリンタヘ出力する指示があったと判定した場合に、図4に示すフローチャートに従った手順で色と階調を自動的に適切に補正する処理を行う。
【0077】
すなわち、ステップS21では、ヘッダブロックHBよりイメージステートISTが[6−x]の画像ブロックを検出した否かを判定する。ここで、イメージステートIST[6−x]は、上記表3に示したように各種カラープリンタヘの出力を表している。
【0078】
このステップS21における判定結果がYESすなわちイメージステートIST[6−x]の画像ブロックを検出した場合には次のステップS22に進む。また、上記ステップS21における判定結果がNOの場合にはステップS24に進む。
【0079】
ステップS22では、該当ブロックのオフセットアドレスOFAより画像データを読み込む。
【0080】
次のステップS23では、色空間がプリンタ入力の符号と同じか否かを判定する。
【0081】
このステップS23における判定結果がYESすなわち色空間がプリンタ入力の色空間が符号と同じ場合には次のステップS36に進む。また、上記ステップS23における判定結果がNOの場合にはステップS35に進む。
【0082】
ステップS24では、ヘッダブロックHBより、イメージステートISTが[3−0]又は[2−0]の画像ブロックを検出した否かを判定する。ここで、上記イメージステートIST[3−0]は、特定のデバイスに依存せず視覚的色域内で意図的に調整された値であることを表している。また、上記イメージステートIST[2−0]は、ホワイトバランス、特定のセンサ空間への線形マトリクス変換などの調整済みの値であることを表している。
【0083】
このステップS24における判定結果がYESすなわちイメージステートISTが[3−0]又は[2−0]の画像ブロックを検出した場合には次のステップS25に進む。また、上記ステップS21における判定結果がNOの場合にはステップS26に進む。
【0084】
ステップS25では、該当ブロックのオフセットアドレスOFAにより画像データを読み込む。
【0085】
また、ステップS26では、ヘッダブロックHBより、イメージステートISTが[1−0]の画像ブロックを検出した否かを判定する。ここで、イメージステートIST[1−0]は、イメージセンサで取得された信号で、ノイズカット程度の処理は施されている可能性がある値であることを表している。
【0086】
このステップS26における判定結果がYESすなわちイメージステートISTが[1−0]の画像ブロックを検出した場合には次のステップS27に進む。また、上記ステップS26における判定結果がNOの場合にはステップS31に進む。
【0087】
ステップS27では、該当ブロックのオフセットアドレスOFAより画像データを読み込む。
【0088】
次のステップS28では、ヒストグラムを生成しホワイトポイントを特定する。
【0089】
さらに、次のステップS29では、リニア空間においてホワイトバランス補正を行い、その結果をIEC61966−2.2で定義されているscRGB(16bit)空間へ変換する。なお、この色空間は、上記表3に示した色空間を示す符号CS[7]で表される。
【0090】
そして、次のステップS30では、プリンタの色域外の値に色域圧縮処理を行い、その後ステップS35に進む。
【0091】
また、ステップS31では、ヘッダブロックHBより、イメージステートISTが[4−0]以上の画像ブロックを検出した否かを判定する。
【0092】
このステップS31における判定結果がYESすなわちイメージステートISTが[4−0]以上の画像ブロックを検出した場合には次のステップS32に進む。また、上記ステップS31における判定結果がNOの場合にはステップS34に進む。
【0093】
ステップS32では、該当ブロックのオフセットアドレスOFAより画像データを読み込む。
【0094】
次のステップS33では、イメージステートISTが指すデバイスの色域内の全ての値をプリンタの色域内へマップし、その後ステップS35に進む。
【0095】
また、ステップS34では、エラーメッセージの表示を指示する。
【0096】
また、ステップS35では、色空間をプリンタRGBへ変換し、色域外の値があれば符号化時にクリップする。
【0097】
そして、次のステップS36では、プリンタへ画像出力を指示する。
【0098】
ここで、上記ステップS10やステップS30における色域圧縮処理は、例えば特開2000−278546号公報に記載されている色域圧縮の手法、すなわち、知覚的に均等な色空間へ変換し、圧縮前の値と色域内ヘマップした後の値とがその色空間における色差を表す値で最小となるような色差最小法を用いて行われる。
【0099】
この際、ヘッダブロックHB内のコンテンツ表現対象CEOが[4〜6]の場合すなわち人物や風景以外の場合には、色差式における彩度の項の重みを大きくし、彩度を低下させないような色再現を行う。
【0100】
また、上記ステップS13やステップS33における色域内ヘマップでは、例えば、ヘッダブロックHB内のコンテンツ制作環境CPEが[3〜4]以外の場合すなわちコンピュータグラフィックス以外には、上記色域圧縮処理を行い色域外の値のみを最小色差で色域内ヘマップする。そうでない場合には出力するデバイスDの色域を十分に利用するため、デバイスSの色域とデバイスDの色域とを解析してデバイスDの色域内外の値を適切にマップする。
【0101】
ここでは、図5に示すように、明度・彩度・色相の軸より成るLCH色空間において同一明度同一色相の軸上で彩度値Csを、デバイスSの色域境界の彩度値Cs_maxがデバイスDの色域境界の彩度値Cd_maxヘマップされるように、例えば次の式(1)に示す変換式にて図6に示すように彩度値Cdへ変換することにより、低彩度な値は保存しながらも高彩度な値はデバイスDの色域に合わせてマップする。
【0102】
Cd=k×(eCs/k−1) ・・・式(1)
ただし、kはCs_maxとCd_maxにより決定される係数である。
【0103】
なお、これと目的を同じくする手法は、例えば特開2000−350050公報や特開2001−43344公報などで示されているように、多様に考えられる。
【0104】
ここで、以上説明した実施の形態では、本発明は、アプリケーションソフトにより実行されるものとしたが、例えば図7のブロックに示すようなハードウエア構成の画像処理装置50にて画像処理を実行することもできる。
【0105】
すなわち、この画像処理装置50は、画像ファイル読込み部51、判断部52、補正処理部53、画像ファイル書込み部54、モニタ表示部55、プリンタ出力部56等からなる。
【0106】
この画像処理装置50において、画像ファイル読込み部51では、図1に記したフォーマットに従ってHDD、メモリカード、デジタルカメラ等に記録された画像ファイル内のデータを読み込む。判断部52は、ヘッダブロックHB内のヘッダ情報に基づき上述の図3又は図4に示したフローチャートの手順に従って、適当なイメージブロックの画像データを選択し、また適当な補正処理を選択する。補正処理部53では、画像データに補正処理を施し、その結果をメモリ(RAM)に一時的に保持する。画像ファイル書込み部54は、図1に記したフォーマットに従って、補正結果の画像データを適当なヘッダ情報とともにHDD内の画像ファイルヘ記録する。画像ファイル自体は読込んだファイルヘ追加・変更して書込んでもよいし、新規に作成したファイルヘ書込んでもよい。
【0107】
モニタ表示部55は、補正結果の画像データを表示する処理を行う。
【0108】
プリンタ出力部56は、補正結果の画像データをプリンタドライバヘ出力して印刷するための処理を行う。
【0109】
なお、以上説明した本発明の実施の形態において、例えばパーソナルコンピュータ用モニターに対しては、72dpiの固定解像度でデータを作成し、カラープリンタ用では、最高解像度を維持するなど、同一ファイル内で調整状態が異なる画像データで解像度が異なるようにしてもよい。
【0110】
また、調整の処理を行う画素も元の画像データすべてに行う必要はなく、例えば、上記画面上に表示するための画像データは表示する画素数だけに調整を施してもよい。
【0111】
また、イメージブロックに納める画像データはデータ圧縮を行った形式で記録されてもよい。圧縮に付随する情報は各イメージブロック内若しくはヘッダブロック内に記録してよい。イメージブロックにはそのような仕様の既存の画像フォーマットを利用してもよい。
【0112】
また、調整状態を示す符号は、調整した項目、調整した量などを定義することにより細分化してもよい。
【0113】
さらに、調整状態を示す符号が対象とする色・階調の調整は、独立画素に対して施されるものだけでなく、シャープネス補正など他の画素に関連して施されるものであってもよい。
【0114】
【発明の効果】
以上のように、本発明によれば、同じ表現対象(コンテンツ)の画像データであっても、適切にその符号化と調整の状態を把握することによって、多様な出力機器の色・階調の再現特性や利用形態に合わせて、どのような補正処理を適用するべきかという判断を同じファイル内の情報に基づいて行うことができ、同じ色空間で符号化された画像データであっても色再現性を高めることができ、色域が拡張された標準色空間をうまく利用して所望の色再現を得ることが可能になる。
【0115】
また、本発明では、保存されている画像データが、特定のデバイスに合わせて調整されておらず、よりシーンに近い表現で記録されていること判断できれば、出力デバイスや用途が判明した時点で適切な画造りを行うことが可能である。
【0116】
また、本発明では、同一のコンテンツに対して既に符号化された画像データに何かしらの調整が施されている可能性がある場合に、別の調整状態の画像データを使用したい場合にはそれが存在するのかどうかまたその参照先を把握できるため、目的に最も近い状態のデータを読み出して利用することで効率よくベストな補正結果を得ることができる。
【0117】
さらに、本発明では、異なる機器向けに画造りされた画像データが複数保存されている場合には、それぞれがどのような機器に対して調整されたのかを判別できることによって、出力しようとする機器や目的に最も近い状態のデータを選択するだけで必ずしも新たな調整を施すことなく適切な出力を行うことができる。
【0118】
【図面の簡単な説明】
【図1】本発明において画像データをファイルに記録するファイルフォーマットを模式的に示す図である。
【図2】本発明を適用する画像処理系の構成を示すブロック図である。
【図3】本発明により画像データをモニターへ出力する場合に実行される色と階調を補正する処理の手順を示すフローチャートである。
【図4】本発明により画像データをカラープリンタヘ出力する場合に実行される色と階調を補正する処理の手順を示すフローチャートである。
【図5】上記補正処理におけるLCH色空間での色域変換の例を模式的に示す図である。
【図6】上記補正処理における彩度の変換例を模式的に示す図である。
【図7】本発明に係る画像処理装置のハードウエア構成例を示すブロック図である。
【符号の説明】
1 画像読み取り装置、2 CG作成装置、3 画像編集装置、4 データ伝送系、5 アプリケーション、6 出力デバイス、10 画像処理系、50 画像処理装置、51 画像ファイル読込み部、52 判断部、53 補正処理部、54 画像ファイル書込み部、55 モニタ表示部、56 プリンタ出力部
Claims (5)
- 標準的色空間により符号化された画像データの色と階調の情報を再現するための情報として、上記画像データの色と階調の表現がどのような状態に調整されているかの状態を示す上記画像データの色と階調の表現内容を説明する情報を特定の符号により上記画像データに付し、上記特定の符号による情報を付した画像データを伝達する画像情報伝達方法であって、
上記標準的色空間により符号化された画像データとともに色と階調の調整状態を示す符号が付されたデータファイルに、同一の表現対象に対して色と階調の調整状態が異なる複数の画像データを参照可能にする位置情報を付し、
上記位置情報を付した上記同一の表現対象の一つのデータファイルに、色と階調の調整状態が異なる複数の画像データと、各画像データの調整状態を指す特定の符号とを収める
ことを特徴とする画像情報伝達方法。 - 上記画像データの色と階調の表現を調整した際の調整内容を示すパラメータを特定の符号により上記画像データに付すことを特徴とする請求項1記載の画像情報伝達方法。
- 標準的色空間により符号化された画像データの色と階調の情報を再現するための情報として、上記画像データの色と階調の表現がどのような状態に調整されているかの状態を示す情報が特定の符号により付された上記画像データに上記特定の符号により付された情報を参照して、上記画像データに上記特定の符号により付された上記画像データの色と階調の表現内容を説明する情報に基づいて、上記画像データに調整処理を施すことにより、上記画像データの色と階調の情報を再現する調整処理手段を備える画像情報処理装置であって、
上記標準的色空間により符号化された画像データとともに色と階調の調整状態を示す符号が付されたデータファイルに、同一の表現対象に対して色と階調の調整状態が異なる複数の画像データを参照可能にする位置情報が付され、上記色と階調の調整状態が異なる複数の画像データと、各画像データの調整状態を指す特定の符号とが収められた上記位置情報を付した上記同一の表現対象の一つのデータファイルが供給され、
上記調整処理手段は、供給されたデータファイルに付された位置情報に基づいて上記データファイル内の参照する画像データを特定して、上記画像データに調整処理を施す
ことを特徴とする画像情報処理装置。 - 上記画像データの色と階調の表現を調整した際の調整内容を示すパラメータが特定の符号により付された上記画像データが供給され、上記調整処理手段は、上記画像データに上記特定の符号により付された上記画像データの色と階調の表現を調整した際の調整内容を示すパラメータに基づいて、上記画像データに調整処理を施すことを特徴とする請求項3に記載の画像情報処理装置。
- 上記調整処理手段は、画像の用途を示す情報に基づいて上記用途に応じた色と階調の表現で再現するために調整処理を施すことを特徴とする請求項3に記載の画像情報処理装置。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001350523A JP4105426B2 (ja) | 2001-11-15 | 2001-11-15 | 画像情報伝達方法及び画像情報処理装置 |
PCT/JP2002/011736 WO2003043307A1 (fr) | 2001-11-15 | 2002-11-11 | Procede de transmission d'informations d'image et appareil de traitement d'informations d'image |
EP02803106A EP1445942A4 (en) | 2001-11-15 | 2002-11-11 | PICTURE INFORMATION TRANSMISSION PROCESS AND PICTURE INFORMATION PROCESSING DEVICE |
US10/494,806 US20040246526A1 (en) | 2001-11-15 | 2002-11-11 | Image information transmission method and image information processing apparatus |
CNA028227573A CN1589566A (zh) | 2001-11-15 | 2002-11-11 | 图像信息传送方法和图像信息处理装置 |
KR1020047007250A KR100940634B1 (ko) | 2001-11-15 | 2002-11-11 | 화상 정보 전달 방법 및 화상 정보 처리 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001350523A JP4105426B2 (ja) | 2001-11-15 | 2001-11-15 | 画像情報伝達方法及び画像情報処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005358147A Division JP2006180477A (ja) | 2005-12-12 | 2005-12-12 | 画像信号処理方法及び画像信号処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003153025A JP2003153025A (ja) | 2003-05-23 |
JP4105426B2 true JP4105426B2 (ja) | 2008-06-25 |
Family
ID=19163005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001350523A Expired - Fee Related JP4105426B2 (ja) | 2001-11-15 | 2001-11-15 | 画像情報伝達方法及び画像情報処理装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20040246526A1 (ja) |
EP (1) | EP1445942A4 (ja) |
JP (1) | JP4105426B2 (ja) |
KR (1) | KR100940634B1 (ja) |
CN (1) | CN1589566A (ja) |
WO (1) | WO2003043307A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6043909A (en) | 1996-02-26 | 2000-03-28 | Imagicolor Corporation | System for distributing and controlling color reproduction at multiple sites |
US7728845B2 (en) | 1996-02-26 | 2010-06-01 | Rah Color Technologies Llc | Color calibration of color image rendering devices |
US20030128389A1 (en) | 2001-12-26 | 2003-07-10 | Eastman Kodak Company | Method for creating and using affective information in a digital imaging system cross reference to related applications |
JP4022644B2 (ja) | 2003-06-06 | 2007-12-19 | 株式会社ニコン | 画像ファイルの読み取り方法、画像ファイル読み取り装置 |
JP2005215353A (ja) * | 2004-01-29 | 2005-08-11 | Seiko Epson Corp | 複数の階調特性で再生可能な画像データを生成する画像データ生成装置、および、これに対応する画像再生装置 |
JP4311411B2 (ja) * | 2006-04-03 | 2009-08-12 | セイコーエプソン株式会社 | 色変換テーブル生成装置、表示装置、色変換テーブル生成方法、及び表示装置の製造方法 |
WO2007125697A1 (ja) | 2006-04-26 | 2007-11-08 | Panasonic Corporation | 映像処理装置、記録媒体、映像信号処理方法、映像信号処理用プログラムおよび集積回路 |
US8102569B1 (en) * | 2006-11-08 | 2012-01-24 | Adobe Systems Incorporated | Conversion to alternative color space using a cache |
US8472066B1 (en) | 2007-01-11 | 2013-06-25 | Marvell International Ltd. | Usage maps in image deposition devices |
US8014027B1 (en) * | 2007-03-21 | 2011-09-06 | Adobe Systems Incorporated | Automatic selection of color conversion method using image state information |
EP2175660A4 (en) * | 2007-08-02 | 2012-04-25 | Sony Corp | IMAGE PROCESSOR |
JP2009177609A (ja) * | 2008-01-25 | 2009-08-06 | Olympus Imaging Corp | 画像出力装置及び画像出力方法 |
US8638858B2 (en) * | 2008-07-08 | 2014-01-28 | Intellectual Ventures Fund 83 Llc | Method, apparatus and system for converging images encoded using different standards |
US9443327B2 (en) | 2008-08-06 | 2016-09-13 | Adobe Systems Incorporated | Rendering and un-rendering using profile replacement |
JP5446474B2 (ja) * | 2009-05-29 | 2014-03-19 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
EP2357610B1 (en) * | 2009-12-23 | 2012-09-12 | Thomson Licensing | Image display system comprising a viewing conditions sensing device |
US9240073B2 (en) * | 2011-11-15 | 2016-01-19 | Pixar | File format for representing a scene |
JP5791643B2 (ja) * | 2013-01-29 | 2015-10-07 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置および画像形成装置 |
CN104637028B (zh) * | 2013-11-06 | 2018-06-22 | 联咏科技股份有限公司 | 图像处理装置及其图像优化方法 |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6278486B1 (en) * | 1990-09-18 | 2001-08-21 | Canon Kabushiki Kaisha | Information signal controlling system |
JPH04188954A (ja) * | 1990-11-21 | 1992-07-07 | Canon Inc | カラー画像通信装置 |
US5243447A (en) * | 1992-06-19 | 1993-09-07 | Intel Corporation | Enhanced single frame buffer display system |
JP3203290B2 (ja) * | 1994-03-31 | 2001-08-27 | 富士写真フイルム株式会社 | ディジタル電子スチル・カメラおよびメモリ・カードへの記録方法 |
JPH0856292A (ja) * | 1994-08-12 | 1996-02-27 | Fuji Xerox Co Ltd | 画像処理装置 |
JP3063957B2 (ja) * | 1995-03-01 | 2000-07-12 | 富士ゼロックス株式会社 | 画像処理装置 |
JPH08242376A (ja) * | 1995-03-03 | 1996-09-17 | Canon Inc | カラー画像伝送装置,画像処理装置,カラー画像伝送方法および画像処理方法 |
US5867603A (en) * | 1995-07-10 | 1999-02-02 | Iterated Systems, Inc. | Method for transmitting fractal transform data to support different compressor/decompressor designs |
US5646752A (en) * | 1995-09-15 | 1997-07-08 | Canon Information Systems, Inc. | Color image processing apparatus which uses private tags to alter a predefined color transformation sequence of a device profile |
JP3085199B2 (ja) * | 1996-03-27 | 2000-09-04 | 富士ゼロックス株式会社 | カラー画像処理装置およびカラー画像処理方法 |
US6006231A (en) * | 1996-09-10 | 1999-12-21 | Warp 10 Technologies Inc. | File format for an image including multiple versions of an image, and related system and method |
JPH10224643A (ja) * | 1997-01-31 | 1998-08-21 | Canon Inc | 画像処理装置及び方法 |
JP3877385B2 (ja) * | 1997-07-04 | 2007-02-07 | 大日本スクリーン製造株式会社 | 画像処理パラメータ決定装置およびその方法 |
JPH11127340A (ja) * | 1997-10-24 | 1999-05-11 | Fuji Xerox Co Ltd | 画像処理装置および画像処理方法 |
US6424429B1 (en) * | 1997-11-14 | 2002-07-23 | Ricoh Company, Ltd. | File system and a recording medium with a program used in the system stored therein |
US6377706B1 (en) * | 1998-05-12 | 2002-04-23 | Xerox Corporation | Compression framework incorporating decoding commands |
CN1229977C (zh) * | 1998-06-22 | 2005-11-30 | 富士写真胶片株式会社 | 摄影装置及其方法 |
JP2000137805A (ja) * | 1998-10-29 | 2000-05-16 | Canon Inc | 画像処理装置及びその方法 |
US6836565B1 (en) * | 1998-10-29 | 2004-12-28 | Canon Kabushiki Kaisha | Image processing apparatus and method, and recording medium |
US6906826B1 (en) * | 1998-11-16 | 2005-06-14 | Seiko Epson Corporation | Medium on which image modifying program is recorded, image modifying apparatus and method |
US6433888B1 (en) * | 1998-12-14 | 2002-08-13 | Eastman Kodak Company | Auto restoration of a print |
JP4144961B2 (ja) * | 1999-01-14 | 2008-09-03 | 富士フイルム株式会社 | 画像データ通信システム,サーバ・システムおよびその制御方法ならびにサーバ・システムを制御するためのプログラムを格納した記録媒体 |
US6980325B1 (en) * | 1999-01-27 | 2005-12-27 | Mitsubishi Denki Kabushiki Kaisha | Automated color property adaptation in computer output devices |
JP2000236442A (ja) * | 1999-02-15 | 2000-08-29 | Canon Inc | 画像処理装置及びその方法、コンピュータ可読メモリ |
US7177465B1 (en) * | 1999-07-16 | 2007-02-13 | Fuji Photo Film Co., Ltd. | Method of compressing/extending color reproducing space, color reproducing method and color reproducing apparatus |
JP3852657B2 (ja) * | 1999-11-30 | 2006-12-06 | コニカミノルタビジネステクノロジーズ株式会社 | 色管理システム、色管理方法、記録媒体およびプロファイル作成方法 |
US6977661B1 (en) * | 2000-02-25 | 2005-12-20 | Microsoft Corporation | System and method for applying color management on captured images |
JP4700164B2 (ja) * | 2000-04-24 | 2011-06-15 | 富士フイルム株式会社 | 画像記録装置及び方法 |
JP4105367B2 (ja) * | 2000-05-11 | 2008-06-25 | 富士フイルム株式会社 | 色変換装置および色変換プログラム記憶媒体 |
US6621498B1 (en) * | 2000-11-01 | 2003-09-16 | Xerox Corporation | High-speed non-separable color table lookup |
US7006249B2 (en) * | 2001-01-18 | 2006-02-28 | Kabushiki Kaisha Toshiba | Image forming system |
US20020196346A1 (en) * | 2001-03-15 | 2002-12-26 | Satoru Nishio | Image processing apparatus |
JP3870863B2 (ja) * | 2001-09-11 | 2007-01-24 | セイコーエプソン株式会社 | 画像データの出力画像調整 |
JP4217398B2 (ja) * | 2001-09-12 | 2009-01-28 | キヤノン株式会社 | 画像データ処理方法、画像データ処理装置、記憶媒体、及びプログラム |
JP4277573B2 (ja) * | 2003-05-15 | 2009-06-10 | 富士ゼロックス株式会社 | 画像処理装置 |
-
2001
- 2001-11-15 JP JP2001350523A patent/JP4105426B2/ja not_active Expired - Fee Related
-
2002
- 2002-11-11 WO PCT/JP2002/011736 patent/WO2003043307A1/ja active Application Filing
- 2002-11-11 CN CNA028227573A patent/CN1589566A/zh active Pending
- 2002-11-11 KR KR1020047007250A patent/KR100940634B1/ko not_active IP Right Cessation
- 2002-11-11 US US10/494,806 patent/US20040246526A1/en not_active Abandoned
- 2002-11-11 EP EP02803106A patent/EP1445942A4/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
KR20050044439A (ko) | 2005-05-12 |
JP2003153025A (ja) | 2003-05-23 |
CN1589566A (zh) | 2005-03-02 |
WO2003043307A1 (fr) | 2003-05-22 |
EP1445942A1 (en) | 2004-08-11 |
KR100940634B1 (ko) | 2010-02-05 |
US20040246526A1 (en) | 2004-12-09 |
EP1445942A4 (en) | 2010-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4105426B2 (ja) | 画像情報伝達方法及び画像情報処理装置 | |
Süsstrunk et al. | Standard RGB color spaces | |
JP4090175B2 (ja) | 画像信号処理方法、画像信号処理装置及び画像信号処理プログラムを記録した媒体 | |
US7330286B2 (en) | Apparatus, method and computer program product for providing output image adjustment for image files | |
US6377355B1 (en) | Color gamut displaying method, an image processing method, and apparatus utilizing these methods | |
JP2003087587A (ja) | 画像データ処理方法、画像データ処理装置、記憶媒体、及びプログラム | |
KR101680254B1 (ko) | 타깃 컬러 재현 디바이스의 교정 방법 | |
EP1085749B1 (en) | Image processing method and apparatus | |
EP1450566A1 (en) | Image information transmitting method and image information processor | |
JP3818098B2 (ja) | 画像信号処理方法及び画像信号処理装置 | |
JP2005354372A (ja) | 画像記録装置、画像記録方法、画像処理装置、画像処理方法、及び画像処理システム | |
US8224080B2 (en) | Image pickup apparatus, image recording program, image data recording medium, image processing apparatus, and image processing program | |
JP2008086029A (ja) | 画像情報伝達方法及び画像情報処理装置 | |
JP2006180477A (ja) | 画像信号処理方法及び画像信号処理装置 | |
JPH09270925A (ja) | 画像処理装置及び方法 | |
JP2006238335A (ja) | 情報処理方法 | |
JP2005260801A (ja) | 画像処理装置および画像処理方法 | |
JP5112234B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
KR100555111B1 (ko) | 에스알지비 표준 영상을 매개로 한 디지털 영상 장치 간의색관리 방법 | |
JP2004236201A (ja) | 画像処理装置およびその方法 | |
JP2005005802A (ja) | カラー画像処理装置、カラー画像処理方法、プログラムおよび記録媒体 | |
JPH04181872A (ja) | カラー画像処理装置 | |
JP3667171B2 (ja) | 画像処理方法、装置および記録媒体 | |
JP2004178428A (ja) | 画像処理方法 | |
JP2002314828A (ja) | 色補正装置および色補正方法、並びに色補正方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050530 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051212 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20051226 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060210 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080327 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |