JP4635916B2 - 画像データの色の補正 - Google Patents

画像データの色の補正 Download PDF

Info

Publication number
JP4635916B2
JP4635916B2 JP2006063613A JP2006063613A JP4635916B2 JP 4635916 B2 JP4635916 B2 JP 4635916B2 JP 2006063613 A JP2006063613 A JP 2006063613A JP 2006063613 A JP2006063613 A JP 2006063613A JP 4635916 B2 JP4635916 B2 JP 4635916B2
Authority
JP
Japan
Prior art keywords
color
data set
conversion data
image
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006063613A
Other languages
English (en)
Other versions
JP2007243628A (ja
Inventor
淳 星井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2006063613A priority Critical patent/JP4635916B2/ja
Publication of JP2007243628A publication Critical patent/JP2007243628A/ja
Application granted granted Critical
Publication of JP4635916B2 publication Critical patent/JP4635916B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、画像データの色を補正する技術に関する。
従来より、画像データに基づいて、その画像データの画像の色を補正する技術が知られている。たとえば、特許文献1においては、写真の中の人の顔が写っている領域を決定し、その人の顔の色が予め定められた目標色度値となるように、画像データの色の補正が行われる。
特開2000−182043号公報
しかし、特許文献1の技術においては、画像データの色の補正内容を決定するにあたって人の顔の色以外は考慮されないため、人の顔以外の領域について、補正後の色が不自然になってしまう場合があった。このような問題は、顔の色を対象とする場合以外にも、画像中の特定の部分の色を好ましい色に補正しようとする場合に、同様に生じる。
本発明は、上記の問題を取り扱うためになされたものであり、画像データについて色の補正を行う際に、画像中のある部分と他の部分との両方について好適な補正を行うための技術を提供することを目的とする。
上記の問題を取り扱うために、本発明の一態様においては、写真画像の画像データの色を補正する際に、以下のような処理を行う。すなわち、まず、画像データの色を変換するための第1の原変換用データセットと、画像データの色を変換するためのデータセットであって少なくとも一部の入力色と対応づけられた出力色として第1の原変換用データセットとは異なる出力色を有する第2の原変換用データセットと、に基づいて変換用データセットを生成する。その際、所定の色空間の一部である第1の色範囲に含まれる少なくとも一部の第1種の色については、第1の原変換用データセットの出力色と同じ出力色を有するように、変換用データセットを生成する。そして、色空間の他の一部である第2の色範囲に含まれる少なくとも一部の第2種の色については、色空間内において第1の色範囲内の1以上の所定の基準色に近い色ほど第1の原変換用データセットの出力色に近い出力色を有し、色空間内において上記の基準色から遠い色ほど第2の原変換用データセットの出力色に近い出力色を有するように、変換用データセットを生成する。その後、変換用データセットを参照して画像データの色を補正する。
このような態様においては、異なる特性を有する第1と第2の原変換用データセットに基づいて変換用データセットを生成し、その変換用データセットを参照して画像データの色を補正することができる。そして、第2の原変換用データセットの特性が部分的に反映されて補正が行われる色についても、画像が不自然とならないように色の補正を実行することができる。このため、画像データについて色の補正を行う際に、画像中のある部分と他の部分との両方について好適な補正を行うことができる。
なお、変換用データセットにおいては、第1の色範囲内に、第1の原変換用データセットの出力色とは異なる出力色を有する入力色が存在していてもよい。また、第2の色範囲内に、「色空間内において第1の色範囲内の1以上の所定の基準色に近い色ほど第1の原変換用データセットの出力色に近い出力色を有し、色空間内において上記の基準色から遠い色ほど第2の原変換用データセットの出力色に近い出力色を有する」という特性に当てはまらない入力色が存在していてもよい。
なお、変換用データセットを生成するのに先立って、以下のように第1および第2の原変換用データセットを生成することが好ましい。すなわち、まず、写真画像の画像データを解析して、写真画像中の一部の領域であって人の顔が存在する第1の画像領域を決定する。そして、画像データの第1の画像領域に対応する部分に基づいて、第1の原変換用データセットを生成する。また、写真画像中の画像領域であって第1の画像領域とは異なる第2の画像領域に対応する画像データの部分に基づいて、第2の原変換用データセットを生成する。ここで、色空間の第1の色範囲は、第2の色範囲に含まれる色に比べて人の肌の色を表現する際により高い確率で使用される色を含むことが好ましい。
このような態様においては、人の顔が存在する第1の画像領域に基づいて作成された第1の原変換用データセットと、第1の画像領域とは異なる第2の画像領域に基づいて作成された第2の原変換用データセットと、の両方の特性を有する第3の変換用データセットを使用して画像データの色の補正が行われる。このため、人が写っている写真画像の画像データについて色の補正を行う際に、人の顔とそれ以外の部分との両方について好適な補正を行うことができる。
なお、第1の色範囲内の1以上の基準色は二つの基準色とすることができる。そして、第1の色範囲は、色空間においてそれら二つの基準色からの距離の和が、所定の第1の基準値Ls1以下の範囲であることが好ましい。そして、第2の色範囲は、色空間において距離の和が、第1の基準値Ls1以上の範囲であることが好ましい。このような態様とすれば、人の肌の色の表現に使用される可能性が高い第1の色範囲と、第1の色範囲に比べて人の肌の色の表現に使用される可能性が低い第2の色範囲と、を簡便な方法で区分することができる。
第2種の色については、上記の所定の色空間において二つの基準色からの距離の和が小さい色ほど、その色空間において第1の原変換用データセットの出力色に近い出力色を有し、その色空間において上記の距離の和が大きい色ほど、その色空間において第2の原変換用データセットの出力色に近い出力色を有する変換用データセットを生成することが好ましい。このような態様とすれば、見る者が自然な印象を受けるような補正を行うことができる変換用データセットを簡便な方法で生成することができる。
また、第1および第2の原変換用データセットならびに変換用データセットは、入力色を表す入力値の組合せと対応づけられた、出力色を表す出力値の組合せを格納する3次元ルックアップテーブルであって、互いに等しい範囲の入力値を有する3次元ルックアップテーブルとすることができる。そのような態様において、変換用データセットを生成する際には、第1の原変換用データセットとしての第1のルックアップテーブルの出力値と、第2の原変換用データセットとしての第2のルックアップテーブルの出力値と、の重み付け平均を計算することによって、変換用データセットとしての第3のルックアップテーブルを生成することができる。
このような態様とすれば、簡易な方法で、第1および第2の原変換用データセットの特性を反映させて、変換用データセットを生成することができる。なお、重み付け平均における第1のルックアップテーブルの出力値の重みは、上記の距離の和の増大に対して線形に減少する直線上にある値とすることができる。また、重み付け平均における第1のルックアップテーブルの出力値の重みは、上記の距離の和の増大に対して上に凸の形状で減少する曲線上にある値とすることもできる。
なお、第3のルックアップテーブルを生成する際には、第1のルックアップテーブルの入力値の組合せと対応づけられた重みを格納する重みルックアップテーブルを参照しつつ、重み付け平均を計算することによって、第3のルックアップテーブルを生成することが好ましい。このような態様とすれば、画像データの色の補正を行う際の処理の負荷を少なくすることができる。
また、第2の色範囲は、色空間において第1の色範囲を囲む色範囲であることが好ましい。このような態様とすれば、色の補正の結果、生成される画像データの画像がそれを見る者に自然に感じられるような変換用データセットを生成することができる。なお、「第2の色範囲が第1の色範囲を囲む」とは、「色空間において、第2の色範囲に含まれるある2点のある内分点が第1の色範囲に含まれる」という条件を満たすような、第1および第2の色範囲内の点が存在することをいう。
なお、以下のような変換用データセットを生成することも好ましい。すなわち、この変換用データセットは、さらに、色空間において第1および第2の色範囲以外の第3の色範囲に含まれる少なくとも一部の第3種の色については、第2の原変換用データセットと同じ出力色を有する変換用データセットである。このような態様とすれば、一部の色については、第2の原変換用データセットの特性を反映させて補正することができる。よって、画像データについて色の補正を行う際に、画像中のある部分と他の部分との両方について好適な補正を行うことができる。
また、第1の色範囲内の1以上の基準色は二つの基準色とすることができる。そして、第1〜第3の色範囲は、以下のような色範囲とすることができる。すなわち、第1の色範囲は、色空間において二つの基準色からの距離の和が、所定の第1の基準値Ls1以下の範囲である。第2の色範囲は、色空間において距離の和が、第1の基準値Ls1以上で所定の第2の基準値Ls2(Ls2>Ls1)以下の範囲である。そして、第3の色範囲は、色空間において距離の和が、第1の基準値Ls2以上の範囲である。
このような態様とすれば、人の肌の色の表現に使用される可能性が高い第1の色範囲と、第1の色範囲に比べて人の肌の色の表現に使用される可能性が低い第3の色範囲と、それらの中間の特性を有する第2の色範囲と、を簡便な方法で区分することができる。
なお、変換用データセットを生成する際には、第1の画像領域を決定できなかった場合に、画像データに基づいて変換用データセットを生成することが好ましい。このような態様とすれば、画像中において第1の画像領域を決定できた場合と、第1の画像領域を決定できなかった場合との両方について、好ましい色補正を行うことができる。
なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および画像処理装置、印刷方法および印刷装置、印刷制御方法および印刷制御装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
A.第1実施例:
A1.装置の全体構成:
図1は、第1の実施形態の印刷システムのソフトウェアの構成を示すブロック図である。コンピュータ90では、所定のオペレーティングシステムの下で、アプリケーションプログラム95が動作している。また、オペレーティングシステムには、ビデオドライバ91やプリンタドライバ96が組み込まれている。
アプリケーションプログラム95は、マウス130やキーボード120から入力されるユーザの指示に応じて、レッド(R),グリーン(G),ブルー(B)の3色の色成分からなる原画像データORGをCD−R140から読み込む。そして、ユーザの指示に応じて、原画像データORGに画像のレタッチなどの処理を行う。アプリケーションプログラム95は、処理を行った画像を、ビデオドライバ91を介してCRTディスプレイ21に画像を表示する。また、アプリケーションプログラム95は、ユーザからの印刷指示を受け取ると、プリンタドライバ96に印刷指示を出し、処理を行った画像を初期画像データPIDとしてプリンタドライバ96に出力する。初期画像データPIDは、各画素の色がsRGB表色系で表された画像データである。より具体的には、初期画像データPIDは、各画素について、レッド(R),グリーン(G),ブルー(B)の色成分の階調値(0〜255)を有する画像データである。
プリンタドライバ96は、初期画像データPIDをアプリケーションプログラム95から受け取り、これをプリンタ22が処理可能な印刷画像データFNL(ここではシアン、マゼンダ、イエロー、ブラック、ライトシアン、ライトマゼンタの6色についての多値化された信号)に変換する。
なお、「ライトシアン」は、シアンと色相が同じでシアンよりも明度が高いインク色である。また、「ライトマゼンタ」は、マゼンタと色相が同じでマゼンタよりも明度が高いインク色である。
図1に示した例では、プリンタドライバ96の内部には、色調調整モジュール103と、解像度変換モジュール97と、色変換モジュール98と、ハーフトーンモジュール99と、並べ替えモジュール100とが備えられている。
色調調整モジュール103は、アプリケーションプログラム95から受け取った初期画像データPIDを変換して色調を補正し、画像データPIDrを生成する。画像データPIDrは、各画素についてレッド(R),グリーン(G),ブルー(B)の色成分の階調値(0〜255)を有し、初期画像データPIDと同じ画素数を有する画像データである。
なお、プリンタドライバ96における画像処理においては、ユーザが所定のタイミングで、マウス130やキーボード120を介して指示を入力することもできる。このように、CRT21の表示を通じてユーザに所定の指示を行わせ、マウス130やキーボード120を介して行われる入力を受け取る機能部を、UIモジュール(ユーザインターフェイスモジュール)105として図1に示す。
解像度変換モジュール97は、画像データPIDrの解像度をプリンタ22で印刷を行う際の解像度に変換して画像データMID1を生成する。
色変換モジュール98は、3次元ルックアップテーブル104を参照しつつ、画像データMID1を画像データMID2に変換する。画像データMID2は、プリンタ22が使用するシアン(C)、マゼンダ(M)、イエロー(Y)、ブラック(K)、ライトシアン(LC)、ライトマゼンタ(LM)の濃度の階調値で各画素の色が表された画像データである。なお、3次元ルックアップテーブル104は、入力値としてレッド、グリーン、ブルーの階調値の組み合わせを有し、出力値としてシアン、マゼンダ、イエロー、ブラック、ライトシアン、ライトマゼンタの階調値の組み合わせを有するルックアップテーブルである。
ハーフトーンモジュール99は、各画素の各色の濃度が各色の階調値で表された画像データMID2にハーフトーン処理を行うことによって、各色の濃度が各画素におけるドットの有無で表される画像データMID3(「印刷データ」または「ドットデータ」とも呼ぶ)に変換する。
こうして生成された画像データMID3は、並べ替えモジュール100によりプリンタ22に転送すべきデータ順に並べ替えられて、最終的な印刷画像データFNLとして出力される。
プリンタ22は、紙送りモータによって用紙Pを搬送する機構と、キャリッジモータによってキャリッジ31を用紙Pの搬送方向SSと垂直な方向MSに往復動させる機構と、キャリッジ31に搭載されインクの吐出およびドット形成を行う印刷ヘッド28と、各種の設定データを格納しているP−ROM42と、これらの紙送りモータ,キャリッジモータ,印刷ヘッド28、P−ROM42および操作パネル32を制御するCPU41とから構成されている。プリンタ22は、印刷画像データFNLを受け取って、印刷画像データFNLに応じてシアン(C)、マゼンダ(M)、イエロー(Y)、ブラック(K)、ライトシアン(LC)、ライトマゼンタ(LM)で印刷媒体上にドットを形成し、印刷を実行する。
なお、本明細書においては、「印刷装置」とは、狭義にはプリンタ22のみをさすが、広義にはコンピュータ90とプリンタ22とを含む印刷システム全体を表す。
A2.色調調整モジュールにおける処理:
図2は、色調調整モジュール103における色補正の処理を示すフローチャートである。図2のフローチャートの各処理は、色調調整モジュール103によって実行される。
ステップS10では、色調調整モジュール103は、初期画像データPIDを解析し、顔領域A1を決定する。顔領域A1の決定は、たとえば、初期画像データPIDの画像の一部分について、順に、人間の目および口の基本的なパターンを表す基準パターンとマッチングさせることによって行われる。本実施例では、顔領域A1は目に対応する部分と口に対応する部分を含む長方形の領域として特定される。この長方形の領域A1は、マッチングされるパターンに対する比率があらかじめ定められている。その比率は、長方形の領域A1全体に対して人の顔であることを前提として色の補正が行われても画像が不自然とならないような大きさとなるような比率である。なお、初期画像データPIDを解析し顔領域A1を決定する色調調整モジュール103の機能部を、顔領域決定部103aとして図1に示す。
図2のステップS20では、ステップS10において顔領域A1が特定できたか否かを判定する。顔領域A1が特定できなかった場合には、処理は、ステップS70に進む。顔領域A1が特定できた場合には、処理は、ステップS30に進む。
図3は、初期画像データPIDの画像の領域A0中の顔領域A1と背景領域A2を示す図である。本実施例では、アプリケーションプログラム95から送られた初期画像データPIDは、デジタルスチルカメラによって生成された写真画像のデータである。初期画像データPIDの画像中には、被写体として、人物O1と、空O2と、海O3と、が含まれている。初期画像データPIDの写真画像においては、人物O1に対して背後から日の光が当たっている。このため、人物O1は、空O2および海O3に比べて暗く写っている。
図2のステップS30では、色調調整モジュール103は、初期画像データPIDのうち顔領域A1に対応するデータに基づいて、顔領域用の3次元ルックアップテーブル106aを生成する。たとえば、色調調整モジュール103は、以下のように顔領域用の3次元ルックアップテーブル106aを生成する。
色調調整モジュール103は、まず、顔領域A1の各画素のRGBの階調値に基づいて、顔領域A1の平均の色Cfaを計算する。そして、その平均の色Cfaに対応する3次元ルックアップテーブル106aの出力色を、理想的な顔の肌の色に決定する。具体的には、理想的な顔の肌の色を表す出力階調値の組合せを、平均色Cfaを表す入力階調値の組合せに対応づける。また、色調調整モジュール103は、平均の色Cfa以外の色についても、理想的な顔の肌の色に近づくように、各色に対応する3次元ルックアップテーブル106aの出力値を決定する。平均色Cfa以外の色については、その色が平均色Cfaに近い色ほど改変量が大きく、平均色Cfaから遠い色ほど改変量が小さくなるように、3次元ルックアップテーブル106aの出力値が定められる。なお、改変量は、第1実施例においては、RGB表色系における変換前後の色の距離で評価する。
このように顔領域用の3次元ルックアップテーブル106aを生成する色調調整モジュール103の機能部を、第1の3DLUT生成部(第1の3次元ルックアップテーブル生成部)103bとして図1に示す。
なお、「色の改変量」、すなわち「色の違い」は、その色空間において異なる色を表す各点の各成分の差の2乗和の平方根で表される。たとえば、RGB色空間において、ある色C1が(Vr1,Vg1,Vb1)で表されるとする。そして、その色C1と(Vr2,Vg2,Vb2)で表される色C2との違いΔDcは、以下の式(1)で表される。なお、この色の違いΔDcを、以下では、RGB色空間における二つの色の「距離」とも表記する。
Figure 0004635916
図2のステップS40では、色調調整モジュール103は、初期画像データPIDの全領域A0のデータに基づいて、背景用の3次元ルックアップテーブル106bを生成する。たとえば、色調調整モジュール103は、以下のように背景用の3次元ルックアップテーブル106bを生成する。
色調調整モジュール103は、まず、画像の全領域A0の各画素のRGBの階調値に基づいて、全領域A0の平均の色Caaを計算する。そして、その平均の色Caaに対応する3次元ルックアップテーブル106bの出力色を、理想的な背景の色に決定する。具体的には、理想的な背景の色を表す出力階調値の組合せを、平均色Caaを表す入力階調値の組合せに対応づける。また、平均の色Caa以外の色についても、理想的な背景の色に近づくように、各色に対応する3次元ルックアップテーブル106bの出力値を決定する。平均色Caa以外の色については、その色が平均色Caaに近い色ほど改変量が大きく、平均色Caaから遠い色ほど改変量が小さくなるように、3次元ルックアップテーブル106bの出力値が定められる。このように背景用の3次元ルックアップテーブル106bを生成する色調調整モジュール103の機能部を、第2の3DLUT生成部(第2の3次元ルックアップテーブル生成部)103cとして示す。
図2のステップS50では、色調調整モジュール103は、顔領域用の3次元ルックアップテーブル106aと、背景用の3次元ルックアップテーブル106bとに基づいて、色補正用ルックアップテーブル106cを生成する。すなわち、色調調整モジュール103は、顔領域用の3次元ルックアップテーブル106a中の対応するグリッドの出力値と、背景領域用の3次元ルックアップテーブル106b中の対応するグリッドの出力値と、に基づいて色補正用ルックアップテーブル106cの各グリッドの出力値を計算する。
なお、「グリッド」とは、3次元ルックアップテーブルの入力値の組合せ(たとえば、レッド、グリーン、ブルーの各階調値の組合せ)で特定される、色空間内の点である。3次元ルックアップテーブルにおいて、各グリッドは、出力階調値の組合せと対応づけられている。なお、レッド、グリーン、ブルーの各階調値が0〜255の値をとるとき、グリッドは、たとえば、そのうちのそれぞれ17個の階調値の組合せで決定される点である。そのような態様のルックアップテーブルは、17×17×17=4913個のグリッドを有する。
また、以下で、「あるルックアップテーブル中のグリッドに対応する他のルックアップテーブル中のグリッド」という場合には、「あるルックアップテーブル中のグリッド」の入力階調値の組合せと等しい入力階調値の組合せを有する「他のルックアップテーブル中のグリッド」を意味する。
色調調整モジュール103は、たとえば、色補正用ルックアップテーブル106cのあるグリッドにおけるレッドの階調値Vr3を計算する際には、顔領域用の3次元ルックアップテーブル106a中の対応するグリッドのレッドの階調値Vr1と、背景領域用の3次元ルックアップテーブル106b中の対応するグリッドのレッドの階調値Vr2と、について、以下の式(2)のように重み付け平均を計算する。なお、W1は、顔領域用の3次元ルックアップテーブル106aの重みである。W2は、背景領域用の3次元ルックアップテーブル106bの重みである。各ルックアップテーブルの重みW1,W2は、0以上1以下の値をとる。W1とW2とは、W1+W2=1の関係を有する。
Vr3=W1×Vr1+W2×Vr2 ・・・ (2)
色補正用ルックアップテーブル106cのグリーンおよびブルーの出力階調値についても同様に、顔領域用の3次元ルックアップテーブル106aの階調値と、背景領域用の3次元ルックアップテーブル106bの階調値と、について以下の式(3)、(4)にしたがって重み付け平均を計算して決定する。
Vg3=W1×Vg1+W2×Vg2 ・・・ (3)
Vb3=W1×Vb1+W2×Vb2 ・・・ (4)
Vg1:顔領域用の3次元ルックアップテーブル106aのグリーンの出力階調値
Vg2:背景領域用の3次元ルックアップテーブル106bのグリーンの出力階調値
Vg3:色補正用ルックアップテーブル106cのグリーンの出力階調値
Vb1:顔領域用の3次元ルックアップテーブル106aのブルーの出力階調値
Vb2:背景領域用の3次元ルックアップテーブル106bのブルーの出力階調値
Vb3:色補正用ルックアップテーブル106cのブルーの出力階調値
図4は、顔領域用の3次元ルックアップテーブル106aと、背景用の3次元ルックアップテーブル106bとに基づいて、色補正用ルックアップテーブル106cを生成する方法を示す図である。色補正用ルックアップテーブル106cにおいて各入力色を表すグリッドは、3種類に分類される。
第1種のグリッドは、第1の基準色を表す点Ps1rと第2の基準色を表す点Ps2rを焦点とする楕円の回転体(以下、このような3次元形状を「楕円殻」と表記する)Es1内に含まれるグリッドである。以下、楕円殻Es1内の領域を第1の色範囲Scfと表記する。第2種のグリッドは、同じく、点Ps1r,Ps2rを焦点とする楕円殻であって楕円殻Es1よりも大きい楕円殻Es2内であり、かつ、楕円殻Es1外の領域(以下、「第2の色範囲Scm」と表記する)に含まれるグリッドである。第3種のグリッドは、楕円殻Es2外の領域(以下、「第3の色範囲Scb」と表記する)に含まれるグリッドである。
第1の基準色の点Ps1rは、レッド、グリーン、ブルーの階調値がそれぞれ220,180,200の点である。第2の基準色の点Ps2rは、レッド、グリーン、ブルーの階調値がそれぞれ200,160,180の点である。第1と第2の基準色は、人の肌を表す際に使用される色であり、いずれも理想的な肌色に近い色である。
楕円殻Es1は、RGB色空間において、第1の基準色の点Ps1rと第2の基準色の点Ps2rからの距離の和がLs1である点の集合である。そして、楕円殻Es2は、RGB色空間において、点Ps1r,Ps2rからの距離の和がLs2(Ls2>Ls1)である点の集合である。Ls1は、たとえば、50とすることができる。Ls2は、たとえば、100とすることができる。なお、図4の右側に示した色補正用ルックアップテーブル106c内の楕円殻Es1,Es2は理解を容易にするために示したものである。そして、図4中の楕円殻Es1,Es2の大きさおよび位置は、実際の数値を反映するものではない。
図5は、RGB色空間における点Ps1r,Ps2rからの距離L1,L2の和Lsと、顔領域用の3次元ルックアップテーブル106aの重みW1と、背景領域用の3次元ルックアップテーブル106bの重みW2と、の関係を示すグラフである。グラフの横軸は、点Ps1r,Ps2rからの距離の和Lsを表す。図5のグラフの横軸において、Ls≦Ls1の範囲は、第1の色範囲Scfに相当する。Ls1<Ls<Ls2の範囲は、第2の色範囲Scmに相当する。そして、Ls≧Ls2の範囲は、第3の色範囲Scbに相当する。
図5においては、第1の色範囲Scfに相当するLs≦Ls1の範囲においては、顔領域用の3次元ルックアップテーブル106aの重みW1は1である。そして、背景領域用の3次元ルックアップテーブル106bの重みW2は0である。
すなわち、色調調整モジュール103は、色補正用ルックアップテーブル106cを生成する際には、第1の色範囲Scfに含まれるグリッドGfについては、出力値として、顔領域用の3次元ルックアップテーブル106a中の対応するグリッドの出力値と同じ出力値を決定する。
理想的な人の肌の色に近い第1の色範囲Scf内の色は、写真画像中において人の肌を表している可能性が高い。上記のような態様においては、人の肌の色に対応づけられる出力値が、顔領域用の3次元ルックアップテーブル106aと同じ出力値となるように、色補正用ルックアップテーブル106cを生成することができる。その結果、色補正用ルックアップテーブル106cを、人の肌の色を好適に補正することができるルックアップテーブルとすることができる。
また、第3の色範囲Scbに相当するLs≧Ls2の範囲においては、顔領域用の3次元ルックアップテーブル106aの重みW1は0である。そして、背景領域用の3次元ルックアップテーブル106bの重みW2は1である。
すなわち、色調調整モジュール103は、第3の色範囲Scbに含まれるグリッドGbについては、出力値として、背景領域用の3次元ルックアップテーブル106b中の対応するグリッドの出力値と同じ出力値を決定する。
人の肌の色とは大きく異なる第3の色範囲Scb内の色は、写真画像中において人の肌以外の服や背景を表す可能性が高い。上記のような態様においては、服や背景などの色に対応づけられる出力値が、背景領域用の3次元ルックアップテーブル106bと同じ出力値となるように、色補正用ルックアップテーブル106cを生成することができる。その結果、色補正用ルックアップテーブル106cを、服や背景の色を好適に補正することができるルックアップテーブルとすることができる。
さらに、顔領域用の3次元ルックアップテーブル106aの重みW1は、第2の色範囲Scmに相当するLs1<Ls<Ls2の範囲において、基準色の点Ps1r,Ps2rからの距離の和Lsの増加に対して上に凸のカーブで単調減少する曲線上にある値である。そして、背景領域用の3次元ルックアップテーブル106bの重みW2は、第2の色範囲Scmに相当するLs1<Ls<Ls2の範囲において、Lsの増加に対して下に凸のカーブで単調増加する曲線上にある値である。なお、本明細書において、「曲線上にある値」とは、「曲線上の値」プラスマイナス5%の範囲に含まれる値であることをいう。色調調整モジュール103は、第2の色範囲Scmに含まれるグリッドGmについては、上記のような重みW1,W2に基づいて式(2)〜(4)を使用して重み付け平均を行うことで、出力値を決定する。
上記のような態様とすることで、色補正用ルックアップテーブル106cの生成において、第2の色範囲Scmに含まれるグリッドの出力値を以下のような値とすることができる。すなわち、第1の色範囲Scfに近いグリッドほど顔領域用の3次元ルックアップテーブル106aの出力値の色に近い色を表す出力値を有する。そして、第1の色範囲Scfから遠いグリッドほど背景用の3次元ルックアップテーブル106bの出力値の色に近い色を表す出力値を有する。第1の画像領域と第3の領域の間に位置する第2の色範囲Scmにおいてこのように出力値を定めることで、画像の色変換の結果が、見る者にとって自然であると感じられるような色補正用ルックアップテーブル106cを生成することができる。
顔領域用の3次元ルックアップテーブル106aの重みWC1がLsに対して線形に減少し、背景用の3次元ルックアップテーブル106bの重みWC2がLsに対して線形に増大する比較例を、図5において破線で示す。第1実施例においては、図5に示すように、顔領域用の3次元ルックアップテーブル106aの重みW1は、二つの基準点Ps1r,Ps2rからの距離の和Lsの増大に対して、線形に減少するのではなく、上に凸のカーブに沿って減少する。その結果、第1実施例の色補正用ルックアップテーブル106cにおいては、第2の色範囲Scm中のグリッドであって第1の色範囲Scfに近いグリッドの出力値は、比較例の態様よりも顔領域用の3次元ルックアップテーブル106aの重みが大きくなる。
たとえば、第1の基準色の点Ps1rと第2の基準色の点Ps2rからの距離の和がLssであるグリッドについては、第1実施例の重みW1sは、比較例の重みWC1sよりも大きい。その結果、第1実施例の色補正用ルックアップテーブル106cにおいては、比較例に沿って生成されるルックアップテーブルよりも顔領域用の3次元ルックアップテーブル106aの出力値に近くなる。
写真を撮影する際の光源が色を有していた場合は、写真画像中において第2の画像領域に含まれる色を有する部分であっても、人の顔である可能性がある。第2の色範囲Scmに含まれる色で表された画像領域が、そのような色に偏りがある人の顔である可能性もある。一方、人は、同程度の大きさであれば、写真画像中の人の顔の色を背景の入りよりもより重視する。
第2の色範囲Scmにおいて重みW1を上記のように定めることで、第2の色範囲Scmにおいて人の顔である可能性が相対的に大きい色(グリッド)について、比較例に比べて顔領域用の3次元ルックアップテーブル106aの特性をより強く反映させることができる。その結果、画像変換の結果がよりユーザが好ましいと感じられるように、色補正用ルックアップテーブル106cを生成することができる。
なお、図5に示したような顔領域用の3次元ルックアップテーブル106aの重みW1、および背景領域用の3次元ルックアップテーブル106bの重みW2は、あらかじめ重みルックアップテーブル107(図1参照)に格納されている。重みルックアップテーブル107は、色補正用ルックアップテーブル106cが有すべき入力値のグリッドと同じ入力値のグリッドを有している。そして、重みルックアップテーブル107は、それらのグリッドと対応づけて図5に示した条件を満たす重みW1,W2を格納している。色調調整モジュール103は、図2のステップS50において3次元ルックアップテーブル106a,106bに基づいて色補正用ルックアップテーブル106cを生成する際に、この重みルックアップテーブル107を参照する(図4参照)。
以上のようにして色補正用ルックアップテーブル106cを生成する色調調整モジュール103の機能部を、色補正用LUT生成部(色補正用ルックアップテーブル生成部)103eとして図1に示す。
図2のステップS60では、色調調整モジュール103は、色補正用ルックアップテーブル106cを参照して初期画像データPIDを画像変換することによって、画像データPIDrを生成する(図1参照)。このような機能を奏する色調調整モジュール103を、色調補正部103fとして図1に示す。
一方、ステップS10において、写真画像中に顔領域が特定できなかった場合には、処理は、ステップS70に進む。ステップS70では、色調調整モジュール103は、初期画像データPIDの全領域A0のデータに基づいて、色補正用ルックアップテーブル106cを生成する。色補正用ルックアップテーブル106cは、たとえば、ステップS40で背景領域用の3次元ルックアップテーブル106bを生成する際と同じ方法で生成することができる。このような機能は、第2の3次元ルックアップテーブル生成部103c(図1参照)が奏する。その後、ステップS60では、色調調整モジュール103は、色補正用ルックアップテーブル106cを参照して初期画像データPIDを画像変換して、画像データPIDrを生成する(図1参照)。
写真画像中に顔領域が存在しない場合は、ステップS70のような処理で色補正用ルックアップテーブル106cを生成することによって、ステップS60において、画像全体の色の傾向を反映させた色の補正を行うことができる。
B.第2実施例:
第2実施例においては、図2のステップS50における顔領域用の3次元ルックアップテーブル106aと、背景用の3次元ルックアップテーブル106bとの出力値の重み付けの重みが第1実施例とは異なる。第2実施例の他の点は第1実施例と同じである。
図6は、L***空間における第1から第3の領域ScfL,ScmL,ScbLを示す図である。第1の色範囲ScfLは、L***空間において、第1の基準色を表す点Ps1Lと第2の基準色を表す点Ps2Lを焦点とする楕円殻Es1L内の領域である。第2の色範囲ScmLは、同じく、点Ps1L,Ps2Lを焦点とする楕円殻であって楕円殻Es1Lよりも大きい楕円殻Es2L内であり、かつ、楕円殻Es1外の領域である。第3の色範囲ScbLは、楕円殻Es2L外の領域である。
第1の基準色の点Ps1Lは、L*,a*,b*の階調値がそれぞれ65,20,20の点である。第2の基準色の点Ps2Lは、L*,a*,b*の階調値がそれぞれ85,20,20の点である。第2実施例の第1と第2の基準色も、人の肌を表す際に使用される色であり、いずれも理想的な肌色に近い色である。
なお、L***空間においては、L*の最大値は100である。このため、楕円殻Es1L内の領域であってもL*が100を超える部分については、第1の色範囲ScfLを構成しない。同様に、楕円殻Es2L内の領域であってもL*が100を超える部分については、第2の色範囲ScmLを構成しない。本明細書においては、このように、色空間において楕円などの3次元形状が所定の色の領域(色範囲)を完全に囲っておらず、その色の領域の一部がその色空間の最大範囲に達している場合も、その3次元形状がその色空間を「区切っている」と表記する。
なお、図6において、参考までに、顔領域の判定に使用される色範囲Scxを示す。色範囲Scxは、14個pc1〜pc14の点で囲まれた7角柱内の領域である。ステップS10においては、画像中に目や口などの基準パターンと一致する模様が存在する場合にも、その模様が存在する領域の色がこの色範囲Scx内にない場合には、その模様を顔であるとは判定しない。楕円殻Es1L,Es2Lは、この色範囲Scxに基づいて定めることができる。たとえば、楕円殻Es1Lは、色範囲Scx内に含まれるように定めることができる。また、楕円殻Es2Lは、内部に色範囲Scxを含むように定めることができる。
第2実施例においても、色補正用ルックアップテーブル106cにおいて各入力色を表すグリッドは、3種類に分類される。第1種のグリッドGfLは、そのグリッドが表す色をL***表色系で表現した場合に、L***の第1の色範囲ScfLに含まれるグリッドである。第2種のグリッドGmLは、そのグリッドが表す色をL***表色系で表現した場合に、L***の第2の色範囲ScmLに含まれるグリッドである。第3種のグリッドGbLは、そのグリッドが表す色をL***表色系で表現した場合に、L***の第3の色範囲ScbLに含まれるグリッドである。
図7は、L***色空間における点Ps1L,Ps2Lからの距離の和LsLと、顔領域用の3次元ルックアップテーブル106aの重みW1Lと、背景領域用の3次元ルックアップテーブル106bの重みW2Lと、の関係を示すグラフである。各ルックアップテーブルの重みW1L,W2Lは、0以上1以下の値をとる。W1LとW2+とは、W1+W2=1の関係を有する。
図7のグラフの横軸は、点Ps1L,Ps2Lからの距離の和LsLを表す。なお、第2実施例における二つの色CL1(L1*,a1*,b1*)とCL2(L2*,a2*,b2*)の「距離」、すなわち、色の違いは以下の式(5)で計算される。
Figure 0004635916
図7のグラフの横軸において、LsL≦Ls1Lの範囲は、第1の色範囲ScfLに相当する。Ls1L<LsL<Ls2lの範囲は、第2の色範囲ScmLに相当する。そして、LsL≧Ls2Lの範囲は、第3の色範囲ScbLに相当する。
図7においては、第1の色範囲ScfLに相当するLsL≦Ls1Lの範囲においては、顔領域用の3次元ルックアップテーブル106aの重みW1Lは1である。そして、背景領域用の3次元ルックアップテーブル106bの重みW2Lは0である。また、第3の色範囲ScbLに相当するLsL≧Ls2Lの範囲においては、顔領域用の3次元ルックアップテーブル106aの重みW1Lは0である。そして、背景領域用の3次元ルックアップテーブル106bの重みW2Lは1である。
さらに、顔領域用の3次元ルックアップテーブル106aの重みW1Lは、第2の色範囲ScmLに相当するLs1L<LsL<Ls2Lの範囲において、基準色の点Ps1L,Ps2Lからの距離の和Lsの増加に対して線形に単調減少する直線上にある値である。そして、背景領域用の3次元ルックアップテーブル106bの重みW2Lは、第2の色範囲ScmLに相当するLs1L<LsL<Ls2Lの範囲において、LsLの増加に対して線形に単調増加する直線上にある値である。なお、本明細書において、「直線上にある値」とは、「直線上の値」プラスマイナス5%の範囲に含まれる値であることをいう。
図7に示したような顔領域用の3次元ルックアップテーブル106aの重みW1L、および背景領域用の3次元ルックアップテーブル106bの重みW2Lは、あらかじめ重みルックアップテーブル107(図1参照)に格納されている。重みルックアップテーブル107は、色補正用ルックアップテーブル106cが有すべきレッド、グリーン、ブルーの入力値のグリッドと同じ入力値のグリッドを有している。そして、重みルックアップテーブル107は、それらのグリッドと対応づけて図7に示した条件を満たす重みW1L,W2Lを格納している。ただし、重みW1L,W2Lは、図6および図7に示すように、L***空間における基準点Ps1L,Ps2Lからの距離に基づいて定められた値である。色調調整モジュール103は、図2のステップS50において色補正用ルックアップテーブル106cを生成する際に、この重みルックアップテーブル107を参照する。
上記のような態様としても、生成される色補正用ルックアップテーブル106cによる色補正は、人の肌の色を好適に補正することができ、同時に、服や背景の色を好適に補正することができる。さらに、第2実施例の方法で生成された色補正用ルックアップテーブル106cによる色補正は、色補正の結果の画像がユーザに自然である感じられる補正である。
C.変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
C1.変形例1:
上記実施例では、3次元ルックアップテーブル106aは、顔領域A1の画像データに基づいて生成されていた(図2のステップS30参照)。しかし、画像データの色を補正するための変換用データセットとしての色補正用ルックアップテーブル106cの基礎となる第1の原変換用データセットは、画像中の他の領域に基づいて生成することもできる。たとえば、第1の原変換用データセットは、画像中で「青空」が写っていると推定できる領域に基づいて生成することもできる。また、第1の原変換用データセットは、画像中で「夕焼け空」が写っていると推定できる領域に基づいて生成することもできる。さらに、第1の原変換用データセットは、画像中で「木の緑」が写っていると推定できる領域に基づいて生成することもできる。
そして、変換用データセットは、以下のような態様とすることもできる。すなわち、変換用データセットは、青空の表示に使用される色を含む第1の色範囲に含まれるグリッドについては、青空の画像領域のデータに基づいて生成された第1の原変換用データセットの出力色と同じ出力色を有する。そして、変換用データセットは、木の緑の表示に使用される色を含む第2の色範囲に含まれるグリッドについては、木の緑の画像領域のデータに基づいて生成された第2の原変換用データセットの出力色と同じ出力色を有する。
さらに、第1および第2の色範囲以外の範囲である第3の範囲に含まれるグリッドについては、第1の色範囲に近いグリッドほど第1の原変換用データセットの出力色に近い出力色を有する。そして、第1および第2の色範囲以外の範囲である第4の範囲に含まれるグリッドについては、第2の色範囲に近いグリッドほど第2の原変換用データセットの出力色に近い出力色を有する。なお、変換用データセットは、第3の色範囲と第4の範囲とが少なくとも一部重複している態様とすることもでき、第3の色範囲と第4の範囲とが重複しない異なる範囲である態様とすることもできる。
以上のように、変換用データセットは、基礎となる変換用データセットの出力色と同じ出力色を有する色範囲Scfを複数有する態様とすることができる。そして、他の色範囲に含まれる色については、上記各色範囲Scfに近い色ほどその色範囲の変換用データセットの出力色に近い出力色を有する態様とすることができる。
なお、上記実施例では、画像データの色を補正するための変換用データセットとしての色補正用ルックアップテーブル106cの基礎となる、第1および第2のの原変換用データセットとしての3次元ルックアップテーブル106a,106bは、画像データに基づいて生成されていた(図2のステップS30,S40参照)。しかし、第1および第2のの原変換用データセットは、あらかじめ用意されていてもよい。
C2.変形例2:
上記実施例では、変換用データセットを生成する際の出力色の決定方法が異なる色範囲は、楕円殻で仕切られた色範囲であった(図4および図6参照)。そして、楕円の焦点となる基準色を表す点Ps1r,Ps2rは、第1実施例においては、レッド、グリーン、ブルーの階調値がそれぞれ220,180,200の点と200,160,180の点であった。また、楕円の焦点となる基準色を表す点Ps1L,Ps2Lは、第2実施例においては、L*,a*,b*の階調値がそれぞれ65,20,20の点と、85,20,20の点であった。
しかし、楕円の焦点となる基準色は、他の階調値を有する色とすることもできる。ただし、楕円の焦点となる二つの色は、人の肌の色を表現する際に使用することができる色であることが好ましい。そして、楕円の焦点となる二つの色は、見る者が、人の肌の色を表現する色として好ましく感じられるような色であることがより好ましく、見る者が、人の肌の色を表現する色として理想的であると感じられる色であることがさらに好ましい。
また、第2実施例においては、第1の領域ScfLと第2の領域ScmLを区切る楕円殻Es1Lは、顔領域の判定に使用される色範囲Scx内に含まれるように定められていた(図6参照)。また、第2の領域ScmLと第3の領域ScbLを区切る楕円殻Es2Lは、内部に色範囲Scxを含むように定められていた。しかし、第1〜第3の領域ScfL,ScmL、ScbLは、他の境界で区分することもできる。たとえば、第1〜第3の領域ScfL,ScmL、ScbLは、いずれも顔領域の判定に使用される色範囲Scx内に含まれる大小二つの楕円殻で区切られていてもよい。また、第1〜第3の領域ScfL,ScmL、ScbLは、いずれも顔領域の判定に使用される色範囲Scxを内部に含む大小二つの楕円殻で区切られていてもよい。
なお、互いに異なる画像領域に基づいて生成される原変換用データセットとそれぞれ同じ出力色を有するグリッドの色範囲Scf,Scbは、一方の色範囲Scbが他方の色範囲Scfを囲むような色範囲であることが好ましい。そして、互いに異なる画像領域に基づいて生成される二つの原変換用データセットに基づいて出力色が決定される色範囲Scmは、色範囲Scfと色範囲Scbの間に位置する色範囲であることが好ましい。
また、上記第1および第2実施例においては、変換用データセットを生成する際の出力色の決定方法が異なる色範囲は、楕円殻で仕切られた色範囲であった(図4および図6参照)。しかし、変換用データセットを生成する際の出力色の決定方法が異なる色範囲は、他の形状で区切られる色範囲とすることもできる。
変換用データセットを生成する際の出力色の決定方法が異なる色範囲は、たとえば、色空間において一つの基準色からの距離が一定値である球状の形状で区切られた色範囲とすることもできる。なお、変換用データセットを生成する際の出力色の決定方法が異なる色範囲は、たとえば、直方体などの多面体や他のより複雑な形状で仕切られる色範囲とすることもできる。
変換用データセットを生成する際の出力色の決定方法が異なる色範囲が3以上ある態様においては、それらの色範囲は、たとえば、同一の中心点を有し互いに異なる半径を有する複数の球状の形状で区切られた色範囲とすることができる。また、変換用データセットを生成する際の出力色の決定方法が異なる3以上の色範囲は、たとえば、重心と向きを同じくし互いに相似な3次元形状で仕切られる色範囲とすることもできる。そのような態様においては、色空間における各点が有する重み付け平均の重みは、3次元形状の表面上の点のうち最も近い点からの距離に応じて定めることが好ましい。
また、変換用データセットを生成する際の出力色の決定方法が異なる色範囲が3以上ある態様においては、各色範囲が、異なる形状で区切られている態様とすることもできる。たとえば、第1と第2の色範囲は、球状の形状で区切られており、第2の色範囲と第3の色範囲とは、楕円殻で区切られている態様とすることもできる。変換用データセットを生成する際の出力色の決定方法が異なる色範囲を区切る複数の形状としては、任意の形状を組み合わせて使用することができる。
C3.変形例3:
上記実施例においては、変換用データセットを生成する際の出力色の決定方法が異なる色範囲は、3種類存在した(図4および6参照)。しかし、変換用データセットを生成する際の出力色の決定方法が異なる色範囲は、2種類とすることもでき、4種類以上とすることもできる。
変換用データセットを生成する際の出力色の決定方法が異なる色範囲が2種類である態様においては、たとえば、第1実施例における第1の色範囲Scfを一方の色範囲とし、第1実施例における第1の色範囲Scf以外の色範囲を他方の色範囲とすることができる。このような態様においては、一方の色範囲に含まれるグリッドの出力値を計算する際に、3次元ルックアップテーブル106aの出力値が使用される。そして、他方の色範囲に含まれるグリッドの出力値を計算する際に、3次元ルックアップテーブル106a,106bの出力値の重み付け平均が使用される。
C4.変形例4:
上記実施例では、顔領域A1は一つであった(図3参照)。しかし、顔領域は、画像中において複数個、特定することもできる。すなわち、顔領域は、パターンマッチングや画素の色に基づいて、1以上、特定されることができる。
なお、第1の3次元ルックアップテーブル106aを生成する際には、それらの複数の顔領域すべての画素の色データに基づいて生成する態様とすることができる。また、複数の顔領域のうち、大きい方から所定の数だけの顔領域に基づいて、第1の3次元ルックアップテーブル106aを生成する態様とすることもできる。さらに、複数の顔領域のうち、大きい順に順位付けしたときに、所定の割合よりも上位の順位に該当する顔領域のみに基づいて、第1の3次元ルックアップテーブル106aを生成する態様とすることもできる。そして、単独で、画像全体の領域A0に対して所定の割合を占める大きさの顔領域のみに基づいて、第1の3次元ルックアップテーブル106aを生成することとしてもよい。
C5.変形例5:
上記実施例においては、顔領域用の3次元ルックアップテーブル106aの重みW1と、背景領域用の3次元ルックアップテーブル106bの重みW2とは、入力色に応じて一義的に決定される値であった。しかし、これらの重みW1,W2を、初期画像データPIDに基づいて計算する態様とすることもできる。
たとえば、重みW1,W2を決定するカーブ(図5および図7参照)を、写真画像の「シーン」ごとに用意し、写真画像の「シーン」に応じて選択的に使用する態様とすることもできる。写真画像の「シーン」とは、写真画像が写している対象物の種類を表すものであり、たとえば、「風景」、「標準」などの「シーン」を含む。写真画像の「シーン」は、たとえば、初期画像データPIDに基づいて以下のように決定することができる。
色調調整モジュール103は、画像の領域A0を複数の領域ブロックに分割し、各領域ブロックの平均の色を計算する。そして、平均の色が、基準となる「青」を含む所定の範囲の色に含まれる領域ブロックの数Nbと、平均の色が、基準となる「緑」を含む所定の範囲の色に該当する領域ブロックの数Bgとをカウントする。そして、Nbが所定のしきい値Thb以上であるか、または、Ngが所定のしきい値Thg以上である場合には、シーンを「風景」に決定する。一方、Nb<ThbかつNg<Thgである場合には、シーンを「標準」に決定する。
このように、「シーン」に応じて重みW1,W2のカーブ(図5および図7参照)を用意し、それらのカーブにしたがって入力色に応じて重みを決定する態様とすれば、写真画像が写している対象物の種類に応じて適切な色補正用ルックアップテーブル106cを生成することができる。なお、背景用3次元ルックアップテーブル106bを生成する際(図2のステップS40参照)に平均色Caaの目標となる色も、シーンに応じて決定されることが好ましい。
C6.変形例6:
上記各実施例では、顔領域と背景に基づいてそれぞれ3次元ルックアップテーブル106a,106bが生成され、それらに基づいて、色補正用ルックアップテーブル106cが生成された。3次元ルックアップテーブル106a,106bは、画像データの色を変換するための原変換用データセットである。しかし、画像データの色を補正するためのデータセットは、他の態様とすることもできる。
たとえば、画像データの色を補正するためのデータセットは、出力値を表す表色系が入力値を表す表色系とは異なるルックアップテーブルとすることもできる。また、画像データの色を補正するためのデータセットは、たとえば、各色成分(レッド、グリーン、ブルー)の3個のトーンカーブの形で保持することもできる。また、少なくとも一部の色について、色を表す階調値の組合せを他の色を表す階調値の組合せに変換することができる行列とすることもできる。さらに、色を補正するためのデータセットは、所定の表色系のパラメータの種類に対応づけられた関数であって、対応づけられたパラメータを入力値および出力値とする関数の各項の係数の組合せ形で保持されていてもよい。すなわち、画像データの色を補正するためのデータセットは、画像データの色の少なくとも一部を変えることができるデータの集合であればよい。
色を補正するためのデータセットがトーンカーブである態様においては、出力値であるパラメータを重み付け平均することで、色補正用のデータセットを生成することができる。色を補正するためのデータセットが行列である態様においては、行列の各要素を重み付け平均することで、色補正用のデータセットを生成することができる。
C7.変形例7:
上記第1実施例では、二つの色に関する「遠い」または「近い」という評価、すなわち二つの色の違いの評価は、変換用データセットとしての色補正用3次元ルックアップテーブル106cの入力色の表色系(RGB表色系)におけるそれら二つの色を表す二点間の距離で評価された。しかし、二つの色の距離の評価は、他の色空間における2色間の距離で評価することもできる。たとえば、第2実施例のように、第1〜第3の色範囲SCfL、ScmL,ScbLを定めている色空間であるL***空間における色の2点間の距離で評価してもよい。第1〜第3の色範囲SCfL、ScmL,ScbLは、色補正用データセットにおけるグリッドの出力値の計算方法が互いに異なる範囲である。なお、二つの色の違いの評価は、L***空間以外の他の均等色空間、たとえばL***空間における距離で行うこともできる。
C8.変形例8:
上記実施例では、写真画像において、人物O1が逆光で撮影されていた。しかし、本発明は、たとえば、夜間に室内でフラッシュがたかれて、人物O1が背景に対して大幅に明るく撮影されてしまった画像についても、有効である。そのような写真画像に対しても、顔領域の大きさに基づいて、顔用のデータセットと背景用のデータセットとの出力階調値を重み付け平均して色補正用のデータセットを生成し、使用することで、見る者に好ましく感じられるような色調補正を行うことができる。
C9.変形例9:
上記各実施例では、印刷システムは、コンピュータ90、CRTディスプレイ21、マウス130やキーボード120、プリンタ22を含むシステムとして構成されていた。しかし、本発明の一態様としての印刷システムは、画像データが格納されたメモリカードを読み取るとができるカードリーダと、ユーザインターフェイス画面を表示することができるディスプレイと、ユーザの指示を入力するためのボタンと、第1実施例におけるプリンタドライバ96の各モジュールと、を備えた一体型プリンタとして構成することもできる。
C10.変形例10:
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、プリンタドライバ96(図1参照)の機能の一部をアプリケーションプログラム95やプリンタ22のCPU41が実行するようにすることもできる。
このような機能を実現するコンピュータプログラムは、フロッピディスクやCD−ROM等の、コンピュータ読み取り可能な記録媒体に記録された形態で提供される。ホストコンピュータは、その記録媒体からコンピュータプログラムを読み取って内部記憶装置または外部記憶装置に転送する。あるいは、通信経路を介してプログラム供給装置からホストコンピュータにコンピュータプログラムを供給するようにしてもよい。コンピュータプログラムの機能を実現する時には、内部記憶装置に格納されたコンピュータプログラムがホストコンピュータのマイクロプロセッサによって実行される。また、記録媒体に記録されたコンピュータプログラムをホストコンピュータが直接実行するようにしてもよい。
この明細書において、コンピュータとは、ハードウェア装置とオペレーションシステムとを含む概念であり、オペレーションシステムの制御の下で動作するハードウェア装置を意味している。コンピュータプログラムは、このようなコンピュータに、上述の各部の機能を実現させる。なお、上述の機能の一部は、アプリケーションプログラムでなく、オペレーションシステムによって実現されていても良い。
なお、この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。
第1の実施形態の印刷システムのソフトウェアの構成を示すブロック図。 色調調整モジュール103における色補正の処理を示すフローチャート。 初期画像データPIDの画像領域A0中の顔領域A1と背景領域A2を示す図。 顔領域用の3次元ルックアップテーブル106aと、背景用の3次元ルックアップテーブル106bとに基づいて、色補正用ルックアップテーブル106cを生成する方法を示す図。 RGB色空間における点Ps1r,Ps2rからの距離の和Lsと、顔領域用の3次元ルックアップテーブル106aの重みW1と、背景領域用の3次元ルックアップテーブル106bの重みW2と、の関係を示すグラフ。 ***空間における第1から第3の領域ScfL,ScmL,ScbLを示す図。 第2実施例において、顔領域用の3次元ルックアップテーブル106aと、背景用の3次元ルックアップテーブル106bとに基づいて、色補正用ルックアップテーブル106cを生成する方法を示す図。
符号の説明
21…CRTディスプレイ
22…プリンタ
28…印刷ヘッド
31…キャリッジ
32…操作パネル
41…CPU
42…ROM
90…コンピュータ
91…ビデオドライバ
95…アプリケーションプログラム
96…プリンタドライバ
97…解像度変換モジュール
98…色変換モジュール
99…ハーフトーンモジュール
100…並べ替えモジュール
103…色調調整モジュール
103a…顔領域決定部
103b…第1の3次元ルックアップテーブル生成部
103c…第2の3次元ルックアップテーブル生成部
103e…色補正用ルックアップテーブル生成部
103f…色調補正部
106a…第1の3次元ルックアップテーブル
106b…第2の3次元ルックアップテーブル
106c…色補正用ルックアップテーブル
107…重みルックアップテーブル
120…キーボード
130…マウス
A0…画像の全領域
A1…顔領域
A2…背景領域
Es1…第1の色範囲Scfと第2の色範囲Scmとを区切る楕円殻
Es1L…第1の色範囲ScfLと第2の色範囲ScmLとを区切る楕円殻
Es2…第2の色範囲Scmと第3の色範囲Scbとを区切る楕円殻
Es2L…第2の色範囲ScmLと第3の色範囲ScbLとを区切る楕円殻
FNL…印刷画像データ
Gb…第3の色範囲Scbに含まれるグリッド
Gf…第1の色範囲Scfに含まれるグリッド
Gm…第2の色範囲Scmに含まれるグリッド
Ps1r…RGB空間において第1の基準色を表す点
Ps1L…L***空間において第1の基準色を表す点
Ps2r…RGB空間において第2の基準色を表す点
Ps2L…L***空間において第2の基準色を表す点
Ls…二つの基準色の点からの距離の和
MID1…解像度変換後の画像データ
MID2…色変換後の画像データ
MID3…ハーフトーン処理後の画像データ
MS…用紙Pの搬送方向SSと垂直な方向
O1…人物
O2…空
O3…海
ORG…原画像データ
P…印刷用紙
PID…RGB表色系で表された初期画像データ
PIDr…RGB表色系で表された色調補正後の画像データ
SS…印刷用紙の搬送方向
Scb,ScbL…第3の色範囲
Scf,ScfL…第1の色範囲
Scm,ScmL…第2の色範囲
ΔDc…色の違いを量で表したもの

Claims (11)

  1. 写真画像の画像データの色を補正する画像処理装置であって、
    画像データの色を変換するための第1の原変換用データセットと、画像データの色を変換するためのデータセットであって少なくとも一部の入力色と対応づけられた出力色として前記第1の原変換用データセットとは異なる出力色を有する第2の原変換用データセットと、に基づいて変換用データセットを生成する変換用データセット生成部であって、所定の色空間の一部である第1の色範囲に含まれる少なくとも一部の第1種の色については、前記第1の原変換用データセットの出力色と同じ出力色を有し、前記色空間の他の一部である第2の色範囲に含まれる少なくとも一部の第2種の色については、前記色空間内において前記第1の色範囲内の1以上の所定の基準色に近い色ほど前記第1の原変換用データセットの出力色に近い出力色を有し、前記色空間内において前記基準色から遠い色ほど前記第2の原変換用データセットの出力色に近い出力色を有する変換用データセットを生成する変換用データセット生成部と、
    前記変換用データセットを参照して画像データの色を補正する色調補正部と、
    写真画像の画像データを解析して、前記写真画像中の一部の領域であって人の顔が存在する第1の画像領域を決定する第1の画像領域決定部と、
    前記画像データの前記第1の画像領域に対応する部分に基づいて、前記第1の原変換用データセットを生成する第1の原変換用データセット生成部と、
    前記写真画像中の画像領域であって前記第1の画像領域とは異なる第2の画像領域に対応する前記画像データの部分に基づいて、前記第2の原変換用データセットを生成する第2の原変換用データセット生成部と、を含
    前記第1の色範囲は、人の肌を表す色の範囲であり、
    前記第1の原変換用データセットは、前記画像データのうち前記第1の画像領域に含まれる色を有する画素の平均の色を、人の肌の色を表すのに望ましい色に変換するように構成された原変換用データセットであり、
    前記第2の原変換用データセットは、前記画像データのうち前記第2の画像領域に含まれる色を有する画素の平均の色を、背景の色を表すのに望ましい色に変換するように構成された原変換用データセットであり、
    前記変換用データセット生成部は、さらに、前記色空間において前記第1および第2の色範囲以外の第3の色範囲に含まれる少なくとも一部の第3種の色については、前記第2の原変換用データセットと同じ出力色を有する前記変換用データセットを生成する、画像処理装置。
  2. 請求項記載の画像処理装置であって、
    前記1以上の基準色は二つの基準色であり、
    前記第1の色範囲は、前記色空間において前記二つの基準色からの距離の和が、所定の第1の基準値Ls1以下の範囲であり、
    前記第2の色範囲は、前記色空間において前記距離の和が、前記第1の基準値Ls1以上の範囲である、画像処理装置。
  3. 請求項2記載の画像処理装置であって、
    前記変換用データセット生成部は、前記第2種の色については、前記色空間において前記二つの基準色からの距離の和が小さい色ほど、前記色空間において前記第1の原変換用データセットの出力色に近い出力色を有し、前記色空間において前記和が大きい色ほど、前記色空間において前記第2の原変換用データセットの出力色に近い出力色を有する前記変換用データセットを生成する、画像処理装置。
  4. 請求項3記載の画像処理装置であって、
    前記第1および第2の原変換用データセットならびに変換用データセットは、前記入力色を表す入力値の組合せと対応づけられた、前記出力色を表す出力値の組合せを格納する3次元ルックアップテーブルであって、互いに等しい範囲の前記入力値を有する3次元ルックアップテーブルであり、
    前記変換用データセット生成部は、前記第1の原変換用データセットとしての第1のルックアップテーブルの出力値と、前記第2の原変換用データセットとしての第2のルックアップテーブルの出力値と、の重み付け平均を計算することによって、前記変換用データセットとしての第3のルックアップテーブルを生成する、画像処理装置。
  5. 請求項4記載の画像処理装置であって、
    前記画像処理装置は、さらに、
    前記第1のルックアップテーブルの前記入力値の組合せと対応づけられた重みを格納する重みルックアップテーブルを備え、
    前記変換用データセット生成部は、前記重みルックアップテーブルを参照しつつ、前記重み付け平均を計算することによって、前記第3のルックアップテーブルを生成する、画像処理装置。
  6. 請求項1記載の画像処理装置であって、
    前記第2の色範囲は、前記色空間において前記第1の色範囲を囲む色範囲である、画像処理装置。
  7. 請求項記載の画像処理装置であって、
    前記1以上の基準色は二つの基準色であり、
    前記第1の色範囲は、前記色空間において前記二つの基準色からの距離の和が、所定の第1の基準値Ls1以下の範囲であり、
    前記第2の色範囲は、前記色空間において前記距離の和が、前記第1の基準値Ls1以上で所定の第2の基準値Ls2(Ls2>Ls1)以下の範囲であり、
    前記第3の色範囲は、前記色空間において前記距離の和が、前記第1の基準値Ls2以上の範囲である、画像処理装置。
  8. 請求項記載の画像処理装置であって、
    前記変換用データセット生成部は、前記第1の画像領域決定部が前記第1の画像領域を決定できなかった場合に、前記画像データに基づいて前記変換用データセットを生成する、画像処理装置。
  9. 写真画像の画像データの色を補正して印刷を行う印刷装置であって、
    画像データの色を変換するための第1の原変換用データセットと、画像データの色を変換するためのデータセットであって少なくとも一部の入力色と対応づけられた出力色として前記第1の原変換用データセットとは異なる出力色を有する第2の原変換用データセットと、に基づいて変換用データセットを生成する変換用データセット生成部であって、所定の色空間の一部である第1の色範囲に含まれる少なくとも一部の第1種の色については、前記第1の原変換用データセットの出力色と同じ出力色を有し、前記色空間の他の一部である第2の色範囲に含まれる少なくとも一部の第2種の色については、前記色空間内において前記第1の色範囲内の1以上の所定の基準色に近い色ほど前記第1の原変換用データセットの出力色に近い出力色を有し、前記色空間内において前記基準色から遠い色ほど前記第2の原変換用データセットの出力色に近い出力色を有する変換用データセットを生成する変換用データセット生成部と、
    前記変換用データセットを参照して画像データの色を補正する色調補正部と、
    写真画像の画像データを解析して、前記写真画像中の一部の領域であって人の顔が存在する第1の画像領域を決定する第1の画像領域決定部と、
    前記画像データの前記第1の画像領域に対応する部分に基づいて、前記第1の原変換用データセットを生成する第1の原変換用データセット生成部と、
    前記写真画像中の画像領域であって前記第1の画像領域とは異なる第2の画像領域に対応する前記画像データの部分に基づいて、前記第2の原変換用データセットを生成する第2の原変換用データセット生成部と、
    前記補正後の前記画像データに基づいて印刷を実行する印刷部と、を含
    前記第1の色範囲は、人の肌を表す色の範囲であり、
    前記第1の原変換用データセットは、前記画像データのうち前記第1の画像領域に含まれる色を有する画素の平均の色を、人の肌の色を表すのに望ましい色に変換するように構成された原変換用データセットであり、
    前記第2の原変換用データセットは、前記画像データのうち前記第2の画像領域に含まれる色を有する画素の平均の色を、背景の色を表すのに望ましい色に変換するように構成された原変換用データセットであり、
    前記変換用データセット生成部は、さらに、前記色空間において前記第1および第2の色範囲以外の第3の色範囲に含まれる少なくとも一部の第3種の色については、前記第2の原変換用データセットと同じ出力色を有する前記変換用データセットを生成する、印刷装置。
  10. 写真画像の画像データの色を補正する方法であって、
    画像データの色を変換するための第1の原変換用データセットと、画像データの色を変換するためのデータセットであって少なくとも一部の入力色と対応づけて前記第1の原変換用データセットとは異なる出力色を有する第2の原変換用データセットと、に基づいて変換用データセットを生成する工程であって、所定の色空間の一部である第1の色範囲に含まれる少なくとも一部の第1種の色については、前記第1の原変換用データセットの出力色と同じ出力色を有し、前記色空間の他の一部である第2の色範囲に含まれる少なくとも一部の第2種の色については、前記色空間内において前記第1の色範囲内の1以上の所定の基準色に近い色ほど前記第1の原変換用データセットの出力色に近い出力色を有し、前記色空間内において前記基準色から遠い色ほど前記第2の原変換用データセットの出力色に近い出力色を有する変換用データセットを生成する工程と、
    前記変換用データセットを参照して画像データの色を補正する工程と、を含さらに、
    前記変換用データセットの生成に先だって、
    写真画像の画像データを解析して、前記写真画像中の一部の領域であって人の顔が存在する第1の画像領域を決定する工程と、
    前記画像データの前記第1の画像領域に対応する部分に基づいて、前記第1の原変換用データセットを生成する工程と、
    前記写真画像中の画像領域であって前記第1の画像領域とは異なる第2の画像領域に対応する前記画像データの部分に基づいて、前記第2の原変換用データセットを生成する工程と、を含
    前記第1の色範囲は、人の肌を表す色の範囲であり、
    前記第1の原変換用データセットは、前記画像データのうち前記第1の画像領域に含まれる色を有する画素の平均の色を、人の肌の色を表すのに望ましい色に変換するように構成された原変換用データセットであり、
    前記第2の原変換用データセットは、前記画像データのうち前記第2の画像領域に含まれる色を有する画素の平均の色を、背景の色を表すのに望ましい色に変換するように構成された原変換用データセットであり、
    前記変換用データセットを生成する工程は、前記色空間において前記第1および第2の色範囲以外の第3の色範囲に含まれる少なくとも一部の第3種の色については、前記第2の原変換用データセットと同じ出力色を有する前記変換用データセットを生成する工程である、方法。
  11. コンピュータに写真画像の画像データの色の補正を実行させるためのコンピュータプログラムであって、
    画像データの色を変換するための第1の原変換用データセットと、画像データの色を変換するためのデータセットであって少なくとも一部の入力色と対応づけて前記第1の原変換用データセットとは異なる出力色を有する第2の原変換用データセットと、に基づいて変換用データセットを生成する機能であって、所定の色空間の一部である第1の色範囲に含まれる少なくとも一部の第1種の色については、前記第1の原変換用データセットの出力色と同じ出力色を有し、前記色空間の他の一部である第2の色範囲に含まれる少なくとも一部の第2種の色については、前記色空間内において前記第1の色範囲内の1以上の所定の基準色に近い色ほど前記第1の原変換用データセットの出力色に近い出力色を有し、前記色空間内において前記基準色から遠い色ほど前記第2の原変換用データセットの出力色に近い出力色を有する変換用データセットを生成する機能と、
    前記変換用データセットを参照して画像データの色を補正する機能と、をコンピュータに実現させ、さらに、
    前記変換用データセットの生成に先だって、写真画像の画像データを解析して、前記写真画像中の一部の領域であって人の顔が存在する第1の画像領域を決定する機能と、
    前記変換用データセットの生成に先だって、前記画像データの前記第1の画像領域に対応する部分に基づいて、前記第1の原変換用データセットを生成する機能と、
    前記変換用データセットの生成に先だって、前記写真画像中の画像領域であって前記第1の画像領域とは異なる第2の画像領域に対応する前記画像データの部分に基づいて、前記第2の原変換用データセットを生成する機能と、を含
    前記第1の色範囲は、人の肌を表す色の範囲であり、
    前記第1の原変換用データセットは、前記画像データのうち前記第1の画像領域に含まれる色を有する画素の平均の色を、人の肌の色を表すのに望ましい色に変換するように構成された原変換用データセットであり、
    前記第2の原変換用データセットは、前記画像データのうち前記第2の画像領域に含まれる色を有する画素の平均の色を、背景の色を表すのに望ましい色に変換するように構成された原変換用データセットであり、
    前記変換用データセットを生成する機能は、前記色空間において前記第1および第2の色範囲以外の第3の色範囲に含まれる少なくとも一部の第3種の色については、前記第2の原変換用データセットと同じ出力色を有する前記変換用データセットを生成する機能である、コンピュータプログラム。
JP2006063613A 2006-03-09 2006-03-09 画像データの色の補正 Expired - Fee Related JP4635916B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006063613A JP4635916B2 (ja) 2006-03-09 2006-03-09 画像データの色の補正

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006063613A JP4635916B2 (ja) 2006-03-09 2006-03-09 画像データの色の補正

Publications (2)

Publication Number Publication Date
JP2007243628A JP2007243628A (ja) 2007-09-20
JP4635916B2 true JP4635916B2 (ja) 2011-02-23

Family

ID=38588706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006063613A Expired - Fee Related JP4635916B2 (ja) 2006-03-09 2006-03-09 画像データの色の補正

Country Status (1)

Country Link
JP (1) JP4635916B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101691814B1 (ko) * 2014-04-17 2017-01-09 정익승 휴대용 인화장치의 색상검증방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001111858A (ja) * 1999-08-03 2001-04-20 Fuji Photo Film Co Ltd 色修正定義作成方法、色修正定義作成装置、および色修正定義作成プログラム記憶媒体
JP2001169135A (ja) * 1999-09-30 2001-06-22 Seiko Epson Corp 色修正装置、色修正方法および色修正制御プログラムを記録した記録媒体
JP2002016818A (ja) * 2000-04-28 2002-01-18 Fuji Photo Film Co Ltd 色補正方法および装置並びに記録媒体
JP2004172987A (ja) * 2002-11-20 2004-06-17 Sony Corp 信号処理装置および信号処理方法
JP2004192614A (ja) * 2002-11-29 2004-07-08 Ricoh Co Ltd 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
JP2004356930A (ja) * 2003-05-29 2004-12-16 Matsushita Electric Ind Co Ltd 色彩調整装置及びその方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06162207A (ja) * 1992-11-27 1994-06-10 Oki Electric Ind Co Ltd カラ−画像表示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001111858A (ja) * 1999-08-03 2001-04-20 Fuji Photo Film Co Ltd 色修正定義作成方法、色修正定義作成装置、および色修正定義作成プログラム記憶媒体
JP2001169135A (ja) * 1999-09-30 2001-06-22 Seiko Epson Corp 色修正装置、色修正方法および色修正制御プログラムを記録した記録媒体
JP2002016818A (ja) * 2000-04-28 2002-01-18 Fuji Photo Film Co Ltd 色補正方法および装置並びに記録媒体
JP2004172987A (ja) * 2002-11-20 2004-06-17 Sony Corp 信号処理装置および信号処理方法
JP2004192614A (ja) * 2002-11-29 2004-07-08 Ricoh Co Ltd 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
JP2004356930A (ja) * 2003-05-29 2004-12-16 Matsushita Electric Ind Co Ltd 色彩調整装置及びその方法

Also Published As

Publication number Publication date
JP2007243628A (ja) 2007-09-20

Similar Documents

Publication Publication Date Title
JP4345757B2 (ja) 画像データの色の補正
JP4424216B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
US6608926B1 (en) Image processing method, image processing apparatus and recording medium
JP4924264B2 (ja) 画像処理装置、画像処理方法、および、コンピュータプログラム
JP4877074B2 (ja) 画像処理装置、画像処理方法、および、コンピュータプログラム
JP2009033361A (ja) 色調整装置、画像形成装置およびプログラム
JP4788393B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20050068587A1 (en) Monotone conversion process for color images
US7224833B2 (en) Method for fast color saturation control
CN103716506B (zh) 图像处理装置及图像处理方法
JP4539778B2 (ja) 画像データの色の補正
JP4635916B2 (ja) 画像データの色の補正
JP4635920B2 (ja) 画像データの色の補正
JP4112413B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US7817303B2 (en) Image processing and image forming with modification of a particular class of colors
JP4359730B2 (ja) モノトーン変換装置、モノトーン変換方法およびモノトーン変換プログラムを記録した媒体
JP2007194683A (ja) 色調整方法、色調整装置および色調整プログラム
JP2002094826A (ja) 画像処理装置、画像形成装置、並びに画像処理方法
JP2005260404A (ja) 画像処理装置
JP2009031855A (ja) 画像処理装置、画像処理方法、および、コンピュータプログラム
JP6882720B2 (ja) 画像処理装置、および、コンピュータプログラム
JP2021197717A (ja) 画像処理装置、および、コンピュータプログラム
JP2004112547A (ja) 画像処理装置、方法、および記録媒体
JP2011228763A (ja) 画像処理装置及びそのプログラム
JP2001189861A (ja) 画像処理方法および画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101108

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees