JP2001285639A - 画像変化に基づく階調処理 - Google Patents

画像変化に基づく階調処理

Info

Publication number
JP2001285639A
JP2001285639A JP2001025902A JP2001025902A JP2001285639A JP 2001285639 A JP2001285639 A JP 2001285639A JP 2001025902 A JP2001025902 A JP 2001025902A JP 2001025902 A JP2001025902 A JP 2001025902A JP 2001285639 A JP2001285639 A JP 2001285639A
Authority
JP
Japan
Prior art keywords
image
gradient
curve
input
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001025902A
Other languages
English (en)
Inventor
Hsien-Che Lee
リー シエン−チョ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of JP2001285639A publication Critical patent/JP2001285639A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)

Abstract

(57)【要約】 (修正有) 【課題】 入力画像値内の階調範囲に出力ダイナミック
レンジを割り当てるために画像活性度を使用して、予め
定められていない形状の、画像に依存する階調度曲線を
構成することができる方法を提供する。 【解決手段】 画像に依存する階調曲線を発生する方法
であって、(a)所定のノイズ変化を除いた、所定の量
の画像変化を有する隣接する画素の数の関数として、入
力画像値に関する画像活性度ヒストグラムを計算するス
テップと、(b)画像活性度ヒストグラムから、画像に
依存する階調曲線を構成するステップとを有する。画像
変化は、ノイズしきい値と変化しきい値により、2つの
規定された間隔内の画像値を含みうる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理の分野に
関し、特に、ディジタル画像の階調処理に関する。
【0002】
【従来の技術】シーン又は、画像のダイナミックレンジ
は最大強度と最小強度の比である。同様に、カラーモニ
タ又は、写真紙のようなプリント媒体のような可視ディ
スプレイのダイナミックレンジは、ディスプレイ又は、
プリント媒体上に描かれる、最大輝度と最小輝度の比で
ある。従来の光学印刷では画像が出力媒体上に描かれ得
るよりも大きなダイナミックレンジを有する時には、特
にハイライトとシャドー領域内で、描画処理により細部
が失われる。ディジタル画像処理は、入力画像の非常に
低い周波成分のみに入力ダイナミックレンジの圧縮をす
ることにより、画像の細部を保存する。米国特許番号
5,012,333は、そのような動作の方法を開示す
る。入力画像は高周波数成分と低周波数成分に分解され
る。低周波数成分の画像値は、1より小さい平均の傾斜
を有する階調度曲線によりダイナミックレンジを圧縮す
るルックアップテーブルを介してマップされる。ここで
使用する用語の階調度曲線は、入力画像値を出力画像値
へマップする関数である。入力と出力の画像値に使用さ
れる単位が両方ともシーンの対数露光又は輝度である時
には、階調度曲線の傾斜は画像の知覚されるコントラス
トと良く相関があることが知られている。
【0003】所定の入力ディジタル画像に対して、画像
の細部が最も明らかとなるように入力画像のダイナミッ
クレンジが圧縮される画像に依存する階調度曲線を構成
する自動的な方法を有することが望まれる。例えば、画
像が明るい太陽に照らされるハイライト領域とほの暗い
スカイライトにのみ照らされるシャドー領域をを有する
場合には、両領域の細部は明らかに描かれることが望ま
しい。2つの照明のレベルには大きな差があるので、ハ
イライトの階調範囲はシャドーのそれと良く分離され
る。入力画像値のヒストグラムが試験される場合には、
ハイライトとシャドーのクラスターの間のギャップがわ
かるであろう。この場合には、その階調範囲には画素が
ないので、ギャップに対応する階調範囲は、望ましくな
い産物を生成することなく非常に圧縮できる。制限され
た出力ダイナミックレンジは、間のギャップに対応する
階調範囲で無駄にせずに、ハイライトの階調範囲とシャ
ドーの階調範囲に完全に割り当てられるべきである。
【0004】
【発明が解決しようとする課題】ヒストグラム等化の既
知の方法のような、ダイナミックレンジ割り当ての従来
のアルゴリズムは、全体の画像の画素値のヒストグラム
に基づいている。この種のアプローチには、2つの欠点
がある。(a)画像内の(空や壁のような)大きな均一
領域は、その領域に割り当てられるべき出力ダイナミッ
クレンジは大きい。この領域は均一でありかつ多くの出
力ダイナミックレンジを必要としないので、これは、望
ましくない。(b)ヒストグラム中の大きなピークに対
応する画素は、画像内で互いに空間的に隣接しない。集
合的に、それらの数は非常に多いが、隣接画素の画像値
はそれらと非常に異なっており、そして、それゆえ表現
のための大きな出力範囲を必要としない。
【0005】これらの問題の第1を解決するために、米
国特許番号4,654,722は、ヒストグラムに算入
するためのエッジ画素のみを選択するためにラプラシア
ン演算子を使用する方法を開示する。それゆえ、大きな
均一領域の大部分の画素は、算入されない。そのような
方法は大きな均一領域の問題を減少できるが、しかし、
真に、画像信号変化を測定しない。米国特許番号5,6
33,511は、画像値でなく、画像活性度のヒストグ
ラムに基づく方法を開示する。画像活性度は、各画像値
でどのくらい信号変化が起こるかを測定する。しかし、
米国特許番号5,633,511は、階調度曲線の群内
にパラメータ値を設定するために画像活性度を使用する
ことを開示するが、予め定められていない形状の、画像
に依存する階調度曲線を構成することができるようにす
るために、入力画像値内の階調範囲に出力ダイナミック
レンジを割り当てるために画像活性度を使用することに
ついては開示しない。
【0006】
【課題を解決するための手段】本発明は、前述の1つ又
はそれ以上の問題を解決することを目的とする。簡潔に
言えば、本発明の特徴に従って、(a)所定のノイズ変
化を除いた、所定の量の画像変化を有する隣接する画素
の数の関数として、入力画像値に関する画像活性度ヒス
トグラムを計算するステップと、(b)画像活性度ヒス
トグラムから、画像に依存する階調曲線を構成するステ
ップとを有する、画像に依存する階調曲線を発生する方
法である。所定の量の画像変化は、ノイズしきい値と変
化しきい値により、2つの規定された間隔内の画像値を
含みうる。
【0007】本発明に従った他の特徴では、本発明は、
1つ又はそれ以上の制約の下に、画像の活性度の表現を
最適化する階調度曲線を発生する方法を含む。特に、本
発明は、1つ又はそれ以上の傾斜制限制約を確立し、か
つ、そして、階調度微分空間内で傾斜制限制約を適用す
ることにより階調度傾斜関数を構成する。画像活性度ヒ
ストグラムが計算され、そして、画像活性度ヒストグラ
ムが階調度傾斜関数へ与えられる。最後に、階調度曲線
を発生するために階調度傾斜関数がを統合される。更
に、他の特徴では、1つ又はそれ以上の点制約を確立
し、そして、階調度微分空間に点制約を適用することに
より区分的に階調度傾斜関数を構成するをとを含む。画
像活性度ヒストグラムが計算され、そして、画像活性度
ヒストグラムが階調度傾斜関数へ与えられ、そして、階
調度曲線を発生するために階調度傾斜関数がを統合され
る。
【0008】更なる特徴では、出力媒体の出力ダイナミ
ックレンジ(Vmin,Vmax)が測定される。入力
ディジタル画像に対しては、画像活性度ヒストグラムと
画像値ヒストグラムの、2つのヒストグラムが計算され
る。入力画像の最小画像値Uminと最大画像値Uma
xは、画像値ヒストグラムから決定される。ある画像値
Uaimが仮に、出力値Vaim=Uaimでそれ自身
にマップされるように、画像に対して平衡点も計算され
る。白色点Uwhiteも、画像内の白色物体の存在を
検出することにより決定される。入力と出力のダイナミ
ックレンジは、両者ともに選択されるアンカー点のマッ
ピングにより上側範囲と下側範囲に分割される。
【0009】本発明のこれらの特徴、目的、及び、優位
点は、図を参照して、以下の好適な実施例の詳細な説明
と請求の範囲から更に明らかに理解され評価されよう。
【0010】
【発明の実施の形態】階調度補正を採用するシステムは
既知であるので、この説明は、本発明に従った装置の一
部を構成する又は直接に行動する特質に特に向けられて
いる。ここにとくに示されたいないシステムの特質は、
従来技術で知られているものから選択され得る。以下の
説明では、本発明の好適な実施例は通常はソフトウェア
プログラムとして実行されるが、当業者にはそのような
ソフトウェアと等価のものはハードウェアでも構成され
うることは容易く理解されよう。以下に記載のシステム
と方法は、本発明の実行に必要な全てのそのようなソフ
トウェア実行はそのような技術の通常の技術の範囲内で
ある。本発明がコンピュータプログラムで実行される場
合には、プログラムは、例えば、磁気ディスク(フロッ
ピー(登録商標)ディスクのような)磁気記録媒体又
は、磁気テープ、光ディスク、光テープ又は、機械読み
取り可能なバーコードのような光蓄積媒体、ランダムア
クセスメモリ(RAM)又は、読み出し専用メモリ(R
OM)のような固体電子蓄積装置、又は、他のコンピュ
ータプログラムを蓄積できる物理的装置又は、媒体を含
む、従来のコンピュータ読出し可能な蓄積媒体に蓄積さ
れ得る。
【0011】本発明は、制限されたダイナミックレンジ
を有するディスプレイ又は、印刷媒体にディジタル画像
を描くための階調度曲線を構成する方法に関する。本発
明は、ディジタル印刷、焼付け、医療画像、ビデオ画
像、動画及び、グラフィックアートのような、ディジタ
ル画像が処理され、そして、表示され又は、印刷される
種々のアプリケーションで使用できる。本発明は、(陰
極線管モニタ、又は、液晶ディスプレイのような)全て
の画像表示装置又は、(写真紙又は、インクジェット紙
のような)印刷媒体に適用できる。説明を簡単にするた
めに、以下の説明では、出力媒体として写真紙が使用さ
れる。
【0012】図1は、本発明の全体的な方法を示すブロ
ック図である。画像値ヒストグラム発生段階10では、
入力画像が入力画像ヒストグラムを計算するのに使用さ
れ、それにより計算段階12は入力ダイナミックレンジ
を決定する。シーンバランス段階14では、シーンバラ
ンスアルゴリズムが入力画像の色と濃度バランスを計算
するのに使用される。そのようなシーンバランスアルゴ
リズムは既知であり米国特許番号4,945,406と
5,016,043及び、C.J.Bartleson
及びR.W.Huboiによる”Exposure D
etermination Methods for
Color Printing:TheConcept
of Optimum Correction Le
vel(カラー印刷のための露光決定法:最適補正レベ
ルの考え)”、J.SMPTE,65:205−215
(1956年)に記載されており、参照によりここに組
み込まれる。シーンバランスアルゴリズムの出力は、
赤、緑、青記録のためのカラーバランス点を含み、それ
より、アルゴリズムは輝度バランス点(目標点)と色差
バランス点を計算する。これらのバランス点は、白色−
画素ヒストグラムと肌色−画素ヒストグラムをそれぞれ
計算するために、ヒストグラム計算段階16と18で使
用される。画像活性度段階22では、画像活性度ヒスト
グラムが入力画像から計算される。本発明の主な特徴の
1つとして、階調度構成段階24は、他の段階で計算さ
れた情報と、出力媒体入力のダイナミックレンジに関す
るパラメータ26及び、以後説明する幾つかの傾斜とポ
イントの制約28を使用して、階調度曲線を構成する。
本発明の好適な実施例では、カラー及び濃度バランスア
ルゴリズム14から得られたバランス点と、白色画素ヒ
ストグラム16から得られた白色点要求が、以後説明す
る、アンカー点段階20内で繰返して解かれかつ階調度
構成で使用される1つのアンカー点制約に併合される。
【0013】図2は,各入力画像値uを、反射プリント
の濃度を決定するために出力装置により使用される出力
画像値vへマップする階調度曲線30の機能を示す。入
力画像がシーンの対数露光で較正される場合には、uは
対数露光の単位を有する。レーザライタのような出力装
置も入力メトリックとして対数露光を受けるために較正
される場合には、vも対数露光の単位を有する。階調度
曲線は、このように、対数露光から対数露光へのマッピ
ングである。入力画像値uがカラーネガフィルムの印刷
濃度であり、そして、出力装置も印刷濃度値vを受ける
ために較正されるならば、階調度曲線は、印刷濃度から
印刷濃度へのマッピングである。従って、本発明の目的
のためには、階調度曲線の入力及び出力変数は同じ物理
的単位を有する。入力画像が使用するメトリックを受け
るために較正されるならば、同じ階調度曲線が異なる出
力装置に使用できる。使用するメトリックの選択は、階
調度曲線の傾斜が知覚される画像コントラストと相関が
ある限り柔軟性がある。例えば、相対的対数シーン露
光、印刷濃度及び、相対的シーン輝度(CIELAB空
間のL*のような)は、本発明の目的のためには、全て
有効なメトリックである。
【0014】出力ダイナミックレンジは、特定の選択さ
れる濃度で印刷される最大及び最小の装置入力値vに関
して出力媒体に対して決定される。図3は、特定の出力
装置/媒体特性に伴なう出力曲線の例を示す。最小濃度
Dminと最大濃度Dmaxは、出力装置が生成できる
両端の濃度値である。2つの装置入力値VminとVm
axは、ハイライトとシャドー変化を生成するために残
すべきマージンによって、両端の濃度値と等しくはない
が近い濃度値にマップされる。この例では、Vminと
Vmaxは、階調度曲線30(図2)に対する利用でき
る出力ダイナミックレンジを規定する。入力ダイナミッ
クレンジは、入力画像ヒストグラム段階10とダイナミ
ックレンジ計算段階12(図1)により入力画像から決
定される。入力画像値のヒストグラムは段階10内で累
積される。そして実際に、0.2と999.8百分位数
値が、UminとUmaxと呼ばれ、入力ダイナミック
レンジを定義するために得られる。他の百分位数値は、
もちろん入力ダイナミックレンジを定義するのに使用さ
れ得る。
【0015】本発明の基本的な考えを、図4に示す階調
度曲線と画像活性度ヒストグラムを参照して説明する。
入力ダイナミックレンジは、UminからUmaxから
示され、そして、出力ダイナミックレンジはVminか
らVmaxで示される。入力を出力にマップする単純な
階調度法は、図4の破線C1であり、画像内容に依らず
に、利用できる出力ダイナミックレンジVmax−Vm
inを均一に入力ダイナミックレンジUmax−Umi
nに割り当てる。本発明の1つの重要な特徴は、画像活
性度が各入力画像値から計算されねばならずそして、そ
のヒストグラムが利用できる出力ダイナミックレンジを
入力ダイナミックレンジへ割り当てるのを案内するため
に使用されねばならないことである。特に、前述のよう
に、画像活性度は、隣接する各画素の画像変化の規定さ
れた程度に基づくべきである。従って、入力画像値の範
囲に対して画像活性度が低いときはいつでも、階調度曲
線の傾斜は小さくされねばならない。画像活性度が高い
ときはいつでも、傾斜は画像活性度ヒストグラムの高さ
に比例して増加されるべきである。図4では、下側の曲
線C3は、入力画像の画像活性度ヒストグラムを示す。
上側の曲線C2は、入力ヒストグラム内で多くの活性度
がある画像値に対して領域AとCで大きな局部傾斜を有
し、かつ入力ヒストグラム内で活性度が少ない画像値に
対する領域Bで低い傾斜する階調度曲線を示す。
【0016】画像活動度は幾つかの方法で計算される。
例えば、入力画像の画素で、帯域通過フィルタ又は、高
域通過フィルタへの応答が、その画素での画像値に対す
る画像活性度の測定値として使用できる。ここに組み込
まれる米国特許番号5,633,511では、画像活性
度は、レベル交差、画像値の共発生及び、エッジ勾配と
ラプラシアン演算子の使用に基づく画像活性度の決定に
より測定される。これらの技術はエッジと共にうまく動
作するが、髪の毛、草及び、織物の微細なパターンで見
つけられるようなテクスチャを適切には測定しない。エ
ッジとテクスチャの両方を測定するために、画像変化活
性度測定は、本発明に従って、NxN隣接中で、ノイズ
変化を除いて所定の画像変化を有する中央画素に隣接す
る画素の数を見つけるために使用される。空間的に隣接
し、かつ同様な画像値を有する画素は、その画像値で階
調度曲線の局部傾斜が大きくされれば、更に区別して描
くことができる。均一の領域では、ノイズのために、隣
接内で画像値は変動する。従って、中央画素から2又は
3ノイズ標準偏差内である画素値を有する画素はカウン
トされるべきでない。同様に、中央画素から非常に離れ
た画像値を有する画素もカウントされるべきではない。
それらは既に中央画素から非常に離れている即ち、その
差を更に明らかにするために局部傾斜を調整する必要が
ないためである。従って、その画像活性度を計算するに
は、(ノイズにより決定される)下方境界と、(システ
ムの最小コントラストにより決定される)情報の境界の
2つの境界が設定される。各中央画素値に対する活性度
値は、境界で分けられた即ち前述の中央画素の周りのN
xN領域に対する上方及び下方境界内である画素の数よ
りなり、かつ、ヒストグラムは各入力画像に対して、中
央画素の所定の画素値に対して境界で分けられた画素の
数だけ増加される。
【0017】このように、本発明の好適な実施例では、
画像活性度は、入力画像内の各画素に対して、ノイズし
きい値と変化しきい値の2つの前述の規定された間隔内
の画像値を有する隣接画素の数をカウントすることによ
り測定される。画像値をx、ノイズしきい値をn、そし
て、変化しきい値をmとする。2つの間隔は[x−m,
x−n]と[x+m,x+n]により規定される。ノイズ
しきい値は、例えば、種々のフィルムの粒状性を測定す
ることにより又は、入力画像に関して動作するノイズ推
定アルゴリズムにより、各入力形式に対して決定でき
る。典型的なノイズ推定アルゴリズムは、米国特許番号
5,923,775と、S.I.Olsenによる”E
stimation of Noise in Ima
ges:An Evaluation(画像内のノイズ
の推定:評価)”CVGIP:Graphic Mod
els and Image Processing
(グラフィックモデルと画像処理)、55,4,319
−323,1993年、に記載されている。変化しきい
値は敏感なパラメータではない。1000*対数露光で
較正され、そして、0と4095間の整数で表現された
画像に対しては、m=200の値がよい性能を示すこと
がわかった。図6は、n=40かつm=200の5x5
窓に対して画像活性度がどのように計算されるかの例を
示す。2つの規定された間隔[x−200、x−40]と
[x+200、x+40]内の値を有する窓内には、10
の隣接画がある。ここでx=593は中央画素の画像値
である。従って、画像活性度は10であり、そして、ヒ
ストグラムは画像値593に対して10だけ増加され
る。
【0018】更に、満足の行く階調再生を行うために、
画像活性度ヒストグラムに従った階調度曲線の構成中
に、この基本的アイデアに、幾つかの追加の制約を課す
ることが好ましい。これらの制約は以下に述べる。
【0019】−第1の制約は、再生された、画像の明る
さが適切に描かれるように、特定の入力値は、特定の出
力値にマップされねばならないことである。これは、濃
度バランス問題と呼ばれる。例えば、画像の面が、適切
な明るさの範囲内で印刷されねばならない。他に、画像
は、暗すぎ又は、明るすぎて現れる。図2に示すよう
に、シーンバランスアルゴリズム14は、カラー及び濃
度バランス点を計算するために本発明と共に統合され
る。代わりに、バランス(目標点)点Uaimが別のバ
ランスアルゴリズムにより画像から決定でき、そして、
バランス(目標点)点Uaimは、本発明に従った階調
度較正処理への入力パラメータであろう。典型的には、
バランス(目標点)点は18%グレー点に又はその近く
に設定される。
【0020】−第2の制約は、画像内の主題は、適切な
コントラストで描かれねばならないことである。大部分
の場合は、画像内の主題は人間である。本発明では、潜
在的な肌色画素を含む入力階調範囲が、(図1と以下で
述べる肌色画素ヒストグラム段階18で)検出され、そ
して、範囲内の階調度傾斜はユーザの規定する最小と最
大の傾斜を有しなければならない。
【0021】−第3の制約は、画像内の白色の物体は、
反射プリントでは、十分に高い反射率で描かれなばなら
ないことである。他に、白色の物体は灰色がかって現れ
る。消費者調査は、この要求への感度は、人によって大
きく変化することを示す。本発明の好適な実施例では、
白色物体検出器(図1に示し以下で説明する白色画素検
出段階16)が、画像内の白色物体の存在を検出するの
に使用される。典型的には、白色点は、バランス(目
標)点上の約2目盛り又は、0.6対数露光に設定され
る。白色物体が検出された場合には、その対応する入力
画像値(白色点)は、ある高い出力画像値にマップされ
るように制約される。実際には、明るさが階調度曲線に
より減少されないようにするために、入力白色点はそれ
自身にマップされる。
【0022】−第4の制約は、ハイライトコントラスト
とシャドーコントラストは、ユーザの規定する中間階調
最小コントラストと異なる、ある最小の傾斜値を有する
ことができることである。これは、出力の外観がユーザ
により制御できるようにするためには必要である。例え
ば、再生が目に見えるフレアにより影響されるので、し
ばしば、シャドーコントラストを増加することが望まし
い。
【0023】肌色画素と白色画素の検出は、大きな画像
データベースからの所望のからー画素の条件確立分布を
編集することにより達成される。入力画像内の各画素に
対しては、肌色であるか又は白色であるかのその条件確
立が、画素を、肌色画素ヒストグラム又は、白色画素ヒ
ストグラムのいずれかに分類するために使用される。
(条件確立に関連するこの同じ技術は他の画素を、他の
色に適切な他のヒストグラムに分類することにも使用さ
れ得る)。肌色ヒストグラムは、肌色の階調範囲を計算
するのに使用され、そして、白色ヒストグラムは、白色
物体の階調範囲を計算するのに使用される。これらの2
つの階調範囲は、階調度曲線の較正で、肌色コントラス
ト制約と白色点制約として使用される。図5は、(L,
s,t)色空間内の条件的白色分布40と肌色分布42
の概略図である。ここで、L=c(R+G+B)、s=
a(R−b)、t=b(R−2G+B)、aとbとcは
制約であり、RとGとBは対数シーン露光に相対的に比
例する画像値である。条件分布の実際の形は、集められ
た統計から決定される。それらは、楕円又は矩形である
必要はない。
【0024】バランス点の第1の制約と白色点の第3の
制約は、同時に導入される。そして、階調度曲線は、両
点を通らねばならない。これは、曲線は、3つの部分で
区分的に構成されることを意味する。1つは、バランス
点以下であり、1つは白色点以上でありそして、1つは
2つの点間である。多くの画像に対して、3部分構成
は、ハイライトとシャドー階調範囲を圧縮するための空
きがほとんどない。本発明の好適な実施例では、バラン
ス点と白色点の要求は、繰返し的に解決される1つの制
約へ統合される。アンカー点は、最初に白色点に設定さ
れ、曲線は2つの部分で区分的に構成される。1つはア
ンカー点以上であり、1つはアンカー点以下である。バ
ランス点は、構成された曲線を通してマップされる。そ
の目標点から非常に離れたマップされた場合には、アン
カー点は調整されそして、新たな曲線が新たなアンカー
点を介して構成される。このプロセスは、バランス点が
目標点から規定の距離内にマップされるように、アンカ
ー点が調整されるまで何回か繰り返される。
【0025】上述の説明は、画像活動度ヒストグラムに
基づき階調度曲線を構成するのに満たすべき多くの制約
があることを示す。従って、本発明のアンカーキーの特
徴は、同時に幾つかの傾斜と点の制約を満たさねばなら
ない曲線の構成方法である。これは、その階調度空間内
で達成することが困難であるが、しかし、階調度微分空
間即ち階調度傾斜関数で満たすことは容易である。従っ
て、本発明の好適な実施例では、制約は微分空間で満た
され、そして、階調度曲線は傾斜関数を統合することに
より構成される。傾斜関数は最初に計算される関数であ
り、全ての傾斜制約を導入することは容易である。点制
約も、傾斜関数が統合され時に、結果の曲線が要求され
る点を通過するようにするために、調整されるスケール
ファクタを使用して導入することが容易である。
【0026】図7は、画像活性度ヒストグラムと前述の
制約から階調度曲線を構成するために、本発明の好適な
実施例のステップのブロック図を示す。画像値は0から
4095の間の整数であり、1000*log露光又
は、1000*印刷濃度を示すと仮定する。第1のステ
ップ100は、3つの動作配列を初期化する。最小傾斜
配列は各画素値に最小の許される傾斜を課するのにユー
ザとコンピュータアルゴリズムにより使用される。最大
傾斜配列は、最大の許される傾斜を課するためである。
傾斜配列は、構成されるべき階調度曲線の1次微分の配
列である。次のステップ110は、最小傾斜配列と最大
傾斜配列内の肌色に対応する画像値に対して、最大傾斜
と最小傾斜を設定することにより、検出された肌色ヒス
トグラムの階調範囲に対する最小及び最大肌色コントラ
ストを課する。ステップ120では、バランス(目標)
点と白色画素ヒストグラムがアンカー点を初期化するの
に使用される。目に見えるフレア又は出力装置の幾つか
の望ましくない特徴を補償するために、ハイライトとシ
ャドー領域内の最小傾斜を、最小傾斜配列内の所望の値
を設定することにより、ステップ130で、増加するこ
とができる。この段階では、他の種類の制約は、同様な
方法で課せられる。そして、アルゴリズムは階調度曲線
を構成するために繰返し処理142を開始する。各繰返
しでは、計算された階調度曲線によりマップされたバラ
ンス(目標点)は、元の目標点から非常にシフトしてい
ないかを見るために、ステップ180でチェックされ
る。シフトが大きすぎる場合には、ユーザの規定する目
的典型的にはよりも大きなシフトを生じない階調度曲線
が達成されるまで、コンピュータはアンカー点を調整
し、そして、次の繰返しへ進む。この繰返し処理は、ア
ンカー点と目標点間の距離のN分の1だけ目標点をアン
カー点に近づけるように調整することにより、Nステッ
プで収束することが保証される。
【0027】ここで、本発明の目的は、以下のように、
画像に依存する階調度曲線を構成することであることを
理解することは役立つ。
【0028】−入力ダイナミックレンジは常に曲線によ
り出力媒体のダイナミックレンジより小さいか又は等し
いダイナミックレンジにマップされる。
【0029】−入力の上方の範囲が出力の上方の範囲よ
りも大きい場合には、平均の傾斜が1.0より小さい曲
線が構成され、瞬時の傾斜は画像活性度ヒストグラムの
高さの関数であり、UmaxはVmaxにマップされ、
ユーザの規定する傾斜と点制約を受ける。
【0030】−入力の上方の範囲が出力の上方の範囲よ
りも小さいか又は等しい場合には、階調度曲線の上方部
分に対して、傾斜が1.0より大きいか又は、等しい直
線が使用される。
【0031】−入力の下方の範囲が出力の下方の範囲よ
りも大きい場合には、平均の傾斜が1.0より小さい曲
線が構成され、瞬時の傾斜は画像活性度ヒストグラムの
高さの関数であり、UminはVminにマップされ、
ユーザの規定する傾斜と点制約を受ける。
【0032】−入力の下方の範囲が出力の下方の範囲よ
りも小さいか又は等しい場合には、階調度曲線の下方部
分に対して、傾斜が1.0より大きいか又は、等しい直
線が使用される。
【0033】傾斜と点制約は、ユーザにより規定される
か又は、図1に示された肌色検出段階18及び白色検出
段階16のような、階調度構成アルゴリズム内の物体検
出モジュールにより発生されるかのいずれかである。
【0034】図7を参照すると、階調度曲線の構成は、
ステップ140で、入力と出力のダイナミックレンジ
を、自分自身にマップされるアンカー点で上方と下方の
範囲に分割することで開始する。従って、階調度曲線
は、2つの部分で構成され、1つは上方範囲に対してで
あり、1つは下方範囲に対してである。ここで、上方範
囲に関する手順を説明する。最初に最小傾斜配列が傾斜
配列にコピーされそして、上方入力範囲内の最小傾斜配
列の全体が、ステップ150で、利用できる情報出力ダ
イナミックレンジから引かれる。結果がゼロ又は、負で
ある場合には、上方の曲線は最小傾斜を統合することに
より構成される。結果がゼロより大きい場合には、この
差は、上方範囲の画像活性度ヒストグラムに従って、情
報入力範囲に分散される。高い画像活性度を有する画像
値は、傾斜配列内に設定されるより高い値により更に多
く出力ダイナミックレンジに割り当てられる。そして、
傾斜配列は、最大傾斜配列に対してチェックされる。チ
ェックはアンカー点で開始する。傾斜配列内のどの点も
最大傾斜値より大きい場合には、傾斜は最大傾斜値に設
定され、そして、差は傾斜配列の次のエントリーに加算
される。このチェックとクリップ処理がなされた後に、
傾斜配列はステップ170で上方範囲に対する階調度曲
線の上方部分を得るために統合される。同じ手順が下方
の範囲に対して、階調度曲線の下方の部分を構成するた
めに繰り返される。一旦全体の曲線が構成され、そし
て、目標点が仕様内かがチェックされると、階調度曲線
はルックアップテーブルとして生成される。入力画像
は、所望の出力画像を生成するために、階調度ルックア
ップテーブルを通してマップされる。
【0035】本発明の全体の方法について上述したが、
当業者には既知のように、本発明の幾つかの異なる形式
のシステムで実現でき、幾つかの異なる方法で実行でき
る。例えば、図8に示されたように、本発明に従った情
報取扱い/コンピュータシステムの典型的なハードウェ
ア構成は、好ましくは、少なくとも1つのプロセッサ又
は中央処理装置(CPU)200を有する。CPU20
0は、システムバス201を介してランダムアクセスメ
モリ(RAM)202、読出し専用メモリ(ROM)2
03、(ディスク装置205とテープドライブ206の
ような周辺装置をバス201へ接続する)入力/出力
(I/O)アダプタ204、(情報取扱システムをデー
タ処理ネットワークへ接続する)通信アダプタ207、
(キーボード、マウス、ディジタル画像入力装置及び/
又は他のインターフェース装置をバス201に接続す
る)ユーザインターフェースアダプター208、プリン
タ212及び、(バス201を表示装置214へ接続す
る)ディスプレイアダプタ213へ相互に接続される。
本発明は、蓄積装置205上に蓄積されたコンピュータ
プログラム内に本発明の方法を含むことにより、図8に
示された構造を使用して実行できる。そのようなコンピ
ュータプログラムは、ユーザインターフェースアダプタ
ー208又はネットワーク接続207を通して供給され
た画像フレームに関して働く。システムは、表示装置2
14、プリンタ212、ネットワーク207への出力で
あろう処理された画像に関する所望の階調度曲線を自動
的に発生し又は、他の出力媒体/装置は、この状況下で
保証されるであろう。
【0036】
【発明の効果】本発明によって、入力画像値内の階調範
囲に出力ダイナミックレンジを割り当てるために画像活
性度を使用して、予め定められていない形状の、画像に
依存する階調度曲線を構成することができる方法を提供
できる。
【図面の簡単な説明】
【図1】本発明に従った画像変化活性度に基づく階調度
構成のための方法を示す図である。
【図2】入力画像値を出力画像値へマップする階調度曲
線の関数を示すブロック図である。
【図3】装置入力値VminとVmaxにより表される
出力ダイナミックレンジにより規定される、装置の入力
値がどのように出力媒体上に最小と最大の濃度Dmin
とDmaxに近く印刷されるかを示す、出力装置の特性
例を示す図である。
【図4】画像活性度ヒストグラムからどのように階調度
曲線が構成されるかの例を示す図である。
【図5】輝度−色差カラー空間内での白色点と肌色点の
条件確立分布の概略を示す図である。
【図6】図4に示す画像活性度ヒストグラムに使用され
る画像活性度の好適な測定の例を示す図である。
【図7】本発明に従った好適な階調度曲線構成処理を示
す図である。
【図8】本発明を実行するコンピュータシステムを示す
図である。
【符号の説明】
10 画像値ヒストグラム発生段階 12 入力ダイナミックレンジ計算段階 14 シーンバランス段階 16 白色画素ヒストグラム計算段階 18 肌色画素ヒストグラム計算段階 20 アンカー点段階 22 画像活性度段階 24 階調度構成段階 26 ダイナミックレンジパラメータ 28 傾斜及び点制約 30 階調度曲線 32 出力曲線 40 白色分布 42 肌色分布 100−180 ステップ 200 中央処理装置(CPU) 201 システムバス 202 ランダムアクセスメモリ(RAM) 203 読出し専用メモリ(ROM) 204 入力/出力(I/O)アダプタ 205 ディスク装置 206 テープドライブ 207 通信アダプタ 208 ユーザインターフェースアダプター 209 キーボード 210 ディジタル画像入力/出力装置 212 プリンタ 213 ディスプレイアダプタ 214 表示装置

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 各画素が階調曲線への入力である画像値
    を特徴とする複数の画像画素よりなるディジタル入力画
    像を向上するために画像に依存する階調曲線を発生する
    方法であって、前記方法は、 (a)所定のノイズ変化を除いた、所定の量の画像変化
    を有する隣接する画素の数の関数として、入力画像値に
    関する画像活性度ヒストグラムを計算するステップと、
    (b)画像活性度ヒストグラムから、画像に依存する階
    調曲線を構成するステップとを有する方法。
  2. 【請求項2】 ステップ(a)で計算された所定の量の
    画像変化は、ノイズしきい値と変化しきい値により各々
    が境界を付された2つの規定された間隔内の画像値を含
    む請求項1記載の方法。
  3. 【請求項3】 1つ又はそれ以上の制約の下に、画像の
    活性度の表現を最適化する階調度曲線を発生する方法で
    あって、前記階調度曲線は、階調度曲線への入力である
    複数の画像値よりなるディジタル入力画像に関して機能
    し、前記方法は、(a)1つ又はそれ以上の傾斜制限制
    約を確立し、(b)階調度微分空間内で傾斜制限制約を
    適用することにより階調度傾斜関数を構成し、(c)画
    像活性度の測定から画像活性度ヒストグラムを計算し、
    (d)画像活性度ヒストグラムを階調度傾斜関数へ与
    え、(e)階調度曲線を発生するために階調度傾斜関数
    をを統合するステップを有する方法。
  4. 【請求項4】 (f)1つ又はそれ以上の点制約を確立
    し、(g)階調度微分空間に点制約を適用することによ
    り区分的に階調度傾斜関数を構成するステップをさらに
    有する請求項3記載の方法。
JP2001025902A 2000-02-02 2001-02-01 画像変化に基づく階調処理 Pending JP2001285639A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/496635 2000-02-02
US09/496,635 US6717698B1 (en) 2000-02-02 2000-02-02 Tone scale processing based on image modulation activity

Publications (1)

Publication Number Publication Date
JP2001285639A true JP2001285639A (ja) 2001-10-12

Family

ID=23973493

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001025902A Pending JP2001285639A (ja) 2000-02-02 2001-02-01 画像変化に基づく階調処理

Country Status (3)

Country Link
US (1) US6717698B1 (ja)
EP (1) EP1130545A3 (ja)
JP (1) JP2001285639A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100480165B1 (ko) * 2002-05-11 2005-04-06 엘지전자 주식회사 다이나믹 레인지 확대방법을 이용한 플라즈마 디스플레이패널의 구동장치 및 방법
KR100480166B1 (ko) * 2002-05-11 2005-04-06 엘지전자 주식회사 다이나믹 레인지 확대방법을 이용한 플라즈마 디스플레이패널의 컬러 보정 장치 및 방법
JP2009124381A (ja) * 2007-11-14 2009-06-04 Nippon Telegr & Teleph Corp <Ntt> 諧調変換装置および方法、プログラム

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175922B1 (en) 1996-12-04 2001-01-16 Esign, Inc. Electronic transaction systems and methods therefor
JP3675322B2 (ja) 2000-09-18 2005-07-27 株式会社日立製作所 車両用交流発電機
US6915024B1 (en) * 2000-09-29 2005-07-05 Hewlett-Packard Development Company, L.P. Image sharpening by variable contrast mapping
US7009733B2 (en) * 2001-07-02 2006-03-07 Coral Corporation Manual correction of an image color
US6850641B2 (en) * 2001-09-27 2005-02-01 Fujifilm Electronic Imaging Limited Image processing apparatus
KR100453038B1 (ko) * 2001-12-24 2004-10-15 삼성전자주식회사 컬러 영상의 채도 조절 장치 및 방법
US20030231194A1 (en) * 2002-06-13 2003-12-18 Texas Instruments Inc. Histogram method for image-adaptive bit-sequence selection for modulated displays
US7042522B2 (en) * 2002-08-01 2006-05-09 Samsung Electronics Co., Ltd. Adaptive contrast enhancement method using time-varying nonlinear transforms on a video signal
EP1465436A1 (en) * 2003-04-03 2004-10-06 Sony International (Europe) GmbH Natural impression preservation for histogram equalized images
WO2004104982A1 (en) * 2003-05-14 2004-12-02 Collaborative Sciences And Technology, Inc. Persistent portal
US7426296B2 (en) * 2004-03-18 2008-09-16 Sony Corporation Human skin tone detection in YCbCr space
US20060034502A1 (en) * 2004-08-10 2006-02-16 Konica Minolta Medical & Graphic, Inc. Image processing system and image processing method
JP4427001B2 (ja) * 2005-05-13 2010-03-03 オリンパス株式会社 画像処理装置、画像処理プログラム
US20070126876A1 (en) * 2005-11-30 2007-06-07 Eastman Kodak Company Locating digital image planar surfaces
US20070121094A1 (en) * 2005-11-30 2007-05-31 Eastman Kodak Company Detecting objects of interest in digital images
US7821570B2 (en) * 2005-11-30 2010-10-26 Eastman Kodak Company Adjusting digital image exposure and tone scale
JP4684959B2 (ja) * 2006-07-04 2011-05-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP4637063B2 (ja) * 2006-07-04 2011-02-23 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US7756356B2 (en) * 2007-03-08 2010-07-13 Mitsubishi Electric Research Laboratories, Inc. System and method for factorizing light in a sequence of images
US8355595B2 (en) * 2007-05-15 2013-01-15 Xerox Corporation Contrast enhancement methods and apparatuses
KR100886099B1 (ko) * 2007-06-26 2009-03-04 주식회사 코아로직 감마 보정 곡선의 자동 산출 장치 및 방법
KR100900694B1 (ko) * 2007-06-27 2009-06-04 주식회사 코아로직 비선형 저조도 보정장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
US20090021810A1 (en) * 2007-07-20 2009-01-22 Adams Jr James E Method of scene balance using panchromatic pixels
CN101803366B (zh) * 2007-07-25 2015-01-14 坎德拉微***(S)私人有限公司 用于成像***的曝光控制
US8897524B2 (en) * 2007-10-29 2014-11-25 Ramot At Tel-Aviv University Ltd. Method and device for processing computerized tomography images
US20100002145A1 (en) * 2008-07-07 2010-01-07 Spence John P Adaptive optimization of a video signal
US8184112B2 (en) * 2008-09-24 2012-05-22 Global Oled Technology Llc Increasing dynamic range of display output
US8705867B2 (en) * 2008-12-11 2014-04-22 Imax Corporation Devices and methods for processing images using scale space
CN101605273B (zh) * 2009-07-23 2012-03-21 青岛海信数字多媒体技术国家重点实验室有限公司 一种色饱和度质量测评的方法和子***
US8515167B2 (en) * 2009-08-31 2013-08-20 Peking University High dynamic range image mapping with empirical mode decomposition
JP5744430B2 (ja) * 2010-07-16 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP5744431B2 (ja) 2010-07-16 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
WO2012017440A1 (en) * 2010-08-05 2012-02-09 Ramot At Tel-Aviv University Ltd. Method and system for processing an image featuring multiple scales
EP2535838A1 (fr) 2011-06-16 2012-12-19 Gemalto SA Procédé de communication sans-contact à modulation négative
US9398300B2 (en) * 2011-10-07 2016-07-19 Texas Instruments Incorporated Method, system and apparatus for intra-prediction in video signal processing using combinable blocks
US9113089B2 (en) * 2012-06-06 2015-08-18 Apple Inc. Noise-constrained tone curve generation
US9418311B2 (en) 2014-09-04 2016-08-16 Apple Inc. Multi-scale tone mapping
CN115278230A (zh) * 2015-11-11 2022-11-01 三星电子株式会社 对视频进行解码的设备和对视频进行编码的设备
JP2017098845A (ja) * 2015-11-26 2017-06-01 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
EP3220349A1 (en) * 2016-03-16 2017-09-20 Thomson Licensing Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping
US11967042B2 (en) * 2021-05-11 2024-04-23 Synaptics Incorporated Data pre-processing for low-light images

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4731671A (en) * 1985-05-06 1988-03-15 Eastman Kodak Company Contrast adjustment in digital image processing method employing histogram normalization
US4654722A (en) 1985-05-06 1987-03-31 Eastman Kodak Company Tone value sample selection in digital image processing method employing histogram normalization
DE58905761D1 (de) 1988-09-23 1993-11-04 Gretag Imaging Ag Belichtungssteuerungsverfahren und fotografisches farbkopiergeraet.
US4945406A (en) 1988-11-07 1990-07-31 Eastman Kodak Company Apparatus and accompanying methods for achieving automatic color balancing in a film to video transfer system
US5012333A (en) 1989-01-05 1991-04-30 Eastman Kodak Company Interactive dynamic range adjustment system for printing digital images
US5544258A (en) * 1991-03-14 1996-08-06 Levien; Raphael L. Automatic tone correction of images using non-linear histogram processing
US5633511A (en) 1995-12-22 1997-05-27 Eastman Kodak Company Automatic tone scale adjustment using image activity measures
US5923775A (en) 1996-04-04 1999-07-13 Eastman Kodak Company Apparatus and method for signal dependent noise estimation and reduction in digital images
JPH1013682A (ja) * 1996-06-21 1998-01-16 Nikon Corp 画像処理方法
US6097836A (en) * 1996-07-22 2000-08-01 Nec Corporation Image processing system and its smoothing method for correcting color fog and backlight of a digital image
US5822453A (en) 1996-12-10 1998-10-13 Eastman Kodak Company Method for estimating and adjusting digital image contrast
US6285798B1 (en) * 1998-07-06 2001-09-04 Eastman Kodak Company Automatic tone adjustment by contrast gain-control on edges
US6236751B1 (en) * 1998-09-23 2001-05-22 Xerox Corporation Automatic method for determining piecewise linear transformation from an image histogram
US6438264B1 (en) * 1998-12-31 2002-08-20 Eastman Kodak Company Method for compensating image color when adjusting the contrast of a digital color image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100480165B1 (ko) * 2002-05-11 2005-04-06 엘지전자 주식회사 다이나믹 레인지 확대방법을 이용한 플라즈마 디스플레이패널의 구동장치 및 방법
KR100480166B1 (ko) * 2002-05-11 2005-04-06 엘지전자 주식회사 다이나믹 레인지 확대방법을 이용한 플라즈마 디스플레이패널의 컬러 보정 장치 및 방법
JP2009124381A (ja) * 2007-11-14 2009-06-04 Nippon Telegr & Teleph Corp <Ntt> 諧調変換装置および方法、プログラム

Also Published As

Publication number Publication date
EP1130545A2 (en) 2001-09-05
EP1130545A3 (en) 2010-03-31
US6717698B1 (en) 2004-04-06

Similar Documents

Publication Publication Date Title
JP2001285639A (ja) 画像変化に基づく階調処理
US7783127B1 (en) Determining parameters for adjusting images
US7468759B2 (en) Method, apparatus and recording medium for image processing
US7791652B2 (en) Image processing apparatus, image capture apparatus, image output apparatus, and method and program for these apparatus
US5581370A (en) Image-dependent automatic area of interest enhancement
US8346009B2 (en) Automatic exposure estimation for HDR images based on image statistics
US7016080B2 (en) Method and system for improving scanned image detail
KR101309498B1 (ko) 높은 동적 범위 이미지 매핑을 위한 히스토그램 조정
JP5389903B2 (ja) 最適映像選択
KR101309497B1 (ko) 높은 동작 범위 이미지 매핑을 위한 히스토그램 조정
US7876974B2 (en) Method for improving digital images and an image sensor for sensing the same
US7609908B2 (en) Method for adjusting the brightness of a digital image utilizing belief values
JP3880553B2 (ja) 画像処理方法および装置
US7103228B2 (en) Local change of an image sharpness of photographic images with masks
EP0957629A2 (en) Processing of scanned negative films
JP2004030670A (ja) デジタル画像の色調特徴の強調方法
JP2000050076A (ja) シ―ンバランス、コントラスト正規化及び鮮明化のデジタル画像処理を含むデジタル写真仕上げシステム
KR20080070733A (ko) 디지털 카메라의 노출 조정 방법, 디지털 이미지의 노출 및톤 스케일 조정 방법 및 필터링 방법
JP2004145864A (ja) トーンスケール関数における変曲点を用いるデジタル画像のトーン特性をエンハンスする方法
CN100411445C (zh) 校正图像亮度分布的图像处理方法及装置
JP3733165B2 (ja) デジタルプリンタの画像データ変換方法
JP2004129266A (ja) 拡張トーンスケール関数及び圧縮トーンスケール関数を用いてデジタル画像の色調特性及び色特性をエンハンスする方法
US6983083B2 (en) Image specific perceived overall contrast prediction
JP2000324353A (ja) 画像処理装置、方法及び記録媒体
JP2002354244A (ja) 光バランスの変化を最小としつつディジタル画像を光フォールオフについて補償する方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090727

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090828

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091124