JP2007048112A - 画像処理装置および画像処理プログラム - Google Patents

画像処理装置および画像処理プログラム Download PDF

Info

Publication number
JP2007048112A
JP2007048112A JP2005232890A JP2005232890A JP2007048112A JP 2007048112 A JP2007048112 A JP 2007048112A JP 2005232890 A JP2005232890 A JP 2005232890A JP 2005232890 A JP2005232890 A JP 2005232890A JP 2007048112 A JP2007048112 A JP 2007048112A
Authority
JP
Japan
Prior art keywords
face
intensity
strength
image processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005232890A
Other languages
English (en)
Inventor
Keisuke Izumi
圭介 泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Koki Co Ltd
Original Assignee
Noritsu Koki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Koki Co Ltd filed Critical Noritsu Koki Co Ltd
Priority to JP2005232890A priority Critical patent/JP2007048112A/ja
Publication of JP2007048112A publication Critical patent/JP2007048112A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 従来の方法により設定される粒状抑制強度および鮮鋭強度を適正に補正し、より高品質な画像を提供することが可能な画像処理装置および画像処理プログラムを提供する。
【解決手段】 写真プリントシステム1は、機能ブロックとして、原画像データから人物の顔領域を検出する顔領域検出部101と、顔領域検出部101において検出された顔領域の画素数が原画像データ全体の画素数に占める比率を算出する顔比率算出部102、顔比率算出部102において算出された顔比率に基づいて粒状抑制強度と鮮鋭強度とを設定する強度設定部103と、強度設定部103において設定された粒状抑制強度または鮮鋭強度を補正する強度補正部104を備えている。
【選択図】 図4

Description

本発明は、現像済みの銀塩写真フィルムからフィルムスキャナによって読み込まれた原画像データや、デジタルカメラにより撮影された原画像データを粒状抑制処理および鮮鋭化処理するための画像処理装置および画像処理プログラムに関する。
一般的に、銀塩写真の画像をフィルムスキャナで取り込んだ原画像を処理して、写真プリンタで出力する場合には、フィルムスキャナやデジタルカメラ等の入力系および写真プリンタ等の出力系等の原因により鮮鋭度が低下して出力写真の画質が劣化する原因となっている。そこで、このような問題を解決するために鮮鋭化処理が行われている。また、この鮮鋭化処理は、拡大縮小処理により損なわれた鮮鋭感や、ピンぼけ画像の救済等の効果があり、デジタル写真処理装置において出力するために欠かせない処理となっている。
しかし、このような鮮鋭化処理は、顔の肌領域のような濃淡の差がそれほど顕著でない領域において、銀塩写真フィルムから入力された画像データに含まれる粒状ノイズや、デジタルカメラによる画像データに含まれるショットノイズや電気的ノイズに対してもエッジを強調する。このため、これらの画像にはざらつきが発生してしまうといった問題があった。
そこで、以下の特許文献1では、原画像データの人物の顔領域の比率等や空間周波数特性から撮影シーンを判別し、その結果に基づいて鮮鋭化するための鮮鋭強度、ざらつきを抑えるための粒状抑制強度を決定し、この強度を用いて鮮鋭化処理、粒状抑制処理を行う方法が提案されている。
特開2001−218015号公報(平成13年8月10日公開)
しかしながら、上記従来の画像処理装置および画像処理プログラムでは、以下に示すような問題点を有している。
すなわち、原画像データにおいて、人物の顔領域の比率や空間周波数特性から撮影シーンを判別する方法では、撮影条件(例えば、露出条件やレンズ特性)やフィルム特性等の条件が考慮されておらず、適正な鮮鋭強度および粒状抑制強度を設定することは困難である。
本発明の課題は、従来の方法により設定される鮮鋭強度および粒状抑制強度を適正に補正し、より高品質な画像を提供することが可能な画像処理装置および画像処理プログラムを提供することにある。
第1の発明に係る画像処理装置は、原画像データに画像処理を施す画像処理装置であって、顔領域検出部と、顔比率算出部と、強度設定部と、強度補正部とを備えている。顔領域検出部は、原画像データから人物の顔領域を検出する。顔比率算出部は、顔領域検出部において検出された顔領域の画素数が原画像データ全体の画素数に占める比率を算出する。強度設定部は、顔比率算出部において算出された顔比率に基づいて粒状抑制強度と鮮鋭強度とを設定する。強度補正部は、少なくとも1つの第3情報に基づいて、強度設定部において設定された粒状抑制強度または鮮鋭強度を補正する。
ここでは、原画像データから人物の顔領域を検出し、顔領域の画素数が原画像全体の画素数に占める割合(以下、顔比率と示す)から粒状抑制強度と鮮鋭強度とを設定した後、第3情報に基づき上記の粒状抑制強度と鮮鋭強度とを補正する。
ここで、鮮鋭化とは、撮影画像における被写体のエッジ域や微細なテクスチャを鮮鋭化するために用いられる画像処理であり、写真処理装置では一般的に利用されている。しかし、過度に鮮鋭化処理を行うと、フィルムの粒状性に基づくざらつきやノイズ成分が目立つようになる。また、粒状化抑制処理は、これらのざらつきやノイズを抑制するために用いられている。
通常、原画像に上述した粒状抑制処理と鮮鋭化処理とを施すため、顔比率から撮影シーンを判別し、粒状抑制強度、鮮鋭強度を設定していた。しかし、この方法では、例えば、露出やレンズ特性等の撮影時の条件や、フィルム感度等のフィルム特性が考慮されておらず、適正な粒状抑制強度および鮮鋭強度を設定することは困難である。
そこで、本発明の画像処理装置では、顔比率に応じて粒状抑制処理と鮮鋭化処理とを設定した後、第3情報を用いて先に設定された粒状抑制処理と鮮鋭化処理とを補正する。つまり、粒状抑制処理と鮮鋭化処理とを施す際に、従来の方法では加味しなかった他の要素を考慮して粒状抑制処理と鮮鋭化処理とを設定する。例えば、第3情報としてフィルム感度を用いて先に設定された粒状抑制強度を補正する。一般に、フィルム感度が高くなると、そのフィルムで撮影された画像はざらざらした感じが強くなる。このため、このざらつきを抑制するため、フィルム感度が高いフィルムで撮影された画像については、顔比率により設定された粒状抑制強度よりも強くなるように補正する。
これにより、顔比率単独で設定された粒状抑制強度、鮮鋭強度に比べて、より適正な粒状抑制強度、鮮鋭強度に補正することができる。
この結果、適正な粒状抑制強度や鮮鋭強度を用いて粒状抑制処理、鮮鋭化処理を施すことが可能となり、従来よりも高品質な画像を提供することができる。
第2の発明に係る画像処理装置は、第1の発明に係る画像処理装置であって、第3情報は、フィルム感度である。
ここでは、顔比率によって設定された粒状抑制強度を補正する第3情報としてフィルム感度を用いる。
ここで、フィルム感度が高くなると、そのフィルムで撮影された画像はざらざらした感じが強くなる。このため、フィルム感度が高いフィルムで撮影された画像を粒状抑制処理する際の粒状抑制強度は、顔比率に基づいて設定された粒状抑制強度よりも強くなるように補正する。例えば、フィルム感度を示すASA(American Standard Association)値が1600のフィルムで撮影された画像は、ASA値が200のフィルムで撮影された画像に比べ粒状抑制強度が高くなるように補正する。
これにより、フィルム感度の高いフィルムで撮影された画像ほど、ざらつきを抑制処理する粒状抑制強度が強くなるように補正することができるので、顔比率単独で設定された場合に比べて、より適正な粒状抑制強度を設定することができる。
第3の発明に係る画像処理装置は、第1または第2の発明に係る画像処理装置であって、第3情報は、画像濃度である。
ここでは、顔比率によって設定された粒状抑制強度を補正する第3情報として画像濃度を用いる。
ここで、画像濃度は、撮影時や現像時の条件で変わる露光量によって変化する画像の明暗の調子である。一般的に、適正値よりも露光オーバーになると画像が薄い状態となり、適正値よりも露光アンダーになる場合は画像が濃い状態となるが、このとき、両者とも画像のざらつき感が目立つようになる。このため、適正値よりも露光アンダーになる場合と、露光オーバーになる場合とに、粒状抑制処理する際の粒状抑制強度が、顔比率単独で設定された粒状抑制強度よりも強くなるように補正する。
これにより、適正値よりも露光アンダーになる場合と、露光オーバーになる場合に対して、ざらつきを抑制処理する粒状抑制強度が強くなるように補正することができるので、顔比率単独で設定される場合に比べて、より適正な粒状抑制強度を設定することができる。
また、フィルム感度による補正を組み合わせることで、さらに高品質な画像を提供することが可能となる。
第4の発明に係る画像処理装置は、第1から第3の発明のいずれか1つに係る画像処理装置であって、第3情報はレンズ特性である。
ここでは、顔比率によって設定された鮮鋭強度を補正する第3情報としてレンズ特性を用いる。
ここで、レンズ特性のひとつである、例えば、鮮鋭度(解像度)は、どのくらい細かいものまで描写し得るかという性能である。画像処理の対象となる原画像は、一眼レフカメラからレンズ付きフィルム(使い捨てカメラ)まで多種多様に存在するカメラによって撮影されているが、例えば、レンズ付きフィルムのようなレンズの鮮鋭度(解像度)が低いカメラによって撮影された画像は、切れがなく引き締まった感じを与えない。このため、レンズ付きフィルムで撮影された画像には、その他のカメラによって撮影された画像に対する鮮鋭強度よりも強くなるように補正する。
これにより、鮮鋭度(解像度)が低いレンズ付きフィルムのようなカメラで撮影された画像に対して鮮鋭強度が強くなるように補正することができるので、顔比率単独で設定される場合に比べて、より適正な鮮鋭強度を設定することができる。
また、フィルム感度、画像濃度による補正を組み合わせることで、さらに高品質な画像を提供することが可能となる。
第5の発明に係る画像処理装置は、第1から第4の発明のいずれか1つに係る画像処理装置であって、第3情報は、顔領域の個数および個々の顔領域面積である。
ここでは、顔比率によって設定された鮮鋭強度を補正する第3情報として、顔領域の個数、つまり、画像に写っている人数と、個々の顔領域面積とを用いる。
通常、鮮鋭強度は、公知の顔検出アルゴリズムによって顔領域を検出し、仮に、複数の人物を含む原画像であっても、その顔領域面積の総和から顔比率を算出し、この顔比率をもとに設定される。しかし、例えば、顔領域面積の総和が同じであって、10人の人物が写っている原画像と、1人の人物が写っている原画像では、異なる画像調整を行うことが望ましい。つまり、前者は、集合写真のようなシーンが考えられるので、そのバックに写る風景等を鮮鋭化する鮮鋭化処理を強調する方が望ましい。このとき、一つ一つの顔領域は比較的小さいので鮮鋭化処理による影響は小さい。一方、後者は、ポートレート写真のようなシーンが考えられ、鮮鋭化することで比較的広い顔領域に発生するざらつきを考慮すると鮮鋭化処理は弱くかける方が望ましい。また、例えば、画像に複数の人物が写っており、それぞれ顔領域面積に差がある場合には、上記のようなざらつきを考慮すると、画像の中で一番大きな顔領域に対して最適な鮮鋭化処理を施すことができる鮮鋭化強度を設定することが望ましい。
そこで、顔比率によって設定された鮮鋭強度を補正する第3情報として、顔領域の個数と、個々の顔領域面積を用いる。つまり、複数人が写っているような原画像は、ポートレートのような原画像に比べ鮮鋭強度が小さくなるように補正する。また、複数の顔領域があって、個々の顔領域面積が異なるような原画像においては、最大の面積を有する顔領域に最適な鮮鋭強度となるように補正する。
これにより、原画像の顔領域に対する特性が適切に判別されるので、顔領域面積の総和のみで設定される場合に比べて、より適正な鮮鋭強度を設定することができる。
また、フィルム感度、画像濃度、レンズ特性による補正を組み合わせることで、さらに高品質な画像を提供することが可能となる。
第6の発明に係る画像処理装置は、第1から第5の発明のいずれか1つに係る画像処理装置であって、第3情報は、画像入力時に自動検出される。
ここでは、顔比率によって設定された粒状抑制強度や鮮鋭強度を補正する第3情報を、画像入力時に自動取得する。
ここで、例えば、フィルムスキャナによるスキャニング時に、フィルムに印刷されているバーコードからフィルム感度等の情報を自動取得することが可能である。また、メディアリーダ等からデジタルカメラの画像データを取り込む場合には、その画像データに含まれている、例えば、機種、絞り値、シャッター速度、画質モード、ISO感度、露出プログラム、焦点距離の撮影データから情報を取得することが可能である。
これにより、画像処理の際にオペレータが実施する第3情報の入力の手間を省くことができ、作業の効率化を図ることが可能となる。
第7の発明に係る画像処理プログラムは、原画像データに画像処理を施す画像処理プログラムであって、第1から第4のステップを備えた画像処理方法をコンピュータに実行させる。第1のステップは、原画像データから人物の顔領域を検出する。第2のステップは、第1のステップにおいて検出された顔領域の画素数が原画像データ全体の画素数に占める比率を算出する。第3のステップは、第2のステップにおいて算出された顔比率に基づいて粒状抑制強度と鮮鋭強度とを設定する。第4のステップは、少なくとも1つの第3情報に基づいて、第3のステップにおいて設定された粒状抑制強度または鮮鋭強度を補正する。
ここでは、原画像データから人物の顔領域を検出し、顔領域の画素数が原画像全体の画素数に占める割合(以下、顔比率と示す)から粒状抑制強度と鮮鋭強度とを設定した後、第3情報に基づき上記の粒状抑制強度と鮮鋭強度とを補正する。
ここで、鮮鋭化とは、撮影画像における被写体のエッジ域や微細なテクスチャを鮮鋭化するために用いられる画像処理であり、写真処理装置では一般的に利用されている。しかし、過度に鮮鋭化処理を行うと、フィルムの粒状性に基づくざらつきやノイズ成分が目立つようになる。また、粒状化抑制処理は、これらのざらつきやノイズを抑制するために用いられている。
通常、上述した粒状抑制処理と鮮鋭化処理との強度を決定するため、顔比率から撮影シーンを判別し、粒状抑制処理、鮮鋭化処理を設定していた。しかし、この方法では、例えば、露出やレンズ特性等の撮影時の条件や、フィルム感度等のフィルム特性が考慮されておらず、適正な粒状抑制強度および鮮鋭強度を設定することは困難である。
そこで、本発明の画像処理プログラムでは、顔比率に応じて粒状抑制処理と鮮鋭化処理とを設定した後、第3情報を用いて先に設定された粒状抑制処理と鮮鋭化処理とを補正する。つまり、粒状抑制処理と鮮鋭化処理とを施す際に、従来の方法では加味しなかった他の要素を考慮して粒状抑制処理と鮮鋭化処理とを設定する。例えば、第3情報としてフィルム感度を用いて先に設定された粒状抑制強度を補正する。一般に、フィルム感度が高くなると、そのフィルムで撮影された画像はざらざらした感じが強くなる。このため、このざらつきを抑制するため、フィルム感度が高いフィルムで撮影された画像については、顔比率により設定された粒状抑制強度よりも強くなるように補正する。
これにより、顔比率単独で設定された粒状抑制強度、鮮鋭強度に比べて、より適正な粒状抑制強度、鮮鋭強度に補正することができる。
この結果、適正な粒状抑制強度や鮮鋭強度を用いて粒状抑制処理、鮮鋭化処理を施すことが可能となり、従来よりも高品質な画像を提供することができる。
第1の発明に係る画像処理装置によれば、適正な粒状抑制強度や鮮鋭強度を用いて粒状抑制処理、鮮鋭化処理を施すことが可能となり、従来よりも高品質な画像を提供することができる。
第2の発明に係る画像処理装置によれば、顔比率単独で設定された場合に比べて、より適正な粒状抑制強度を設定することができる。
第3の発明に係る画像処理装置によれば、顔比率単独で設定される場合に比べて、より適正な粒状抑制強度を設定することができる。
第4の発明に係る画像処理装置によれば、顔比率単独で設定される場合に比べて、より適正な鮮鋭強度を設定することができる。
第5の発明に係る画像処理装置によれば、顔領域面積の総和のみで設定される場合に比べて、より適正な鮮鋭強度を設定することができる。
第6の発明に係る画像処理装置によれば、画像処理の際にオペレータが実施する第3情報の入力の手間を省くことができ、作業の効率化を図ることが可能となる。
第7の発明に係る画像処理プログラムによれば、適正な粒状抑制強度や鮮鋭強度を用いて粒状抑制処理、鮮鋭化処理を施すことが可能となり、従来よりも高品質な画像を提供することができる。
本発明の一実施形態に係る画像処理装置および画像処理プログラムについて、図1〜図9を用いて説明すれば以下の通りである。
[写真プリントシステム1の構成]
本発明の一実施形態に係る画像処理装置は、図1に示すように、いわゆるデジタルミニラボと呼ばれる写真プリントシステム1に搭載されている。
写真プリントシステム1は、操作ステーション(画像処理装置)20と、プリントステーション50とを備えている。
操作ステーション20は、現像された写真フィルムFやデジタルカメラ等で撮影されたデジタル画像データが保存されたメモリカード等のメディアMから画像データを取り込んでプリントデータを作成し、ケーブル2を介して接続されたプリントステーション50に対して送信する。
プリントステーション50は、操作ステーション20から受信したプリントデータに基づいて、印画紙Pに対して露光処理および現像処理を行って写真プリント画像を形成する。
[操作ステーション20の構成]
操作ステーション20は、図1に示すように、モニタ21と、キーボード22と、マウス23と、コンピュータユニット30と、メディアリーダ31と、フィルムスキャナ40と、を有している。
コンピュータユニット30は、モニタ21、キーボード22、マウス23と接続されており、制御部32を介して、フィルムスキャナ40およびプリントステーション50に含まれる各部の動作や画像処理および画像データの入出力等の制御を行う。
モニタ21には、各種制御のためのGUI(グラフィックユーザインターフェイス)や処理対象の画像が表示される。ユーザは、表示された画像を見ながら、キーボード22やマウス23等のポインティングデバイスを用いて画像処理やセットアップ等の各種設定を行うことができる。
メディアリーダ31は、本写真プリントシステム1のコントローラとして機能するコンピュータユニット30に搭載されており、デジタルカメラ等で撮影された画像のデジタルデータをメモリカードや各種半導体メモリ、CD−R等のメディアから取り込む。
フィルムスキャナ40は、写真フィルムFに現像された撮影コマに対応する画像をデジタル画像データとして取り込む。また、フィルムスキャナ40は、スキャニング時に、後段で詳述する粒状抑制強度、鮮鋭強度を補正するための要素であるフィルム感度、濃度情報、レンズ特性等の情報をフィルムFに印刷されたバーコード等から自動で取得することができる。
[プリントステーション50の構成]
プリントステーション50は、図1に示すように、ケーブル2を介して接続された操作ステーション20から受信したプリントデータに基づいて、印画紙Pを搬送しながら印画紙Pに対して露光処理および現像処理を行って写真プリント画像を形成する写真処理装置である。
プリントステーション50は、図2に示すように、内部に2つの印画紙マガジン51と、シートカッター52と、バックプリント部53と、プリント露光部54と、処理槽ユニット55と、コンベア56と、ソータ57(図1参照)と、印画紙搬送機構58とを有している。
2つの印画紙マガジン51は、プリントステーション50の内部においてロール状の印画紙Pを1個ずつ収納しており、印画紙搬送機構58によって適宜必要な量の印画紙Pが引き出される。
シートカッター52は、印画紙搬送機構58の一部と隣接するように配置されており、印画紙マガジン51から引き出された印画紙Pをプリントサイズに切断する。
バックプリント部53は、シートカッター52の下流側であって印画紙搬送機構58と隣接する位置に配置されており、プリントサイズに切断された印画紙Pの裏面側に、色補正情報やコマ番号等のプリント処理情報を印刷する。
プリント露光部54は、バックプリント部53の下流側における印画紙搬送機構58に隣接するように配置されており、プリントサイズに切断された印画紙Pの表面に対して、プリントする撮影画像の露光を行う。また、プリント露光部54には、副走査方向に搬送される印画紙Pに対して主走査方向に沿ってRGBの3色のレーザ光線を照射する図示しないライン露光ヘッドを有している。
処理槽ユニット55は、プリント露光部54の下流側に配置されており、発色現像処理液を貯留する発色現像槽55a、漂白定着処理液を貯留する漂白定着槽55b、安定処理液を貯留する安定処理槽55cを有している。そして、露光後の印画紙Pがこれらの各処理槽55a〜55cをこの順で経由しながら搬送されることで、所望の写真プリント画像が印画紙Pの表面に形成される。
コンベア56は、プリントステーション50の上部に露出しており、写真プリント画像が表面に形成されて乾燥処理後に排出された印画紙Pをソータ57の方向へ搬送する(図1参照)。
ソータ57は、プリントステーション50の前面側に鉛直方向に複数のトレイを並べた状態で配置されており、コンベア56によって搬送されるプリント済の印画紙Pを、オーダー単位で各トレイに振り分ける(図1参照)。
印画紙搬送機構58は、プリントステーション50の内部において、印画紙マガジン51に収容されたロール状の印画紙Pを引き出すとともに、プリントサイズに切断された印画紙Pを、印画紙Pに対して行われる様々な処理に対応した搬送速度で搬送する。また、印画紙搬送機構58は、印画紙Pの搬送方向におけるプリント露光部54の上流側および下流側にそれぞれ配置されたチャッカー式搬送ユニット58aと、複数の圧接搬送ローラ対58bとを有している。チャッカー式搬送ユニット58aは、プリントサイズに切断された印画紙Pの下流側(先端側)の端部を搬送方向における両側からつまむようにして搬送する。圧接搬送ローラ対58bは、2つのローラを組み合わせて構成されており、2つのローラの間の隙間に印画紙Pを圧接して回転することで印画紙Pを下流側へと搬送する。
[制御部32の説明]
制御部32は、図3に示すように、フィルムスキャナ40、メディアリーダ31,記憶部35およびプリントステーション50の制御を行うためのものであり、CPU33、メモリ34を含んで構成されている。
また、制御部32は、CPU33が、例えば、記憶部35に格納された処理プログラムをメモリ34に展開することによって、図4に示すような機能ブロックを形成する。このとき、制御部32は、顔領域検出部101、顔比率算出部102、強度設定部103、強度補正部104を備えている。そして、これらの各処理部101から104が処理する内容は以下のとおりである。
顔領域検出部101は、メディアリーダまたはフィルムスキャナにから入力された原画像データに対して、公知の顔検出アルゴリズムによって顔領域を検出する。そして、顔領域について、図6に示すような、縦方向における画素数Fvn(n>1 n:個数)と、横方向における画素数Fhnとの値を算出する。また、原画像の中に複数の顔領域が検出された場合、つまり、複数の人物が写っている場合にはこの処理を繰り返し、それぞれの顔領域に対してFvn、Fhnを算出する。
顔比率算出部102は、原画像全体の縦方向における画素数MainPix、横方向における画素数SubPixを抽出し、図6に示すように、顔領域検出部101において算出された顔領域Fvn、Fhnに基づいて、原画像全体の画素数に対する顔領域の画素数の割合である顔比率F_Ratioを算出する。
強度設定部103は、顔比率算出部102において算出された顔比率F_Ratioに基づいて、粒状抑制処理するための粒状抑制強度、鮮鋭化処理するための鮮鋭強度を設定する。粒状抑制強度を設定するにあたっては、図7の(a)に示されるように、顔比率F_Ratioに対して粒状抑制強度が一意に設定される。同様に、鮮鋭強度を設定するにあたっては、図7の(b)に示されるように、顔比率F_Ratioに対して鮮鋭強度が一意に設定される。
強度補正部104は、強度設定部103において設定された粒状抑制強度、鮮鋭強度に対して補正を行う。粒状抑制強度に対しては、図8の(a)、(b)に示すように、フィルム感度、画像濃度に基づいた補正を行う。また、鮮鋭強度に対しては、レンズ特性がフィルム付きレンズの場合に、図9に示すような補正を行う。さらに、顔領域の個数と個々の顔領域面積とに基づいた補正を行う。
<写真プリントシステム1による画像処理の手順.>
本実施形態の写真プリントシステム1では、図5に示すフローチャートに従って画像の調整が行われる。
ステップS1では、図3に示すように、フィルムスキャナ40によってスキャニングされた高解像度画像データ、またはメディアリーダ31から入力された高解像度画像データを記憶部35に格納し、画像単位でRGB点順次RAW形式、またはRGB面順次RAW形式でメモリ34に展開される。また、上記による画像入力と同時に、自動でフィルム感度、画像濃度、レンズ特性などの情報を取得することできる。
ステップS2では、ステップS1において入力された原画像データの大きさを取得する。取得された値は、縦方向の画素数MainPixと、横方向の画素数SubPixとしてメモリ34に格納する。
ステップS3では、顔領域検出部101によって顔領域が検出される。顔領域の検出にあたっては、様々な公知のアルゴリズムを用いることが可能であるが結果的に、図6に示すように、原画像データから顔領域を包含する最小面積の矩形領域としてFvn、Fhnを検出する。上記のアルゴリズムとしては、例えば、各画素のBGR値から、明度、色相、彩度、色度、(B−R)、(G−R)といった色の特徴量を求め、これらの色の特徴量が予め定めた範囲内に入っていれば、対象画素が肌色であると判定する。次に、肌色と判定された画素から形成される画像に対してエッジ抽出を行い、予め設定されたサイズ、長軸/短軸の比率の異なる複数の楕円あるいは円形の顔テンプレート(顔テンプレートは、楕円ないしは円の輪郭か否かで2値化されている)と、抽出されたエッジ画像のマッチング度を求める。そして、マッチング度が予め定めた閾値以上であるときに顔候補領域であると判定し、その領域を包含する最小面積の矩形領域としてFvn、Fhnを検出する。
ステップS4では、ステップS3において検出された顔領域以外に、上記のアルゴリズムによって検出可能な領域が無いかを判定する。もし、他に顔領域を含むようであればステップS3に戻って該当する顔領域の検出を行い、他に顔領域が無ければステップS5へ遷移する。
ステップS5では、図6に示すように、ステップS3において算出された顔領域Fvn、Fhnと、ステップS2で取得された原画像全体の縦方向における画素数MainPix、横方向における画素数SubPixとに基づいて原画像全体の画素数に対する顔領域の画素数の割合である顔比率F_Ratioを算出する。顔比率F_Ratioの算出式は以下の式(1)のとおりである。
F_Ratio=(Fv1×Fh1+・・+Fvn×Fhn)×100/(MainPix×SubPix)
・・・式(1)
(n:顔領域の個数)
ステップS6では、ステップS5において算出された顔比率F_Ratioに基づいて、粒状抑制処理の強弱を決める粒状抑制強度を設定する。粒状抑制強度の設定にあたっては、図7の(a)に示すように、一般的に顔比率が高いほど粒状抑制強度が強くなるように、顔比率F_Ratioから粒状抑制強度が一意に決定される。
ステップS7では、ステップS5において算出された顔比率F_Ratioに基づいて、鮮鋭化処理の強弱を決める鮮鋭強度を設定する。鮮鋭強度の設定にあたっては、図7の(b)に示すように、一般的に顔比率が高いほど鮮鋭強度が弱くなるように、顔比率F_Ratioから鮮鋭強度が一意に決定される。
ステップS8では、ステップS6において設定された粒状抑制強度をフィルム感度に応じて補正する。粒状抑制強度のフィルム感度による補正は、図8の(a)に示すように、フィルム感度の指標であるASA値が高いほど粒状抑制強度が強調されるように補正率が算出される。この補正率の値に応じて、ステップS6において設定した粒状抑制強度を強調する。
ステップS9では、ステップS6において設定された粒状抑制強度を画像濃度に応じて補正する。粒状抑制強度の画像濃度による補正は、図8の(b)に示すように、ある閾値よりも露光アンダーになる場合と、露光オーバーになる場合とに粒状抑制強度が強調されるように補正率が算出される。この補正率の値に応じて、ステップS8において補正された粒状抑制強度をさらに強調する。
ステップS10では、ステップS7において設定された鮮鋭強度をレンズ特性に応じて補正する。鮮鋭強度のレンズ特性による補正は、図9に示すように、レンズ付きフィルムで撮影された鮮鋭度(解像度)の低い画像には、その他のカメラによって撮影された画像よりも強調されるように、レンズ付きフィルムで撮影した場合の顔比率F_Ratioに対応する鮮鋭強度曲線を用いて行われる。この補正率に値に応じて、ステップS7において設定された鮮鋭強度を強調する。
ステップS11では、ステップS8とステップS9とにおいて補正された粒状抑制強度を用いて、原画像に粒状抑制処理を行う。上記の粒状抑制処理は、強調されたエッジを選択的に、例えば、平滑化フィルタによってクリップ処理することで行われる。
ステップS12では、ステップS10において補正された鮮鋭強度を用いて、原画像に鮮鋭化処理を行う。上記の鮮鋭化処理は、原画像に、例えば、ラプラシアンフィルタによって、エッジの強調をすることで行われる。
本実施形態の写真プリントシステム1では、以上のような流れで各種処理を行うことで、粒状抑制強度および鮮鋭強度を適正に補正し、この補正された強度をもとに粒状抑制処理、鮮鋭化処理を行うことができる。
[写真プリントシステム1の特徴]
(1)
本実施形態の写真プリントシステム1は、原画像に対して粒状抑制処理、鮮鋭化処理を施す画像処理装置であって、強度補正部104を備えていることを特徴とする画像処理装置である。そして、本実施形態の写真プリントシステム1は、図4に示すように、機能ブロックとして、原画像データから人物の顔領域を検出する顔領域検出部101と、顔領域検出部101において検出された顔領域の画素数が原画像データ全体の画素数に占める比率を算出する顔比率算出部102、顔比率算出部102において算出された顔比率に基づいて粒状抑制強度と鮮鋭強度とを設定する強度設定部103と、強度設定部103において設定された粒状抑制強度または鮮鋭強度を補正する強度補正部104を備えている。
従来の画像処理装置では、顔比率算出部102において顔比率F_Ratioを算出し、強度設定部103において粒状抑制強度、鮮鋭強度を設定し、原画像に粒状抑制処理、鮮鋭化処理を行っていた。しかし、この方法では、例えば、露光条件やレンズ特性等が考慮されておらず、適正な粒状抑制強度および鮮鋭強度を設定することは難しい。
そこで、本実施形態の写真プリントシステム1では、強度補正部104において、フィルム感度、濃度情報およびレンズ特性といった第3情報を用いて、先に設定された粒状抑制強度と鮮鋭強度とを補正する。
これにより、顔比率F_Ratio単独で設定された場合に比べて適正な粒状抑制強度、鮮鋭強度を用いて、それぞれの処理を施すことが可能となり、従来よりも高品質な画像を提供することができる。
(2)
本実施形態の写真プリントシステム1では、図4に示すように、強度補正部104が、強度設定部103において設定された粒状抑制強度に対してフィルム感度を用いた補正を行う。
ここで、フィルム感度が高くなると、そのフィルムFで撮影された原画像はざらざらした感じが強くなる。このため、フィルム感度の高いフィルムFで撮影された原画像に対して、粒状抑制処理を強く施すことが望ましい。そこで、図8の(a)に示すように、フィルム感度の指標であるASA値が高いほど粒状抑制強度が強調されるような補正を行う。
これにより、顔比率F_Ratio単独で設定された場合に比べて、適正な粒状抑制強度を設定することができる。
(3)
本実施形態の写真プリントシステム1では、図4に示すように、強度補正部104が、強度設定部103において設定された粒状抑制強度に対して画像濃度を用いた補正を行う。
ここで、画像濃度は、適正値よりも露光オーバーになると画像が薄い状態となり、適正値よりも露光アンダーになると画像が濃い状態となるが、このとき、両者とも画像のざらつき感が目立つようになる。このため、露光アンダーになる側と、露光オーバーになる側にある閾値を設け、その閾値よりも小さいまたは大きい場合には粒状抑制処理を強く施すことが望ましい。そこで、図8の(b)に示すように、ある閾値よりも露光アンダーになる場合と、露光オーバーになる場合とに、粒状抑制強度が強調されるように補正を行う。
これにより、顔比率F_Ratio単独で設定された場合に比べて、適正な粒状抑制強度を設定することができる。
(4)
本実施形態の写真プリントシステム1では、図4に示すように、強度補正部104が、強度設定部103において設定された鮮鋭強度に対してレンズ特性を用いた補正を行う。
ここで、レンズ付きフィルムのようなレンズの鮮鋭度(解像度)が低いカメラによって撮影された画像は、一眼レフカメラのようなカメラで撮影された画像に比べ、きれがなく引き締まった感じを与えない。このため、レンズ付きフィルムで撮影された原画像に対しては、鮮鋭化処理を強く施すことが望ましい。そこで、図9に示すように、レンズ付きフィルムで撮影された画像には、その他のカメラによって撮影された画像よりも強調されるように補正を行う。
これにより、顔比率F_Ratio単独で設定される場合に比べて、適正な鮮鋭強度を設定することができる。
(5)
本実施形態の写真プリントシステム1では、図5に示すように、粒状抑制強度や鮮鋭強度を補正する第3情報を、ステップS1において、画像入力時に自動取得する。
本実施例では、フィルムスキャナ40によるスキャニング時に、フィルムFに印刷されているバーコードからフィルム感度等の情報を自動取得することが可能である。また、メディアリーダ31からデジタルカメラの画像データを取り込む場合には、その画像データに含まれている、例えば、機種、絞り値、シャッター速度、画質モード、ISO感度、露出プログラム、焦点距離の撮影データから情報を取得することが可能である。
これにより、ステップS8からステップS10において、粒状抑制強度、鮮鋭強度を補正するための情報をオペレータが入力する手間を省くことができ、作業の効率化を図ることが可能となる。
[他の実施形態]
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
(A)
上記実施形態では、第3情報として、フィルム感度、濃度情報、レンズ特性といった要素を全て考慮し、鮮鋭強度、粒状抑制強度を補正した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
適正に鮮鋭強度、粒状抑制強度を補正するための第3情報は、例えば、フィルム感度とレンズ特性との2つの要素を組み合わせて考慮したり、フィルム感度のみを考慮するなど、フィルム感度、画像濃度、レンズ特性といった複数の要素から少なくとも1つの要素を考慮すれば、上記と同様の効果を得ることができる。
また、上記以外の第3情報として、顔領域の個数と個々の顔領域面積とを用いて、粒状抑制強度、鮮鋭強度を補正してもよい。例えば、上記の実施形態にこの第3情報を用いた補正を追加すると、図5に示すように、ステップS12において鮮鋭化処理をする前に、鮮鋭強度を顔領域の個数と個々の顔領域面積とに応じて補正するステップ(図示せず)を追加する。顔領域の個数による補正は、集合写真やポートレートのような撮影シーンを判別し、それぞれの補正率のテーブルを用いて行われる。また、個々の顔領域面積による補正は、原画像において最大となる顔領域を抽出し、この顔領域の面積に応じて行われる。
ここで、撮影シーンが集合写真のような場合、そのバックに写る風景等を鮮鋭化する鮮鋭化処理を強調することが望ましい。このとき、一つ一つの顔領域は比較的小さいので鮮鋭化処理による影響は小さい。一方、ポートレート写真のような場合、鮮鋭化することで比較的広い顔領域に発生するざらつきを考慮し、鮮鋭化処理は弱く施すことが望ましい。さらに、画像に複数の人物が写っており、それぞれ顔領域面積に差がある場合、上記のようなざらつきを考慮して、画像の中で一番大きな顔領域に対して最適な鮮鋭化処理を施すことが望ましい。そこで、顔比率によって設定された鮮鋭強度を補正する第3情報として、顔領域の個数と、個々の顔領域面積を用いる。つまり、複数人が写っているような原画像は、ポートレートのような原画像に比べ鮮鋭強度が小さくなるように補正する。また、複数の顔領域があって、個々の顔領域面積が異なるような原画像においては、最大の面積を有する顔領域に最適な鮮鋭強度となるように補正する。
これにより、原画像の顔領域に対する特性が適切に判別されるので、顔領域面積の総和のみで設定される場合に比べて、より適正な鮮鋭強度を設定することができる。
(B)
上記実施形態では、第3情報として顔比率F_Ratioによる鮮鋭強度の設定のあと、ステップS10において、レンズ特性によって補正した鮮鋭強度を用いて鮮鋭化処理を行った例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、本実施形態において鮮鋭強度を設定するステップS7の段階でレンズ特性を考慮して鮮鋭強度を設定してもよい。
(C)
上記実施形態では、顔比率F_Ratioによる粒状抑制強度の設定のあと、フィルム感度による粒状抑制強度の補正を行う場合は、ステップS8において、図8の(a)に示された値に基づいて粒状抑制強度を補正した例を挙げて説明した。同様に、画像濃度は、図8の(b)に基づいてステップS9において粒状抑制強度を補正し、レンズ特性は、図9に基づいて、ステップS10において鮮鋭強度を補正した。しかし、本発明はこれに限定されるものではない。
つまり、図8(a)および(b)、図9のそれぞれに示された補正曲線だけでなく、例えば、スキャナユニット40のスキャニング性能の違い等により得られるグラフに基づいて適宜補正曲線を修正することが望ましい。
(D)
上記実施形態では、顔比率F_Ratioによる鮮鋭強度の設定のあと、レンズ特性による鮮鋭強度の補正を行う場合は、ステップS10において、図9に示されたように、レンズ付きフィルムとその他のカメラの2つの特性に分けて実施した。しかし、本発明はこれに限定されるものではない。
例えば、レンズの焦点距離などの特性を考慮して鮮鋭強度の補正を行うことも可能である。
(E)
上記実施形態では、第3情報として用いるフィルム感度、画像濃度、レンズ特性の特徴量は、画像入力時に自動取得される例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、オペレータが手動で情報を入力する手段などを備えていてもよい。これによって、オペレータが、モニタ等をみながら出力画像を好みに応じて適宜設定することが可能となる。
(F)
上記実施形態では、写真プリントシステム1に対して本発明の画像処理装置が搭載されている例を挙げて説明した。しかし、本発明は、これに限定されるものではない。
例えば、写真プリントシステム1に搭載される画像処理装置としてではなく、上述した各ステップを含む画像処理方法をコンピュータに実行させる画像処理プログラムとして本発明を実現することも可能である。
(G)
上記実施形態では、記憶部35に格納された画像処理プログラムがメモリ34に展開され、CPU33が、上述した図5に示すフローチャートに従って行う画像処理の方法を実行する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、画像処理プログラムは、専用に内蔵されたROM(図示せず)やメディアリーダ31をとおしてCD−R等のメディアから呼び出されても良い。
(H)
上記実施形態で説明した顔検出アルゴリズムは一例であり、これらに限定されるものではなく、適宜公知の顔検出アルゴリズムを用いることが可能である。
また、顔領域の輪郭、目、鼻、口、耳などのパターンに基づいて人の顔領域を検出するニューラルネットワーク等を利用したパターン認識手法を用いて顔領域を検出し、検出された顔領域を包含する最小の矩形領域として、Fvn、Fhnを検出することも可能である。さらには、オペレータがモニタ21に表示された画像に対して顔領域をマウス等によって指定入力する方法を採用することも可能である。
本発明の画像処理装置は、粒状抑制処理、鮮鋭化処理を行う際に必要な粒状抑制強度、鮮鋭強度を適正に設定でき、各画像に適した画像処理を行うことができるという効果を奏することから、画像データに対して粒状抑制処理、鮮鋭化処理を行う画像処理装置、画像形成装置等に対して広く適用可能である。
本実施例の写真プリントシステムの一例を示す図。 図1に含まれるプリントステーションの内部構造図。 写真プリントシステムが構成する制御ブロック図。 写真プリントシステムの制御部が形成する機能ブロック図。 画像処理方法を示すフローチャート。 顔領域と顔比率の定義を示す説明図。 (a)は、顔比率に対する粒状抑制強度、(b)は、顔比率に対する鮮鋭強度の一例を示すグラフ。 (a)は、フィルム感度による粒状抑制強度の補正率、(b)は、画像濃度に対する粒状抑制強度の補正率の一例を示すグラフ。 レンズ特性による鮮鋭強度の補正の一例を示すグラフ。
符号の説明
1 写真プリントシステム
2 ケーブル
20 操作ステーション(画像処理装置)
21 モニタ
22 キーボード
23 マウス
30 コンピュータユニット
31 メディアリーダ
32 制御部
33 CPU
34 メモリ
35 記憶部
40 フィルムスキャナ
50 プリントステーション
51 印画紙マガジン
52 シートカッター
53 バックプリント部
54 プリント露光部
55 処理槽ユニット
55a 発色現像槽
55b 漂白定着槽
55c 安定処理槽
56 コンベア
57 ソータ
58 印画紙搬送機構
58a チャッカー式搬送ユニット
58b 圧接搬送ローラ対
101 顔領域検出部
102 顔比率算出部
103 強度設定部
104 強度補正部
F フィルム
P 印画紙
MainPix 縦方向における全画像の画素数
SubPix 横方向における全画像の画素数
Fvn 縦方向における顔領域の画素数(n>1 n:顔領域の個数)
Fhn 横方向における顔領域の画素数(n>1 n:顔領域の個数)
F_Ratio 顔比率

Claims (7)

  1. 原画像データに画像処理を施す画像処理装置であって、
    前記原画像データから人物の顔領域を検出する顔領域検出部と、
    前記顔領域検出部において検出された前記顔領域の画素数が前記原画像データ全体の画素数に占める比率を算出する顔比率算出部と、
    前記顔比率算出部において算出された顔比率に基づいて粒状抑制強度と鮮鋭強度を設定する強度設定部と、
    少なくとも1つの第3情報に基づいて、前記強度設定部において設定された前記粒状抑制強度または前記鮮鋭強度を補正する強度補正部と、
    を備えた画像処理装置。
  2. 前記第3情報は、フィルム感度である、
    請求項1に記載の画像処理装置。
  3. 前記第3情報は、画像濃度である、
    請求項1または2に記載の画像処理装置。
  4. 前記第3情報は、レンズ特性である、
    請求項1から3のいずれか1項に記載の画像処理装置。
  5. 前記第3情報は、前記顔領域の個数および個々の前記顔領域面積である、
    請求項1から4のいずれか1項に記載の画像処理装置。
  6. 前記第3情報は、画像入力時に自動検出される、
    請求項1から5のいずれか1項に記載の画像処理装置。
  7. 原画像データに画像処理を施す画像処理プログラムであって、
    前記原画像データから人物の顔領域を検出する第1のステップと、
    前記第1のステップにおいて検出された前記顔領域の画素数が前記原画像データ全体の画素数に占める比率を算出する第2のステップと、
    前記第2のステップにおいて算出された顔比率に基づいて粒状抑制強度と鮮鋭強度とを設定する第3のステップと、
    少なくとも1つの第3情報に基づいて、前記第3のステップにおいて設定された前記粒状抑制強度または前記鮮鋭強度を補正する第4のステップと、
    を備えた画像処理方法をコンピュータに実行させる画像処理プログラム。
JP2005232890A 2005-08-11 2005-08-11 画像処理装置および画像処理プログラム Pending JP2007048112A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005232890A JP2007048112A (ja) 2005-08-11 2005-08-11 画像処理装置および画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005232890A JP2007048112A (ja) 2005-08-11 2005-08-11 画像処理装置および画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2007048112A true JP2007048112A (ja) 2007-02-22

Family

ID=37850876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005232890A Pending JP2007048112A (ja) 2005-08-11 2005-08-11 画像処理装置および画像処理プログラム

Country Status (1)

Country Link
JP (1) JP2007048112A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010049312A (ja) * 2008-08-19 2010-03-04 Casio Comput Co Ltd 画像処理装置、画像処理方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09233423A (ja) * 1996-02-27 1997-09-05 Fuji Photo Film Co Ltd デジタルプリンタの画像データ変換方法
JPH11316844A (ja) * 1998-01-30 1999-11-16 Konica Corp 放射線画像読取システム及び放射線画像読取方法
JP2000156785A (ja) * 1998-09-16 2000-06-06 Fuji Photo Film Co Ltd 画像処理方法および画像処理装置
JP2001218015A (ja) * 2000-01-31 2001-08-10 Fuji Photo Film Co Ltd 画像処理方法および画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09233423A (ja) * 1996-02-27 1997-09-05 Fuji Photo Film Co Ltd デジタルプリンタの画像データ変換方法
JPH11316844A (ja) * 1998-01-30 1999-11-16 Konica Corp 放射線画像読取システム及び放射線画像読取方法
JP2000156785A (ja) * 1998-09-16 2000-06-06 Fuji Photo Film Co Ltd 画像処理方法および画像処理装置
JP2001218015A (ja) * 2000-01-31 2001-08-10 Fuji Photo Film Co Ltd 画像処理方法および画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010049312A (ja) * 2008-08-19 2010-03-04 Casio Comput Co Ltd 画像処理装置、画像処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
JP4780374B2 (ja) 粒状ノイズ抑制のための画像処理方法及びプログラム及びこの方法を実施する粒状抑制処理モジュール
US7298380B2 (en) Image processing method and apparatus for white eye correction
US7460707B2 (en) Image processing method and apparatus for red eye correction
US20050286793A1 (en) Photographic image processing method and equipment
JP2005141477A (ja) 画像鮮鋭化処理方法とこの方法を実施する画像処理装置
JP4655210B2 (ja) 濃度補正曲線生成方法と濃度補正曲線生成モジュール
JP2007036603A (ja) プリント作成装置
JP2005148915A (ja) 適正顔判別方法及びこの方法を実施する装置
JP2007048112A (ja) 画像処理装置および画像処理プログラム
US20050213839A1 (en) Image processing method and software for suppressing granular noise and image processing apparatus for implementing the method
JP2005159387A (ja) 濃度特性曲線を決定する方法及びこの方法を実施する濃度補正管理装置
JP2007200069A (ja) 写真画像処理方法及びその装置
JP4731202B2 (ja) 色補正処理方法及びこれを用いた色補正処理装置
JP2005122287A (ja) 画像処理方法
JP2005148916A (ja) 濃度補正のための顔選別方法及びこの方法を実施する装置
JP4496856B2 (ja) 写真画像処理方法及びその装置
JP4655211B2 (ja) コントラスト補正に用いられる補正特性の生成方法と生成プログラムと生成モジュール
JP2005159388A (ja) コントラスト調整方法及びこの方法を実施するコントラスト調整装置
JP2007200068A (ja) 写真画像処理方法及びその装置
JP2006146646A (ja) 写真画像処理方法及びその装置
JP2008160704A (ja) 濃度補正曲線生成方法と濃度補正曲線生成モジュール
JP2006072743A (ja) キャッチライト合成方法及び装置
JP2006277044A (ja) 画像処理方法
JP2008079196A (ja) 画像補正方法と画像補正プログラムと画像補正モジュール
JP2006011618A (ja) 写真画像処理方法及びその装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100811

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100914