JP2004166196A - 画像生成履歴情報を用いた画像の逆光処理 - Google Patents
画像生成履歴情報を用いた画像の逆光処理 Download PDFInfo
- Publication number
- JP2004166196A JP2004166196A JP2003126325A JP2003126325A JP2004166196A JP 2004166196 A JP2004166196 A JP 2004166196A JP 2003126325 A JP2003126325 A JP 2003126325A JP 2003126325 A JP2003126325 A JP 2003126325A JP 2004166196 A JP2004166196 A JP 2004166196A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- backlight
- determination
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 174
- 238000003384 imaging method Methods 0.000 title abstract 2
- 238000000034 method Methods 0.000 claims abstract description 118
- 230000008569 process Effects 0.000 claims description 99
- 238000009826 distribution Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 42
- 230000035945 sensitivity Effects 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 17
- 238000012986 modification Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 101000703681 Homo sapiens Single-minded homolog 1 Proteins 0.000 description 6
- 102100031980 Single-minded homolog 1 Human genes 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 239000000976 ink Substances 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 3
- 229910052721 tungsten Inorganic materials 0.000 description 3
- 239000010937 tungsten Substances 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 101150053844 APP1 gene Proteins 0.000 description 2
- 101100189105 Homo sapiens PABPC4 gene Proteins 0.000 description 2
- 101000616761 Homo sapiens Single-minded homolog 2 Proteins 0.000 description 2
- 102100039424 Polyadenylate-binding protein 4 Human genes 0.000 description 2
- 102100021825 Single-minded homolog 2 Human genes 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 101100508416 Caenorhabditis elegans ifd-1 gene Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- -1 silver halide Chemical class 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color, Gradation (AREA)
- Exposure Control For Cameras (AREA)
- Stroboscope Apparatuses (AREA)
- Image Processing (AREA)
Abstract
【解決手段】画像データと画像生成履歴情報とを用いて逆光処理を実行するか否かの判定を行い、実行すると判定した場合には、画像データにおける少なくとも一部の画素の輝度値を大きくする逆光処理を実行する。
【選択図】 図11
Description
【発明の属する技術分野】
本発明は、画像データの画質を調整する画像調整技術に関する。
【0002】
【従来の技術】
ディジタルスチルカメラ(DSC)やディジタルビデオカメラ(DVC)等によって生成された画像データの画質は、パーソナルコンピュータ上で画像レタッチアプリケーションを用いることによって任意に調整することができる。画像レタッチアプリケーションには、一般的に、画像データの画質を自動的に調整する画像調整機能が備えられており、この画像調整機能を利用すれば、出力装置から出力する画像の画質を向上させることができる。画像の出力装置としては、例えば、CRT、LCD、プリンタ、プロジェクタ、テレビ受像器などが知られている。
【0003】
また、出力装置の1つであるプリンタの動作を制御するプリンタドライバにも、画質を自動的に調整する機能が備えられており、このようなプリンタドライバを利用しても、印刷される画像の画質を向上させることができる。
【0004】
画像データの画質を決める重要な要素の1つに、明るさがある。画像データの明るさが適切な明るさであれば、ユーザは、その画像を高画質な画像として認識することができる。画像データの明るさは、画像データを生成した際の光源の位置の影響を強く受ける。例えば、太陽などの光源が被写体よりも後ろに位置する条件(逆光)で画像データを生成する場合がある。このような逆光条件においては、所望の被写体の画像生成装置に向いた面に十分な光が当たらないために、所望の被写体が適切な明るさよりも暗い画像データが生成される場合がある。そのため、画像データの明るさを解析し、その結果に基づいて、画像データの暗い領域が明るくなるように調整して、画質を向上させる方法が用いられている(例えば、特許文献1、特許文献2参照。)。
【特許文献1】
特開平10−79885号公報
【特許文献2】
特開平11−120325号公報
【0005】
【発明が解決しようとする課題】
これら画像レタッチアプリケーションやプリンタドライバによって提供される画質自動調整機能では、一般的な画質特性を有する画像データを基準として画質補正が実行される。これに対して、画像処理の対象となる画像データは様々な条件下で生成され得る。例えば、画像内における被写体の位置は、ユーザの好みや撮影場所等によって任意に設定される。また、光源としてフラッシュ等の補助光源を用いて画像データを生成する場合もあり、さらに、撮影場所としても、屋外で撮影する場合や、屋内で撮影する場合など、様々な条件下で撮影される。
【0006】
そのため、暗い領域を含む画像に対し、一般的な画質特性を有する画像データを基準とした画質補正を行っても、画面全体の画質を向上させることができない場合があった。なお、こうした問題はDSCで生成された画像に限らず、DVC等の他の画像生成装置で生成された画像においても共通の課題である。
【0007】
本発明は、上記問題を解決するためになされたものであり、個々の画像データに対応して画質を適切に自動調整することを目的とする。
【0008】
【課題を解決するための手段およびその作用・効果】
上記課題の少なくとも一部を解決するために、この発明による出力装置は、画像生成装置で生成された画像データと、前記画像データ生成時における前記画像生成装置の動作情報を少なくとも含むと共に前記画像データに関連付けられた画像生成履歴情報とを用いて、画像を出力する出力装置であって、前記画像生成履歴情報と前記画像データとの両方を用いて、逆光処理を実行するか否かの逆光判定を行う判定部と、前記逆光処理を実行すると判定した場合には、前記画像データにおける少なくとも一部の画素の輝度値を大きくする逆光処理を実行する画質調整部と、前記画質が調整された画像データに応じて画像を出力する画像出力部と、を備える。
【0009】
この発明による出力装置は、逆光処理を実行するか否かの判定を、画像生成履歴情報と画像データとの両方に基づいて適切に実行することができる。また、輝度値を大きくする逆光処理を実行するので、輝度値が低く暗い領域の明るさを向上させることができる。
【0010】
上記出力装置において、前記判定部は、前記画像生成履歴情報が被写体の前記画像内における位置を示す被写***置情報を含む場合に、前記被写***置情報を用いて前記逆光判定を実行するのが好ましい。
【0011】
こうすることで、被写***置情報に基づいた適切な逆光判定を実行することができる。
【0012】
上記各出力装置において、前記判定部は、前記被写***置と前記被写***置以外の位置とで大きさが異なる重み分布を用いた前記画像データの解析結果を用いて、前記逆光判定を実行するのが好ましい。
【0013】
こうすることで、被写***置や被写***置以外の位置における画像データの特徴を用いた逆光判定を実行することができる。
【0014】
上記各出力装置において、前記判定部は、前記画像生成履歴情報が前記画像データ生成時における補助光源の発光情報を含む場合に、前記発光情報に基づいて前記画像データ生成時に前記補助光源による光の照射が行われたか否かを判定し、その判定結果を用いて前記逆光判定を実行するのが好ましい。
【0015】
こうすることで、発光情報に基づいた適切な判定を実行することができる。
【0016】
上記各出力装置において、前記判定部は、前記発光情報を用いて、画像データ生成時における補助光源の動作結果を識別することが可能であり、さらに、前記動作結果が、(i)補助光源無し、(ii)補助光源による発光無、(iii)補助光源による発光有かつ反射光無、のいずれかである場合に、前記画像データの輝度値を用いて、前記逆光判定を実行するのが好ましい。
【0017】
こうすることで、補助光源による光の照射が行われなかった場合に、輝度値に基づいた適切な判定を実行することができる。
【0018】
上記各出力装置において、前記画像生成履歴情報は、さらに、前記画像データ生成時における前記画像データの被写体と前記画像生成装置との距離に関する情報を含み、前記判定部は、前記補助光源の動作結果が、前記結果(i)(ii)(iii)のいずれでも無い場合に、前記被写体との距離の大きさを所定のしきい値と比較し、前記被写体との距離が前記所定のしきい値以上であると判定した場合には、さらに、前記画像データの輝度値を用いて前記逆光判定を実行し、前記被写体との距離が前記所定のしきい値よりも小さいと判定した場合には、前記逆光処理を実行しないとの判定を成立させるのが好ましい。
【0019】
こうすることで、補助光源による光の照射が行われた場合に、被写体との距離に基づいた適切な判定を実行することができる。さらに、距離が大きい場合に、輝度値に基づいた適切な判定を実行することができる。
【0020】
上記各出力装置において、前記判定部は、前記画像生成履歴情報が、前記画像データの被写体の場所に関する情報を含む場合に、前記被写体の場所が屋外か否かを判定し、その判定結果に応じて、前記逆光判定を実行するのが好ましい。
【0021】
こうすることで、画像データの被写体の場所に関する情報に基づいた適切な判定を実行することができる。
【0022】
上記各出力装置において、前記判定部は、前記画像データ生成時における被写体の場所が屋外であると判定した場合に、前記画像データの輝度値を用いて、前記逆光判定を実行するのが好ましい。
【0023】
こうすることで、画像データ生成時における被写体の場所が屋外である場合に、さらに、輝度値に基づいた適切な判定を実行することができる。
【0024】
なお、前記判定部は、
(i)前記画像生成履歴情報に基づいて、前記画像データに対して前記逆光処理が不要か否かを決定するための第1の判定を実行し、
(ii)前記第1の判定において前記画像データに対して前記逆光処理が不要であると判定されなかったときには、前記画像データを用いて画素値の出現頻度を表す対象画像ヒストグラムを生成し、前記対象画像ヒストグラムを解析することによって前記逆光処理の要否を決定するための第2の判定を実行してもよい。
【0025】
この構成によれば、2段階で逆光処理の要否を判定するので、より確実に逆光処理の要否を判定することができる。特に、第2の判定では、画素値のヒストグラムの解析に基づいて逆光処理を判定するので、画像生成履歴情報による判定に比べて、より高精度に逆光処理の要否を判定することができる。
【0026】
また、前記判定部は、前記対象画像ヒストグラムと、予め設定された参照ヒストグラムとの間の類似度を算出し、前記類似度の値に応じて前記第2の判定を実行してもよい。
【0027】
この構成によれば、類似度の値に応じて逆光処理の要否を高精度に判定することができる。
【0028】
また、前記対象画像ヒストグラムと前記参照ヒストグラムのそれぞれは、画素値の範囲が複数の区分に区分されているとともに各区分毎に出現頻度の代表値が設定された簡略化した形式を有しており、
前記類似度は、前記対象画像ヒストグラムと前記参照ヒストグラムの各区分毎の画素値の出現頻度の類似度を示す値であることが好ましい。
【0029】
この構成によれば、簡略化したヒストグラムを用いて類似度が算出されるので、類似度を高速に算出することができる。
【0030】
上記各出力装置において、前記画質調整部は、前記画像生成履歴情報と前記画像データとの両方を用いて、前記逆光処理の強度を決定するのが好ましい。
【0031】
こうすることで、逆光処理の強度を、画像生成履歴情報と画像データとの両方に基づいて適切に決定することができる。
【0032】
上記各出力装置において、前記画質調整部は、前記画像生成履歴情報が被写体の前記画像内における位置を示す被写***置情報を含む場合に、前記被写***置と前記被写***置以外の位置とで大きさが異なる重み分布を用いた前記画像データの解析結果を用いて、前記逆光処理の強度を決定するのが好ましい。
【0033】
こうすることで、逆光処理の強度を、被写***置や被写***置以外の位置における画像データの特徴に基づいて適切に決定することができる。
【0034】
なお、この発明は、種々の形態で実現することが可能であり、例えば、画像出力方法および画像出力装置、画像データ処理方法および画像データ処理装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【0035】
【発明の実施の形態】
次に、この発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.画像出力システムの構成:
B.画像ファイルの構成:
C.画像出力装置の構成:
D.ディジタルスチルカメラにおける画像処理:
E.プリンタにおける画像処理:
F.自動画質調整処理の実施例:
G.逆光判定処理の別の実施例:
H.逆光処理の別の実施例:
I.画像データ処理装置を用いる画像出力システムの構成:
J.変形例:
【0036】
A.画像出力システムの構成:
図1は、本発明の一実施例としての出力装置を適用可能な画像出力システムの一例を示す説明図である。画像出力システム10は、画像ファイルを生成する画像生成装置としてのディジタルスチルカメラ12と、画像の出力装置としてのプリンタ20とを備えている。ディジタルスチルカメラ12において生成された画像ファイルは、ケーブルCVを介したり、画像ファイルが格納されたメモリカードMCをプリンタ20に直接挿入したりすることによって、プリンタ20に送出される。プリンタ20は、読み込んだ画像ファイルに基づいた画像データの画質調整処理を実行し、画像を出力する。出力装置としては、プリンタ20の他に、CRTディスプレイ、LCDディスプレイ等のモニタ14、プロジェクタ等を用いることができる。以下、判定部と画質調整部と画像出力部とを備えるプリンタ20を出力装置として用い、メモリカードMCをプリンタ20に直接挿入する場合に基づいて説明する。
【0037】
図2は、ディジタルスチルカメラ12の概略構成を示すブロック図である。この実施例のディジタルスチルカメラ12は、光情報を収集するための光学回路121と、光学回路を制御して画像を取得するための画像取得回路122と、取得したディジタル画像を加工処理するための画像処理回路123と、補助光源としてのフラッシュ130と、各回路を制御する制御回路124と、を備えている。制御回路124は、図示しないメモリを備えている。光学回路121は、光情報を集めるレンズ125と、光量を調節する絞り129と、レンズを通過した光情報を画像データに変換するCCD128とを備えている。
【0038】
ディジタルスチルカメラ12は、取得した画像をメモリカードMCに保存する。ディジタルスチルカメラ12における画像データの保存形式としては、JPEG形式が一般的であるが、この他にもTIFF形式や、GIF形式や、BMP形式や、RAWデータ形式などの保存形式を用いることができる。
【0039】
ディジタルスチルカメラ12は、また、種々の撮影条件(後述する)を設定するための選択・決定ボタン126と、液晶ディスプレイ127とを備えている。液晶ディスプレイ127は、撮影画像をプレビューしたり、選択・決定ボタン126を用いて絞り値等を設定したりする際に利用される。
【0040】
ディジタルスチルカメラ12において撮影が実行された場合には、画像データと画像生成履歴情報とが、画像ファイルとしてメモリカードMCに格納される。画像生成履歴情報は、撮影時(画像データ生成時)における絞り値等のパラメータの設定値を含むことが可能である(詳細については後述する)。
【0041】
B.画像ファイルの構成:
図3は、本実施例にて用いることができる画像ファイルの内部構成の一例を概念的に示す説明図である。画像ファイルGFは、画像データGDを格納する画像データ格納領域101と、画像生成履歴情報GIを格納する画像生成履歴情報格納領域102を備えている。画像データGDは、例えば、JPEG形式で格納されており、画像生成履歴情報GIは、例えば、TIFF形式(データおよびデータ領域がタグを用いて特定される形式)で格納されている。なお、本実施例におけるファイルの構造、データの構造といった用語は、ファイルまたはデータ等が記憶装置内に格納された状態におけるファイルまたはデータの構造を意味するものである。
【0042】
画像生成履歴情報GIは、ディジタルスチルカメラ12等の画像生成装置において画像データが生成されたとき(撮影されたとき)の画像に関する情報であり、以下のような設定値を含んでいる。
・光源(光源の種類)。
・フラッシュ(発光の有無)。
・被写体距離。
・被写体距離レンジ。
・被写体領域。
・フラッシュ強度。
・絞り値。
・ISOスピードレート(ISO感度)。
・撮影モード。
・メーカ名。
・モデル名。
・ガンマ値。
【0043】
本実施例の画像ファイルGFは、基本的に上記の画像データ格納領域101と、画像生成履歴情報格納領域102とを備えていれば良く、既に規格化されているファイル形式に従ったファイル構造をとることができる。以下、本実施例に係る画像ファイルGFをExifファイル形式に適合させた場合について具体的に説明する。
【0044】
Exifファイルは、ディジタルスチルカメラ用画像ファイルフォーマット規格(Exif)に従ったファイル構造を有しており、その仕様は、日本電子情報技術産業協会(JEITA)によって定められている。また、Exifファイル形式は、図3に示した概念図と同様に、JPEG形式の画像データを格納するJPEG画像データ格納領域と、格納されているJPEG画像データに関する各種情報を格納する付属情報格納領域とを備えている。JPEG画像データ格納領域は、図3における画像データ格納領域101に相当し、付属情報格納領域は画像生成履歴情報格納領域102に相当する。付属情報格納領域には、撮影日時、絞り値、被写体距離といったJPEG画像に関する画像生成履歴情報が格納される。
【0045】
図4は、付属情報格納領域103のデータ構造例を説明する説明図である。Exifファイル形式では、データ領域を特定するために階層的なタグが用いられている。各データ領域は、下位のタグによって特定される複数の下位のデータ領域を、その内部に含むことができる。図4では、四角で囲まれた領域が一つのデータ領域を表しており、その左上にタグ名が記されている。この実施例は、タグ名がAPP0、APP1、APP6である3つのデータ領域を含んでいる。APP1データ領域は、その内部に、タグ名がIFD0、IFD1である2つのデータ領域を含んでいる。IFD0データ領域は、その内部に、タグ名がPM、Exif、GPSである3つのデータ領域を含んでいる。データおよびデータ領域は、規定のアドレスまたはオフセット値に従って格納され、アドレスまたはオフセット値はタグ名によって検索することができる。出力装置側では、所望の情報に対応するアドレスまたはオフセット値を指定することにより、所望の情報に対応するデータを取得することができる。
【0046】
図5は、図4において、タグ名をAPP1−IFD0−Exifの順にたどることで参照することができるExifデータ領域のデータ構造(データのタグ名とパラメータ値)の一例を説明する説明図である。Exifデータ領域は、図4に示すようにタグ名がMakerNoteであるデータ領域を含むことが可能であり、MakerNoteデータ領域は、さらに多数のデータを含むことができるが、図5では図示を省略する。
【0047】
Exifデータ領域には、図5に示すように、光源と、フラッシュと、被写体距離と、被写体領域と、フラッシュ強度と、絞り値と、ISOスピードレート等の情報に関するパラメータ値が格納されている。この実施例では、光源は画像データの被写体の場所に関する情報として用いられ、また、フラッシュは補助光源の発光情報として、被写体距離は画像データの被写体と画像生成装置との距離に関する情報として、被写体領域は被写***置情報として、それぞれ、用いられる。
【0048】
光源情報は、画像データ生成時における光源の種類に関する情報であり、例えば、昼光、晴天、曇天、日陰、蛍光灯、タングステン等の中から設定される。これらの設定の内、昼光、晴天、曇天、日陰が設定された場合には、被写体が屋外にあったと判定することができる。また、蛍光灯、タングステンが設定された場合には、被写体が屋内にあったと判定することができる。
【0049】
フラッシュ情報は、フラッシュの動作に関する情報であり、その動作モードと動作結果とに関する4つの情報を含むことができる。動作モードは、例えば、以下の3つの値を含む複数の値の中から設定される。
1:強制発光モード。
2:発光禁止モード。
3:自動発光モード。
【0050】
動作結果は、例えば、発光有と発光無の2つの値の中から設定される。この動作結果を用いて、画像データ生成時に補助光源による光の照射が行われたか否かの判定を行うことができる。
【0051】
画像生成装置のなかには、フラッシュ光の対象物による反射光を検知する機構を備えるものがある。フラッシュのカバーなどの障害物がフラッシュ光を遮る場合や、フラッシュが動作したにもかかわらず発光しなかった場合には、光が照射されない。このような場合を、反射光の有無によって識別することができる。フラッシュ情報には、このような反射光検知機構の有無と、画像データ生成時(撮影時)における反射光検知の有無とに関する情報を含むことができる。反射光検知機構が有の場合で、反射光検知が無の場合には、上述の動作結果が発光有であっても、補助光源による光の照射が行われなかったと判定することができる。
【0052】
画像生成装置がフラッシュを備えていない場合には、フラッシュ情報に「フラッシュ無し」を設定することができる。「フラッシュ無し」が設定されている場合には、補助光源による光の照射が行われなかったと判定することができる。
【0053】
被写体距離情報は、画像データ生成時における画像生成装置と被写体との距離に関する情報である。例えば、画像データ生成時に焦点を合わせるために設定された距離情報に基づいて、メートル単位で設定される。
【0054】
被写体領域情報は、画像内における被写体の位置を示す情報であり、パラメータ値として、画像内における中心座標が設定される。また、被写体の大きさを示すために、円や矩形の領域が設定された場合には、円の半径や、矩形の幅と高さも合わせて設定される。
【0055】
フラッシュ強度情報は、画像データ生成時におけるフラッシュが発した光量に関する情報であり、その測定単位は、例えば、BCPS(Beam Candle Power Seconds)である。
【0056】
絞り値は、画像データ生成時における絞り値に関する情報であり、パラメータ値としてF値が使用される。従って、絞り値が大きいほど、絞りは小さい。
【0057】
ISOスピードレート情報は、画像データ生成時における光学回路の感度に関する情報であり、銀塩フィルムの感度の指標であるISO感度における相当するパラメータ値が設定される。ISO感度は、絞り値などの画像生成に関するパラメータと組み合わせて、適切な画像生成条件(撮影条件)を設定するために用いられる。ディジタルスチルカメラ等の画像生成装置においても、光学回路の感度を示す指標として、相当するISO感度を用いることで、絞り値などの画像生成条件の設定を容易に行うことができる。
【0058】
これらの情報は、いずれも画像生成装置の動作情報である。これらの動作情報は、画像データの生成に伴い、ユーザによって設定されたり、あるいは、画像生成装置によって自動的に設定されたりすることが可能である。また、画像生成装置の中には、ユーザが撮影モードを設定し、画像生成装置が、設定された撮影モードに応じて、関連するパラメータ(絞り値、ISO感度等)を自動的に設定することが可能なものもある。撮影モードとしては、予め定められた複数のモード、例えば、標準モード、人物モード、風景モード、夜景モード等の中から選択することができる。撮影モードとして標準モードが選択された場合には、画像データ生成に関連するパラメータが標準値に設定される。
【0059】
画像データに関連付けられた情報は、図4におけるExifデータ領域以外の領域にも適宜格納される。例えば、画像生成装置を特定する情報としてのメーカ名やモデル名は、タグ名がIFD0であるデータ領域に格納される。
【0060】
C.画像出力装置の構成:
図6は、本実施例のプリンタ20の概略構成を示すブロック図である。プリンタ20は、画像の出力が可能なプリンタであり、例えば、シアンCと、マゼンタMgと、イエロYと、ブラックKとの4色のインクを印刷媒体上に吐出してドットパターンを形成するインクジェット方式のプリンタである。この代わりに、トナーを印刷媒体上に転写・定着させて画像を形成する電子写真方式のプリンタを用いることもできる。インクには、上記4色に加えて、シアンCよりも濃度の薄いライトシアンLCと、マゼンタMgよりも濃度の薄いライトマゼンタLMと、イエロYよりも濃度の濃いダークイエロDYとを用いても良い。また、モノクロ印刷を行う場合には、ブラックKのみを用いる構成としても良く、レッドRやグリーンGを用いても良い。利用するインクやトナーの種類は、出力する画像の特徴に応じて決めることができる。
【0061】
プリンタ20は、図示するように、キャリッジ21に搭載された印刷ヘッド211を駆動してインクの吐出およびドット形成を行う機構と、キャリッジ21をキャリッジモータ22によってプラテン23の軸方向に往復動させる機構と、紙送りモータ24によって印刷用紙Pを搬送する機構と、制御回路30とから構成されている。これらの機構により、プリンタ20は画像出力部として機能する。キャリッジ21をプラテン23の軸方向に往復動させる機構は、プラテン23の軸と平行に架設されたキャリッジ21を櫂動可能に保持する櫂動軸25と、キャリッジモータ22との間に無端の駆動ベルト26を張設するプーリ27と、キャリッジ21の原点位置を検出する位置検出センサ28等から構成されている。印刷用紙Pを搬送する機構は、プラテン23と、プラテン23を回転させる紙送りモータ24と、図示しない給紙補助ローラと、紙送りモータ24の回転をプラテン23および給紙補助ローラに伝えるギヤトレイン(図示省略)とから構成されている。
【0062】
制御回路30は、プリンタの操作パネル29と信号をやり取りしつつ、紙送りモータ24やキャリッジモータ22、印刷ヘッド211の動きを適切に制御している。プリンタ20に供給された印刷用紙Pは、プラテン23と給紙補助ローラの間に挟みこまれるようにセットされ、プラテン23の回転角度に応じて所定量だけ送られる。
【0063】
キャリッジ21は、印刷ヘッド211を有しており、また、利用可能なインクのインクカートリッジを搭載可能である。印刷ヘッド211の下面には利用可能なインクを吐出するためのノズルが設けられる(図示省略)。
【0064】
図7は、プリンタ20の制御回路30を中心としたプリンタ20の構成を示すブロック図である。制御回路30の内部には、CPU31と、PROM32と、RAM33と、メモリカードMCからデータを取得するメモリカードスロット34と、紙送りモータ24やキャリッジモータ22等とデータのやり取りを行う周辺機器入出力部(PIO)35と、駆動バッファ37等が設けられている。駆動バッファ37は、印刷ヘッド211にドットのオン・オフ信号を供給するバッファとして使用される。これらは互いにバス38で接続され、相互にデータのやり取りが可能となっている。また、制御回路30には、所定周波数で駆動波形を出力する発信器39と、発信器39からの出力を印刷ヘッド211に所定のタイミングで分配する分配出力器40も設けられている。
【0065】
また、制御回路30は、紙送りモータ24やキャリッジモータ22の動きと同期をとりながら、所定のタイミングでドットデータを駆動バッファ37に出力する。さらに、制御回路30は、メモリカードMCから画像ファイルを読み出し、付属情報を解析し、得られた画像生成履歴情報に基づいて画像処理を行う。すなわち、制御回路30は本発明における判定部30aおよび画質調整部30b(図6)として機能する。制御回路30によって実行される詳細な画像処理の流れについては後述する。
【0066】
D.ディジタルスチルカメラにおける画像処理:
図8は、ディジタルスチルカメラ12における画像ファイルGFの生成処理の流れを示すフローチャートである。
【0067】
ディジタルスチルカメラ12の制御回路124(図2)は、撮影要求、例えば、シャッターボタンの押し下げに応じて画像データGDを生成する(ステップS100)。絞り値や、ISO感度や、撮影モード等のパラメータ値の設定がされている場合には、設定されたパラメータ値を用いた画像データGDの生成が行われる。
【0068】
制御回路124は、生成した画像データGDと画像生成履歴情報GIとを、画像ファイルGFとしてメモリカードMCに格納して(ステップS110)、本処理ルーチンを終了する。画像生成履歴情報GIは、絞り値、ISO感度等の画像生成時に用いたパラメータ値や、撮影モードなどの任意に設定され得るパラメータ値や、メーカ名や、モデル名等の自動的に設定されるパラメータ値を含む。また、画像データGDは、RGB色空間からYCbCr色空間に変換された後、JPEG圧縮され、画像ファイルGFとして格納される。
【0069】
ディジタルスチルカメラ12において実行される以上の処理によって、メモリカードMCに格納されている画像ファイルGFには、画像データGDと共に、画像データ生成時における各パラメータ値を含む画像生成履歴情報GIが設定されることとなる。
【0070】
E.プリンタにおける画像処理:
図9は、本実施例のプリンタ20における画像処理の処理ルーチンを示すフローチャートである。以下の説明では、画像ファイルGFを格納したメモリカードMCがプリンタ20に直接挿入される場合に基づいて説明する。プリンタ20の制御回路30(図7)のCPU31は、メモリカードスロット34にメモリカードMCが差し込まれると、メモリカードMCから画像ファイルGF(図3)を読み出す(ステップS200)。次にステップS210にて、CPU31は、画像ファイルGFの付属情報格納領域から、画像データ生成時の情報を示す画像生成履歴情報GIを検索する。画像生成履歴情報GIを発見できた場合には(ステップS220:Y)、CPU31は、画像生成履歴情報GIを取得して解析する(ステップS230)。CPU31は、解析した画像生成履歴情報GIに基づいて、後述する画像処理を実行し(ステップS240)、処理した画像を出力して(ステップS250)、本処理ルーチンを終了する。
【0071】
一方、ドローイングアプリケーションなどを用いて生成された画像ファイルには、絞り値などの情報を有する画像生成履歴情報GIが含まれない。CPU31は、画像生成履歴情報GIを発見できなかった場合には(ステップS220:N)、標準処理を行い(ステップS260)、処理した画像を出力して(ステップS250)、本処理ルーチンを終了する。
【0072】
図10は、画像生成履歴情報に基づく画像処理(図9においてはステップS240に相当する)の処理ルーチンを示すフローチャートである。プリンタ20の制御回路30(図7)のCPU31は、読み出した画像ファイルGFから画像データGDを取り出す(ステップS300)。
【0073】
ディジタルスチルカメラ12は、既述のように画像データGDをJPEG形式のファイルとして保存しており、JPEG形式のファイルではYCbCr色空間を用いて画像データを保存している。CPU31は、ステップS310にて、YCbCr色空間に基づく画像データをRGB色空間に基づく画像データに変換するために3×3マトリックスSを用いた演算を実行する。このマトリックス演算は、例えば、以下に示す演算式で表される。
【0074】
【数1】
【0075】
ディジタルスチルカメラ12が生成する画像データの色空間が、所定の色空間、例えば、sRGB色空間よりも広い場合には、ステップS310で得られるRGB色空間に基づく画像データが、そのRGB色空間の定義領域外に有効なデータを含む場合がある。画像生成履歴情報GIにおいて、これらの定義領域外のデータを有効なデータとして扱う指定がなされている場合には、定義領域外のデータをそのまま保持して、以降の画像処理を継続する。定義領域外のデータを有効なデータとして扱う指定がなされていない場合には、定義領域外のデータを定義領域内にクリッピングする。例えば、定義領域が0〜255である場合には、0未満の負値のデータは0に、256以上のデータは255に丸められる。画像出力部の表現可能な色空間が、所定の色空間、例えば、sRGB色空間よりも広くない場合には、画像生成履歴情報GIにおける指定にかかわらず、定義領域内にクリッピングするのが好ましい。このような場合として、例えば、表現可能な色空間がsRGB色空間であるCRTに出力する場合がある。
【0076】
次に、ステップS320にて、CPU31は、ガンマ補正、並びに、マトリックスMを用いた演算を実行し、RGB色空間に基づく画像データをXYZ色空間に基づく画像データに変換する。画像ファイルGFは、画像生成時におけるガンマ値と色空間情報とを含むことができる。画像生成履歴情報GIがこれらの情報を含む場合には、CPU31は画像生成履歴情報GIから画像データのガンマ値を取得し、取得したガンマ値を用いて画像データのガンマ変換処理を実行する。さらに、CPU31は画像生成履歴情報GIから画像データの色空間情報を取得し、その色空間に対応するマトリックスMを用いて画像データのマトリックス演算を実行する。画像生成履歴情報GIがガンマ値を含まない場合には、標準的なガンマ値を用いてガンマ変換処理を実行することができる。また、画像生成履歴情報GIが色空間情報を含まない場合には、標準的なマトリックスMを用いてマトリックス演算を実行することができる。これらの標準的なガンマ値、および、マトリックスMとしては、例えば、sRGB色空間に対するガンマ値とマトリックスを用いることができる。このマトリックス演算は、例えば、以下に示す演算式である。
【0077】
【数2】
【0078】
マトリックス演算の実行後に得られる画像データの色空間はXYZ色空間である。XYZ色空間は絶対色空間であり、ディジタルスチルカメラやプリンタといったデバイスに依存しないデバイス非依存性色空間である。そのため、XYZ色空間を介して色空間の変換を行うことによって、デバイスに依存しないカラーマッチングを行うことができる。
【0079】
次に、ステップS330にて、CPU31は、マトリックスN-1を用いた演算、並びに、逆ガンマ補正を実行し、XYZ色空間に基づく画像データをwRGB色空間(sRGB色空間よりも広いRGB色空間)に基づく画像データに変換する。逆ガンマ補正を実行する際には、CPU31はPROM32からプリンタ側のガンマ値を取得し、取得したガンマ値の逆数を用いて画像データの逆ガンマ変換処理を実行する。さらに、CPU31はPROM32から、XYZ色空間からwRGB色空間への変換に対応するマトリックスN-1を取得し、そのマトリックスN-1を用いて画像データのマトリックス演算を実行する。このマトリックス演算は、例えば、以下に示す演算式である。
【0080】
【数3】
【0081】
次に、ステップS340にて、CPU31は、画質の自動調整処理を実行する。本実施例における自動画質調整処理では、画像ファイルGFに含まれている画像生成履歴情報を用いて、画像データの自動画質調整処理が実行される。自動画質調整処理については後述する。
【0082】
次に、ステップS350にて、CPU31は、印刷のためのCMYK色変換処理、および、ハーフトーン処理を実行する。CMYK色変換処理では、CPU31は、PROM32内に格納されているwRGB色空間からCMYK色空間への変換用ルックアップテーブル(LUT)を参照し、画像データの色空間をwRGB色空間からCMYK色空間へ変更する。すなわち、RGBの階調値からなる画像データを、プリンタ20で使用する、例えば、C(Cyan)Mg(Magenta)Y(Yellow)K(Black)LC(LightCyan)LM(LightMagenta)の6色の階調値からなる画像データに変換する。
【0083】
ハーフトーン処理では、CPU31は、いわゆるハーフトーン処理を実行して、色変換済みの画像データからハーフトーン画像データを生成する。このハーフトーン画像データは、駆動バッファ37(図7)に送出すべき順番に並べ替えられ、最終的な印刷データとなり、本処理ルーチンを終了する。本処理ルーチンによって処理された画像データは、図9に示す画像処理ルーチンのステップS250にて、出力される。
【0084】
F.自動画質調整処理の実施例:
図11は、本実施例における自動画質調整処理(図10においてはステップS340に相当する)の処理ルーチンを示すフローチャートである。CPU31(図7)は、画像生成履歴情報GIを解析し、フラッシュ情報等のパラメータ値を取得する(ステップS400)。次に、ステップS410において、CPU31は、取得したパラメータ値に基づいた、逆光処理を実行するか否かの逆光判定を実行する(詳細は後述)。逆光であると判定した場合、すなわち、逆光処理を実行すると判定した場合(ステップS410:Y)には、ステップS420において、CPU31は輝度値を大きくする輝度調整処理、すなわち、逆光処理を実行する(詳細は後述)。
【0085】
輝度調整処理を実行した後、ステップS430にて、CPU31は、彩度を大きくする彩度調整処理を実行する。輝度値が低い領域においては、彩度も低い傾向が強い。そのため、輝度調整処理によって輝度値のみを大きくすると、暗かった領域が、輝度値は大きいが彩度が低い白っぽい領域となる場合がある。この実施例では、彩度を大きくする彩度調整処理(ステップS430)を実行することで、より鮮やかな画質に調整することができる。
【0086】
彩度調整処理を実行した後、ステップS440にて、CPU31は、ノイズを除去するノイズ除去処理を実行する。輝度値が低い場合には目立たなかったノイズが、輝度値を上げることによって目立つようになる場合がある。この実施例では、ノイズ除去処理を実行することで、このようなノイズが目立つことを抑制することができる。ノイズ除去処理としては、例えば、メジアンフィルタを用いた処理や、アンシャープマスクを用いた処理を用いることができる。
【0087】
なお、図9〜図11の処理の流れは、後述する他の実施例も同じである。
【0088】
F1.逆光判定処理の第1実施例:
図12は、図11のステップS410における逆光判定処理を説明する説明図である。図12(a)に示す画像IMG12は、逆光条件における画像を示している。画像IMG12には、被写体としての人物Hが写り、さらに、背景に太陽Sが写っている。光源としての太陽Sが人物Hの後ろに位置するため、人物Hは暗く写っている。また、画像IMG12には、被写体領域の中心SACと被写体領域SAが設定されており、人物Hは、被写体領域の中心SACに位置している。また、被写体領域SAは、人物Hの大きさに合わせて設定されている。なお、この例では、被写体領域SAは矩形である。
【0089】
図12(b)は、この第1実施例の逆光判定処理を示している。第1実施例では、以下の条件を満たす場合に、逆光と判定される。
【0090】
(b1)被写体領域内の平均輝度値BAaveが、画像全体における平均輝度値Baveに係数kを掛けた値以下である。
【0091】
すなわち、被写体領域内の明るさが、画像全体の明るさと比べて暗い場合に、逆光と判定される。係数kとしては、画像の出力結果の感応評価に基づいて決めた値を用いることができる。例えば、0.6を所定の係数としても良い。条件(b1)の判定は、被写体領域情報と画像データGDとの両方を用いることによって実行される。このように、被写体領域情報に基づいた判定を実行することで、所望の位置、および、大きさを有する被写体が暗い画像を、適切に、逆光処理の対象として選択することができる。なお、この判定方法は、被写体領域外における重みをゼロとして画像データGDを解析する判定方法ということができる。すなわち、被写***置(被写体領域中心)と被写体領域外とで大きさが異なる重み分布を用いて画像データGDを解析する判定方法である。
【0092】
F2.逆光処理の第1実施例:
図13は、図11のステップS420における逆光処理を説明する説明図である。図13(a)は、逆光画像における輝度値分布(輝度ヒスとグラム)の例を説明する説明図である。逆光画像には、明るい領域と暗い領域とが共に存在する。そのため、輝度値の高い画素と、輝度値の低い画素が多くなる。特に、図12(a)に示すように、逆光によって被写体が暗くなっている場合には、その分、輝度値の低い画素が多くなる。
【0093】
図13(b)は、第1実施例における逆光処理(輝度調整処理)における輝度値の入力レベルYinと出力レベルYoutとの関係を示す説明図である。グラフGAは、入力レベルYinと比べて、出力レベルYoutが大きくなるように構成されている。特に、輝度値の入力レベルYinが小さい領域において、その増加量が大きくなるように構成されている。このグラフGAを用いて輝度値の調整を行えば、暗い領域の明るさを向上させることができる。輝度値の増加量としては、画像の出力結果の感応評価に基づいて、予め決められた値を用いることができる。
【0094】
グラフGBは、グラフGAと異なり、輝度値の入力レベルYinが小さい領域においてのみ、輝度値が引き上げられる。このように、暗い領域のみについて輝度値の調整を行うことで、明るい領域の明るさの階調を変更せずに、暗い領域の明るさを向上させることができる。輝度値調整の対象となる輝度値入力レベルの範囲は、画像の出力結果の感応評価に基づいて決めることができる。例えば、輝度値の取りうる範囲が0〜255である場合に、180以下を輝度値調整の対象範囲としても良い。
【0095】
G.逆光判定処理の別の実施例:
G1.逆光判定処理の第2実施例:
図14は、図11のステップS410における逆光判定処理の第2の実施例を説明する説明図である。図14(a)の画像IMG14は、図12(a)に示す画像IMG12と同じものである。図14(b)は、第2実施例の逆光判定処理を示している。第2実施例では、以下の2つの条件を満たす場合に、逆光と判定される。
【0096】
(a1)画像データ生成時に補助光源による光の照射が行われなかった。
(b1)被写体領域内の平均輝度値BAaveが、画像全体における平均輝度値Baveに係数kを掛けた値以下である。
【0097】
条件(b1)は、上述の第1実施例の条件(b1)と同じものである。条件(a1)の判定は、画像生成履歴情報GIから取得されるフラッシュ情報のパラメータ値に基づいて実行される。逆光条件において画像データを生成する場合には、所望の被写体の明るさを向上させるために、フラッシュなどの補助光源の光を被写体に照射する場合がある。このように補助光源によって光が照射されている場合には、逆光処理を実行しないのが好ましい。第2実施例では、フラッシュ情報に含まれる動作結果が発光無の場合は、条件(a1)を満たすと判定される。また、上述のように、反射光検知機構が有で、反射光検知が無の場合には、動作結果が発光有の場合でも、条件(a1)を満たすと判定される。フラッシュ情報のパラメータ値に「フラッシュ無し」が設定されている場合も、条件(a1)を満たすと判定される。このように、フラッシュ情報を用いた条件(a1)を満たす場合、すなわち、補助光源による光の照射が行われなかった場合には、上述の第1実施例と同様に、条件(b1)に基づいた判定が実行され、逆光と判定された場合に逆光処理が実行される。一方、条件(a1)を満たさない場合、すなわち、補助光源による光の照射が行われた場合には、非逆光と判定され、逆光処理が実行されない。このように、フラッシュ情報に基づく判定を実行することで、補助光源によって光が照射された画像を、逆光処理の対象から除くことができる。さらに、フラッシュ情報のみを用いて実行される条件(a1)の判定と、被写体領域情報と画像データGDとを用いて実行される条件(b1)の判定とを、組み合わせた判定を実行することで、より適切に、所望の被写体が暗い画像を逆光処理の対象として選択することができる。
【0098】
G2.逆光判定処理の第3実施例:
図15は、逆光判定処理の第3実施例を説明する説明図である。図15(a)の画像IMG15は、図12(a)に示す画像IMG12と同様に、逆光条件における画像を示しており、光源としての太陽Sが人物Hの後ろに位置するため、人物Hは暗く写っている。また、画像IMG15には、被写体領域の中心SACと被写体領域SAが設定されている。
【0099】
図15(b)は、第3実施例の逆光判定処理の手順を示している。第3実施例では、以下の3つの条件を用いて逆光判定が実行される。
【0100】
(a1)画像データ生成時に補助光源による光の照射が行われなかった。
(a2)被写体距離が、所定のしきい値以下である。
(b1)被写体領域内の平均輝度値BAaveが、画像全体における平均輝度値Baveに係数kを掛けた値以下である。
【0101】
図14(b)に示す逆光判定処理との差異は、条件(a2)が追加されている点である。条件(a1)と(b1)を満たす場合には、図14(b)に示す第2実施例と同様に、逆光と判定される。条件(a1)を満たさない場合、すなわち、フラッシュ等の補助光源によって光の照射が行われた場合には、さらに、条件(a2)に基づく判定が実行される。条件(a2)の判定は、画像生成履歴情報GIから取得される被写体距離情報のパラメータ値(被写体距離)に基づいて実行される。被写体距離(画像生成装置と被写体との距離)が遠い場合には、フラッシュによる光の照射が行われても、明るさが十分に改善されない場合がある。このような場合には、補助光源による光の照射が行われていても、逆光処理を実行するのが好ましい。第3実施例では、被写体距離がしきい値以上である場合に、条件(a2)を満たすと判定される。条件(a2)を満たす場合には、さらに、上述の第1実施例と同様に、条件(b1)に基づいた判定が実行され、逆光と判定された場合には、逆光処理が実行される。このように、被写体距離を用いた条件(a2)の判定を実行することで、補助光源による光の照射が行われたが、十分に明るさが改善されなかった画像を、逆光処理の対象として選択することができる。被写体距離の大きさを判断するためのしきい値としては、画像の出力結果の感応評価に基づいて決めた値を用いることができる。例えば2mをしきい値としても良い。
【0102】
被写体距離に基づく条件(a2)は、換言すれば、被写体が受ける光の量に基づく条件である。被写体距離がしきい値未満であれば、被写体が受ける光の量が多いため、その明るさを向上させることができる。一方、被写体距離がしきい値以上であれば、光の量が不足するために、被写体の明るさを向上させることができない場合がある。すなわち、条件(a2)においては、しきい値が、被写体が受ける光量の大きさを判断するための基準となっている。よって、このしきい値を、被写体が受ける光の量を変化させる他のパラメータ値に基づいて調整することで、より適切な逆光判定を実行することができる。例えば、しきい値を、画像生成履歴情報GIに含まれるフラッシュ強度の増加に伴って大きくなるように構成しても良い。こうすることで逆光判定を、フラッシュ強度、すなわち、補助光源が被写体に照射する光の量に基づいて適切に実行することができる。また、しきい値を、絞り値(F値)の増加に伴って小さくなるように構成しても良い。F値が大きいほど、画像生成装置が取り込む光の量は少なくなる。言い換えると、F値が大きいほど、被写体が受ける光の見かけの量が少なくなる。よって、F値が大きいほど、しきい値を小さくすることで、より適切な逆光判定を実行することができる。また、しきい値を、ISOスピードレートの増加に伴って大きくなるように構成しても良い。ISOスピードレートは光学回路の感度の指標であり、大きいほど、画像生成装置が取り込む光の見かけの量、すなわち、被写体が受ける光の見かけの量が大きくなる。よって、ISOスピードレートが大きいほど、しきい値を大きくすることで、より適切な逆光判定を実行することができる。
【0103】
G3.逆光判定処理の第4実施例:
図16は、逆光判定処理の第4実施例を説明する説明図である。図16(a)の画像IMG16は、図12(a)に示す画像IMG12と同じものである。図16(b)は、第4実施例の逆光判定処理の手順を示している。第4実施例では、以下の2つの条件を満たす場合に、逆光と判定される。
【0104】
(a3)光源の種類が屋外のものである。
(b1)被写体領域内の平均輝度値BAaveが、画像全体における平均輝度値Baveに係数kを掛けた値以下である。
【0105】
条件(b1)は、上述の第1実施例の条件(b1)と同じものである。条件(a3)の判定は、画像生成履歴情報GIから取得される光源情報に基づいて実行される。被写体が屋外にある場合には、太陽を光源として画像データを生成する場合が多い。光源としての太陽は、その位置を任意に設定することができないため、逆光条件で画像データを生成せざるを得ない場合がある。また、その光が強いため、逆光条件においては、被写体が暗くなりやすい。一方、被写体が屋内にある場合には、照明等の光源を用いて画像データを生成する場合が多い。これらの光源の位置は任意に設定できる場合が多いため、撮影時に容易に逆光を防止することができる。第4実施例では、光源情報に設定されている光源の種類が屋外のもの、例えば、昼光、晴天、曇天、日陰のいずれかである場合に、条件(a3)を満たすと判定される。このように、光源情報に基づく条件(a3)を満たす場合、すなわち、被写体が屋外にあった場合には、上述の第1実施例と同様に、条件(b1)に基づいた判定が実行され、逆光と判定された場合に逆光処理が実行される。一方、光源情報に設定されている光源の種類が屋内のもの、例えば、蛍光灯、タングステンのいずれかである場合には、条件(a3)を満たさないと判定され、逆光処理が実行されない。このように、光源情報に基づく判定を実行することで、被写体が屋外にあった画像を逆光処理の対象として選択することができる。さらに、光源情報のみを用いて実行される条件(a3)の判定と、被写体領域情報と画像データGDとを用いて実行される条件(b1)の判定とを、組み合わせた判定を実行することで、より適切に、所望の被写体が暗い画像を逆光処理の対象として選択することができる。
【0106】
画像生成履歴情報GIに基づく判定条件、例えば、上述の各実施例における条件(a1)〜(a3)を、適宜組み合わせて用いることで、より適切な判定を実行することができる。例えば、この実施例において、条件(a3)を満たさないと判定された画像について、さらに、図14(b)や図15(b)に示す判定を行っても良い。こうすることで、屋内において撮影された画像についても、フラッシュ情報に基づいた適切な逆光判定を実行することができる。
【0107】
G4.逆光判定処理の第5実施例:
図17は、逆光判定処理の第5実施例において、平均輝度値の計算に用いる重みWの分布を説明する説明図である。図17(b)は、図17(a)の画像IMG中の直線B−B上の重みWの分布(X方向の重み分布)を示す説明図であり、図17(c)は、直線C−C上の重みWの分布(Y方向の重み分布)を示す説明図である。第5実施例では、図17に示す様に、画像IMGの被写体領域の中心SAC、すなわち、被写***置に近い画素ほど重みが大きくなるような重みWの分布を用いて輝度値の重み付き平均値を計算し、この重み付き平均値を用いて逆光判定を実行している(詳細は後述)。
【0108】
図18は、第5実施例における逆光判定処理を説明する説明図である。図18(a)の画像IMG18は、図12(a)に示す画像IMG12と同じものである。画像IMG18の下には、図17(b)に示された、重みWのX方向分布が記されている。なお、Y方向の分布は図示を省略している。このような重みWを用いて得られる重み付き平均輝度値は、画像IMG18の様に被写体領域の中心近傍が暗くなった逆光画像においては大きくなる。
【0109】
図18(b)は、第5実施例の逆光判定処理の手順を示している。第5実施例では、以下の条件を満たす場合に、逆光と判定される。
【0110】
(b2)重み付き平均輝度値BAWaveが、画像全体における平均輝度値Baveに係数kを掛けた値以下である。
【0111】
すなわち、被写体領域中心近傍の明るさが、画像全体の明るさと比べて暗い場合に、逆光と判定される。係数kとしては、画像の出力結果の感応評価に基づいて決めた値を用いることができる。例えば、0.6を所定の係数としても良い。なお、この条件(b2)の判定は、上述の判定条件(b1)と異なり、被写体領域の代わりに被写体領域の中心を用いている。そのため、被写体領域が設定されていない画像についても、判定を実行することができる。また、この条件(b2)の判定は、被写体領域中心、すなわち、被写***置の重みを大きくし、被写体領域中心に遠い領域の位置の重みを小さくして、画像データGDの解析を実行し、その解析結果である重み付き平均輝度値BAWaveを用いて、実行される。このように、被写体領域情報を用いた判定を実行することで、所望の位置にある被写体が暗い画像を、適切に、逆光処理の対象として選択することができる。
【0112】
重み付き平均輝度値BAWaveの大きさを判断するための平均輝度値Baveを、被写体領域の中心に近い画素ほど大きさの小さい重みを用いて計算しても良い。このような重みの分布としては、例えば、均等な分布から、上述の重みWを差し引いた残りの分布を用いることができる。こうすることで、被写体領域中心近傍の明るさ、すなわち被写***置の明るさと、その周辺領域の明るさとを、より的確に比較することができる。
【0113】
この判定条件(b2)に、さらに、画像生成履歴情報GIに基づく判定条件、例えば、上述の各実施例における条件(a1)〜(a3)を、適宜組み合わせて用いることで、より適切な判定を実行することができる。例えば、上述の各実施例において、判定条件(b1)の代わりに、この判定条件(b2)を用いても良い。
【0114】
G5.逆光判定処理の第6実施例:
図19は、逆光判定処理の第6実施例を説明する説明図である。図19(a)の画像IMG19は、図12(a)に示す画像IMG12と同様に、逆光条件における画像を示している。また、画像IMG19には、輝度値が明輝度しきい値YHth以上である明るい領域BAと、輝度値が暗輝度しきい値YLth以下である暗い領域DAとが示されている。このように、逆光画像においては、輝度値の高い画素と、輝度値の低い画素が多くなる。
【0115】
図19(b)は、第6実施例の逆光判定処理を示している。この実施例では、以下の条件を満たす場合に、逆光と判定される。
【0116】
(a1)画像データ生成時に補助光源による光の照射が行われなかった。
(b3)輝度値が明輝度しきい値YHth以上である明画素の割合Bratioが、明画素割合しきい値Bth以上であり、かつ、輝度値が暗輝度しきい値YLth以下である暗画素の割合Dratioが、暗画素割合しきい値Dth以上である。
【0117】
条件(a1)は、上述の第2実施例の条件(a1)と同じものである。条件(b3)の判定は、上述の条件(b1)や条件(b2)と異なり、画像データGDのみを解析することで実行される。逆光条件において生成された画像においては、明るい領域と暗い領域とが共存するため、明るい画素の割合と暗い画素の割合が高くなる傾向がある。条件(b3)に基づく判定によって、このような画像を逆光処理の対象として選択することができる。明輝度しきい値YHthや暗輝度しきい値YLth、明画素割合しきい値Bth、暗画素割合しきい値Dthは、画像の出力結果の感応評価に基づいて決めることができる。例えば、輝度値の取りうる範囲が0〜255である場合に、明輝度しきい値YHthを200、暗輝度しきい値YLthを50としても良い。また、明画素割合しきい値Bthを全画素数の20%、暗画素割合しきい値Dthを全画素数の30%としても良い。
【0118】
第6実施例の条件(b3)の判定は、被写体領域情報を用いずに実行することができる。よって、画像生成履歴情報GIが被写体領域情報を含まない場合にも、逆光判定を実行することができる。また、第6実施例では、画像データGDのみを解析して判定される条件(b3)のみではなく、フラッシュ情報、すなわち、画像生成履歴情報GIを用いて判定される条件(a1)も用いて逆光判定を実行しているので、各々の画像により適した逆光判定結果を得ることができる。画像生成履歴情報GIに基づく判定条件としては、条件(a1)の代わりにも様々な条件を用いることができる。例えば、上述の各実施例における条件(a1)〜(a3)を、適宜組み合わせて用いることで、より適切な判定を実行することができる。いずれの場合も、画像データGDのみを解析して実行される判定に、画像生成履歴情報GIを用いて実行される判定を組み合わせることで、より適切な逆光判定を実行することができる。また、画像データGDのみに基づく判定条件は、条件(b3)に限らず、逆光条件によって暗い領域が生じたか否かを判定する条件であれば良い。例えば、画像内の画素を複数のブロックに分割し、各ブロックの輝度値を、ブロック内における平均輝度値とする。さらに、輝度値が明輝度しきい値YHth以上である明ブロックの割合と、輝度値が暗輝度しきい値YLth以下である暗ブロックの割合とが、それぞれ、所定のしきい値以上である場合に、逆光と判定しても良い。
【0119】
G6.逆光判定処理の第7実施例:
図20は、逆光判定処理の第7実施例の処理手順を示すフローチャートである。ステップS411では、CPU31(図3)が、画像ファイルGFの中から画像生成履歴情報GI(図3)を取得し、ステップS412において、画像生成履歴情報GIから非逆光か否かを判定する。この判定は、例えば以下の(1)〜(5)ように行われる。
【0120】
(1)撮影シーンタイプ(SceneCaptureType)が「夜景」を示すときには非逆光と判定し、その他(「人物」「風景」等)を示すときにはその画像を逆光候補と判定する。この理由は、夜景のときには逆光処理によって明るさが過度に補正されることを避けるためである。なお、「逆光候補」とは、その画像に後述する逆光処理(明るさ補正)を行う可能性があるという意味である。
【0121】
(2)測光方式(MeteringMode)が「スポット測光」「マルチ測光」「部分測光」のいずれかを示すときには非逆光と判定し、その他のときには逆光候補と判定する。この理由は、これらの3つの測光方式が採用されている場合には、撮影者が意図する明るさになっていると考えられるからである。
【0122】
(3)発光(Flash)が「ストロボ発光」または「強制非発光」を示すときには非逆光と判定し、その他のときには逆光候補と判定する。この理由は、「ストロボ発光」や「強制非発光」によって、撮影者が意図した明るさになっていると考えられるからである。
【0123】
(4)露出モード(ExposureMode)が「露出マニュアル」または「オートブラケット」のときには非逆光と判定し、その他のときには逆光候補と判定する。この理由は、「露出マニュアル」や「オートブラケット」のときには、撮影者が意図した明るさになっていると考えられるからである。
【0124】
(5)被写体距離レンジ(SubjectDistanceRange)が「マクロ」または「遠景」のときには非逆光と判定し、その他のときには逆光候補と判定する。この理由は、「マクロ」や「遠景」のときには、構図として逆光になる可能性が低く、逆光処理を行う必要性が低いからである。
【0125】
なお、「非逆光」とは、その画像が逆光になっていないことを必ずしも意味しているのではなく、逆光処理(図11のステップS420)を行わないことを意味している。
【0126】
上述した(1)〜(5)の判定は一例であり、画像生成履歴情報GIの中の他の情報を用いて同様な判定を行うことも可能である。
【0127】
ステップS412の判定の結果、非逆光と判定された場合には、CPU31は、図11のステップS420の以降の処理をスキップして図11の処理を終了する。一方、逆光候補と判定された場合には、ステップS413において、処理対象画像のヒストグラム(以下、「対象画像ヒストグラム」と呼ぶ)が作成される。図21(a)は、輝度値に関する対象画像ヒストグラムH0 の一例を示している。この対象画像ヒストグラムH0 は、処理対象画像内の全画素に基づいて作成してもよく、一定の割合でサンプリングされた複数の画素に基づいて作成してもよい。ステップS413では、さらに、この対象画像ヒストグラムH0 を簡略化することによって、図21(b)に示す簡略化した対象画像ヒストグラムH(j)を作成する。この簡略化対象画像ヒストグラムH(j)(jは1〜5)は、横軸の画素値(輝度値)の範囲を5つの区分D1〜D5に区分し、各区分毎に画素数の平均値を求めることによって得られたものである。ヒストグラムを簡略化する理由は、後述する類似度の演算の負荷を低減して、高速な処理を実現するためである。なお、区分数jは2以上の任意の数に設定することが可能であるが、4以上とすることが好ましい。また、簡易化ヒストグラムH(j)の演算方法としては、各区分毎に画素数の平均値を求める代わりに加算などの他の演算方法を採用してもよく、一般に、各区分毎の代表値を求める種々の演算方法を採用することができる。
【0128】
ステップS414では、処理対象画像の簡略化対象画像ヒストグラムH(j)と、図21(c)に示す参照ヒストグラムG(j)との類似度が算出される。参照ヒストグラムG(j)は、典型的な逆光画像が示すヒストグラムとして予め設定されたものであり、簡略化対象画像ヒストグラムH(j)と同じ形式を有している。すなわち、参照ヒストグラムG(j)も、5つの区分毎に画素数(画素値の出現頻度)が設定されている。2つのヒストグラムH(j),G(j)の類似度SIM1は、例えば以下の式で与えられる。
【0129】
【数4】
【0130】
この式において、H(j),G(j)は、図21(b),(c)に示す2つのヒストグラムH(j),G(j)で構成されるj次元のベクトルである。式の右辺の分子は2つのベクトルH(j),G(j)の内積を表しており、分母はそれぞれの絶対値の積を表している。従って、この類似度SIM1は、2つのベクトルH(j),G(j)のなす角度θの余弦である。2つのヒストグラムH(j),G(j)の形状が類似しているときには、類似度SIM1は1に近くなり、類似していないときには0に近くなる。
【0131】
2つのヒストグラムH(j),G(j)の類似度は、他の種々の方法によって算出することも可能であり、例えば以下の式で算出可能である。
【0132】
【数5】
【0133】
この式の右辺の分子は、2つのヒストグラムH(j),G(j)の各区分の画素数の差分{H(j)−G(j)}の2乗和である。また、分母は、2つのヒストグラムH(j),G(j)の各区分の画素数の2乗和であり、規格化のための値として利用されている。2つのヒストグラムH(j),G(j)の形状が類似しているときには、類似度SIM2は0に近くなり、類似していないときには1に近くなる。従って、この類似度SIM2も、2つのヒストグラムH(j),G(j)の類似の程度を示す指標として利用することができる。一般には、類似度としては、2つのヒストグラムH(j),G(j)の各区分毎の画素数(画素値の出現頻度)の類似度を示す値を採用することが好ましい。なお、以下では上述した第1の類似度SIM1を利用した判定処理について説明する。
【0134】
ステップS415では、CPU31が、類似度SIM1が所定の判定値以上であるか否かによって、2つのヒストグラムH(j),G(j)が類似しているか否かを判定する。具体的には、図21(d)の例では、類似度SIM1が0.84以上のときには2つのヒストグラムH(j),G(j)が類似していると判定され、0.84未満のときには類似していないと判定される。2つのヒストグラムH(j),G(j)が類似していると判定された場合には、図11のステップS420以降の処理が実行される。一方、類似していないと判定された場合には、これらの処理がスキップされる。
【0135】
このように、逆光判定処理の第7実施例では、まず、画像生成履歴情報GIに基づいてその画像が非逆光であるか逆光候補であるかが判断され、逆光候補である場合には対象画像ヒストグラムみ基づいて逆光処理を行うべきか否かが判断されるので、逆光処理をすべきか否かの判断を確実に行うことが可能である。特に、ヒストグラムに基づく判定処理では、典型的な逆光画像を代表するような参照ヒストグラムと、対象画像ヒストグラムとの類似度を算出し、この類似度に応じて逆光処理をすべきか否かを判定しているので、高精度に逆光処理すべき画像を判定することができる。
【0136】
但し、画像生成履歴情報GIのみを用いてステップS411,S412で逆光処理の要否を判定し、ステップS413〜S415の処理を省略することも可能である。逆に、ステップS411、S412を省略し、対象画像ヒストグラムのみを用いてステップS413〜S415ので逆光処理の要否を判定してもよい。
【0137】
なお、上記第7実施例では、輝度値のヒストグラムを利用したが、この代わりに、他の画素値(RGBの色成分など)のヒストグラムを利用することも可能である。但し、一般には輝度値のヒストグラムにおいて逆光画像に特有の形状が現れることが多いので、輝度値のヒストグラムを使用することが好ましい。
【0138】
また、第7実施例では、対象画像ヒストグラムと参照ヒストグラムとの類似度に応じて逆光処理の要否を判定していたが、対象画像ヒストグラムのみを用いた解析によって逆光処理の要否を判定してもよい。一般には、対象画像ヒストグラムを解析することによって、逆光処理の要否を判定することが可能である。
【0139】
H.逆光処理の別の実施例:
H1.逆光処理の第2実施例:
図22は、図11のステップS420における逆光処理の第2実施例を説明する説明図である。図22(a)(b)に示した2つの画像IMG20a、IMG20bは、図12(a)に示す画像IMG12と同様に、共に逆光条件における画像を示している。2つの画像IMG20a、IMG20bにおいて、人物Hは逆光のために暗く写っている。また、画像IMG20bの人物Hは、画像IMG20aの人物Hと比べ、さらに暗く写っている。そのため、画像IMG20bにおいては、画像IMG20aと比べて、輝度値の低い画素が多くなる。このような逆光画像における暗い領域の明るさの度合いを示す指標として、例えば、画像内における輝度値大きさの順位が、輝度値の小さい方から数えて所定の順位(例えば、全画素数の20%)である画素の輝度値(以下暗領域輝度値と呼ぶ)を用いることができる。このような暗領域輝度値Bmは、画像IMG20aのような逆光画像においては小さくなり、画像IMG20bのような、より暗い逆光画像においては、さらに小さくなる。
【0140】
図22(c)は、第2実施例における逆光処理(輝度調整処理)における輝度値の入力レベルYinと出力レベルYoutとの関係を示す説明図である。グラフG1においては、入力レベルYinが暗領域輝度値Bm1である場合の出力レベルYoutが、元の値よりも大きい所定の目標値BOに引き上げられるように、輝度値の増加量が調整されている(以下、輝度値を引き上げる基準となる入力レベルを、輝度調整基準レベルと呼ぶ)。他の入力レベルYinに対応する出力レベルYoutはスプライン関数にて補間されている。このグラフG1を用いて輝度値の調整を行えば、暗い領域の明るさを向上させることができる。
【0141】
グラフG2、G3は、グラフG1よりも逆光処理強度の強い処理で使用される入出力関係を示している。ここで、「逆光処理強度が強い」とは、輝度値の増加量、特に、暗い領域における輝度値の増加量が大きいことを意味している。グラフG2は、輝度調整基準レベル、すなわち、暗領域輝度値がBm1よりも小さいBm2である場合に使用される入出力関係を示している。入力レベルYinがBm2である場合の出力レベルYoutが、所定の目標値BOに引き上げられるように、輝度値の増加量が調整される。このグラフG2を用いることで、グラフG1よりも強い逆光処理(輝度調整処理)を実行することができる。グラフG3は、輝度調整基準レベルがBm2よりもさらに小さいBm3である場合に使用される入出力関係を示しており、このグラフG3を用いることで、グラフG2よりもさらに強い逆光処理を実行することができる。なお、第2実施例では、画像データGDのみを解析することによって、逆光処理強度を決定している。
【0142】
このように、画像内の暗い領域の明るさの度合いを示す指標に基づいて逆光処理強度を調整することで、暗い領域の明るさに適した強度での逆光処理を実行することができる。すなわち、暗い領域の明るさの度合いが低い(暗い)ほど、強い逆光処理を実行することができる。画像内の暗い領域の明るさの度合いを示す指標としては、暗領域輝度値以外にも、様々な指標を用いることができる。たとえば、輝度値が所定のしきい値以下である暗画素の割合を指標としても良い。この場合には、暗画素の割合が大きいほど、強い逆光処理が実行される。いずれの場合にも、暗い領域の明るさの度合いがより小さい(暗い)ほど、逆光処理強度がより強くなるように調整することで、暗い領域の明るさに適した強度での逆光処理を実行することができる。また、所定の目標値BOは、画像の出力結果の感応評価に基づいて決めた値を用いることができる。例えば、輝度値の取りうる範囲が0〜255である場合に、中間値である128としても良い。
【0143】
H2.逆光処理の第3実施例:
図23は、逆光処理の第3実施例を説明する説明図である。図23(a)(b)に示した2つの画像IMG21a、IMG21bには、図22(a)(b)に示した2つの画像IMG20a、IMG20bと異なり、被写体領域の中心SACと被写体領域SAとが設定されている。また、これらの2つの画像IMG21a、IMG21bにおいては、人物Hは逆光のために暗く写っている。また、画像IMG21bの人物Hは、画像IMG21aの人物Hと比べ、さらに暗く写っている。そのため、画像IMG21bにおいては、画像IMG21aと比べて、輝度値の低い画素が多くなる。このような逆光画像における暗い領域の明るさの度合いを示す指標を、被写体領域情報を用いて決定することができる。被写体領域情報を用いた暗い領域の明るさの指標として、例えば、被写体領域内の輝度値の最大値を用いることができる。このような輝度値の最大値BAmaxは、画像IMG21aのような逆光画像においては小さくなり、画像IMG21bのような、より暗い逆光画像においては、さらに小さくなる。
【0144】
図23(c)は、第3実施例における逆光処理(輝度調整処理)における輝度値の入力レベルYinと出力レベルYoutとの関係を示す説明図である。図22(c)に示す例との差異は、輝度調整基準レベルとして、被写体領域内の輝度値の最大値を用いている点である。グラフG1においては、入力レベルYinが輝度調整基準レベルBAmax1(被写体領域内の輝度値の最大値)である場合の出力レベルYoutが、元の値よりも大きい所定の目標値BOに引き上げられるように、輝度値の増加量が調整されている。グラフG2は、輝度調整基準レベルがBAmax1よりも小さいBAmax2である場合に使用される入出力関係を示し、グラフG3は、輝度調整基準レベルがBAmax2よりもさらに小さいBAmax3である場合に使用される入出力関係を示している。このように、被写体領域内の最大輝度値が小さいほど、強い逆光処理が実行されるので、適切に、被写体領域内の明るさを向上させることができる。なお、第3実施例では、画像データGDと被写体領域情報、すなわち、画像データGDと画像生成履歴情報GIとの両方を用いることによって、逆光処理強度を決定している。また、この逆光処理強度の決定方法は、被写体領域外における重みをゼロとして画像データGDを解析した結果に基づいた決定方法と言うことができる。すなわち、被写***置(被写体領域中心)と被写体領域外とで大きさが異なる重み分布を用いて画像データGDを解析する決定方法である。
【0145】
このように、逆光処理強度を、被写体領域情報を用いた暗い領域の明るさの指標、すなわち、被写体領域の明るさの指標に基づいて調整することで、被写体領域の明るさに適した強度での逆光処理を実行することができる。被写体領域情報を用いた暗い領域の明るさを示す指標としては、被写体領域内の最大輝度値以外にも、様々な値を用いることができる。例えば、被写体領域内の平均輝度値を用いても良い。こうすることで、被写体領域内に明るい領域が含まれる場合でも、より適切な逆光処理強度の調整を実行することができる。また、図17に示す重みWの分布を用いて計算する、重み付き平均輝度値を、指標として用いても良い。この場合は、被写体領域の代わりに被写体領域の中心を用いて平均輝度値の計算を行うので、被写体領域が設定されていない画像についても、被写体領域近傍の輝度値に基づく適切な逆光処理強度の調整を行うことができる。いずれの場合も、被写体領域の明るさの度合いがより小さい(暗い)ほど、逆光処理強度がより強くなるように調整することで、被写体領域の明るさに適した強度での逆光処理を実行することができる。
【0146】
H3.逆光処理の変形例:
上述の各実施例においては、輝度値引き上げの目標値BOが、予め決められた値であったが、画像内における暗い領域の明るさの度合いを示す指標に基づいて調整しても良い。例えば、上述の暗領域輝度値が小さいほど、目標値BOが大きくなるようにしても良い。こうすることで、暗領域の明るさが暗いほど、より強い逆光処理を実行し、明るさを向上させることができる。また、被写体領域内の最大輝度値が小さいほど、目標値BOが大きくなるようにしても良い。こうすることで、被写体領域の明るさが暗いほど、より強い逆光処理を実行し、明るさを向上させることができる。さらに、輝度調整基準レベルを複数準備し、それぞれのレベル毎に、輝度値引き上げの目標値を設定しても良い。例えば、被写体領域内の平均輝度値と最大輝度値に対応する輝度値引き上げの目標値をそれぞれ設定して、輝度値の増加量の調整を行うことができる。こうすることで、より細かい輝度値の調整を実行することができる。また、上述の輝度調整基準レベルを予め決められた値とし、その代わりに、輝度値引き上げの目標値BOを、暗い領域の指標に基づいて調整するようにしても良い。いずれの場合も、逆光によって生じた暗い領域の明るさの度合いが小さい(暗い)ほど、逆光処理強度が強くなるように調整することで、より適切な明るさの調整を行うことができる。
【0147】
I.画像データ処理装置を用いる画像出力システムの構成:
図24は、本発明の一実施例としての画像データ処理装置を適用可能な画像出力システムの一例を示す説明図である。画像出力システム10Bは、画像ファイルを生成する画像生成装置としてのディジタルスチルカメラ12と、画像ファイルに基づいた画質調整処理を実行するコンピュータPCと、画像を出力する画像出力装置としてのプリンタ20Bとを備えている。コンピュータPCは、一般的に用いられているタイプのコンピュータであり、画像データ処理装置として機能する。画像出力装置としては、プリンタ20Bの他に、CRTディスプレイ、LCDディスプレイ等のモニタ14B、プロジェクタ等を用いることができる。以下の説明では、プリンタ20Bを画像出力装置として用いるものとする。本実施例では、判定部と画質調整部を備える画像データ処理装置と、画像出力部を備える画像出力装置とを、独立に構成している点が、上述の画像出力システムの実施例(図1)と異なる。なお、画像データ処理装置としてのコンピュータPCと画像出力部を備えたプリンタとは、広義の「出力装置」と呼ぶことができる。
【0148】
ディジタルスチルカメラ12において生成された画像ファイルは、ケーブルCVを介したり、画像ファイルが格納されたメモリカードMCをコンピュータPCに直接挿入したりすることによって、コンピュータPCに送出される。コンピュータPCは、読み込んだ画像ファイルに基づいた、画像データの画質調整処理を実行する。画質調整処理によって生成された画像データは、ケーブルCVを介してプリンタ20Bに送出され、プリンタ20Bによって出力される。
【0149】
コンピュータPCは、上述の画質調整処理を実現するプログラムを実行するCPU150と、CPU150の演算結果や画像データ等を一時的に格納するRAM151と、画質調整処理プログラムや、ルックアップテーブルや、絞り値テーブルなどの、画質調整処理に必要なデータを格納するハードディスクドライブ(HDD)152を備えている。CPU150と、RAM151と、HDD152とは、判定部と画質調整部として機能する。さらに、コンピュータPCは、メモリカードMCを装着するためのメモリカードスロット153と、ディジタルスチルカメラ12等からの接続ケーブルを接続するための入出力端子154とを備えている。
【0150】
ディジタルスチルカメラ12にて生成された画像ファイルGFは、ケーブルを介して、あるいは、メモリカードMCを介してコンピュータPCに提供される。ユーザの操作によって、画像レタッチアプリケーション、または、プリンタドライバといった画像データ処理アプリケーションプログラムが起動されると、CPU150は、読み込んだ画像ファイルGFを処理する画像処理ルーチン(図9)を実行する。また、メモリカードMCのメモリカードスロット153への差し込み、あるいは、入出力端子154に対するケーブルを介したディジタルスチルカメラ12の接続を検知することによって、画像データ処理アプリケーションプログラムが自動的に起動する構成としてもよい。
【0151】
CPU150により処理された画像データは、画像処理ルーチン(図9)のステップS250にて出力される代わりに、画像出力装置、例えば、プリンタ20Bに送出され、画像データを受け取った画像出力装置が画像の出力を実行する。
【0152】
この実施例では、コンピュータPCが備える判定部と画質調整部を用いて画像処理を行うので、判定部や画質調整部を備えていない画像出力装置を用いることが可能である。また、画像出力装置が判定部と画質調整部を備えている場合には、コンピュータPCは画像処理を行わずに画像データを画像出力装置に送出し、画像出力装置の判定部と画質調整部とが画像処理を行う構成としてもよい。
【0153】
以上、説明したように、上述の各実施例では、逆光によって暗い領域が生じた画像の画質を自動的に調整することができるので、手軽に高品質な出力結果を得ることができる。
【0154】
なお、この発明は上記の実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の形態において実施することが可能であり、例えば、次のような変形も可能である。
【0155】
J.変形例:
J1.変形例1:
逆光判定処理のための判定条件は、画像生成履歴情報GIに含まれる情報に基づいて、複数の判定条件の中から選択して用いる構成としてもよい。例えば、画像生成履歴情報GIがフラッシュ情報と、被写体距離情報とを含む場合には、判定条件(a1)(a2)(b3)に基づく判定を実行し、画像生成履歴情報GIがフラッシュ情報と、被写体領域情報とを含む場合には、上述の判定条件(a1)(b1)に基づく判定を実行する構成とすることができる。このように、画像生成履歴情報GIに含まれる情報に基づいて判定条件を選択することで、より適切な判定を実行することができる。
【0156】
J2.変形例2:
上述の判定条件(a2)に用いられる、被写体と画像生成装置との距離に関する情報としては、被写体距離情報以外にも、パラメータ値として距離範囲を設定することが可能な距離情報を用いることができる。例えば、マクロ(0〜1m)、近景(1〜3m)、遠景(3m〜)の3つの距離範囲の中から選択して設定される被写体距離レンジ情報を用いて、条件(a2)の判定を実行することもできる。この場合、それぞれの距離範囲について代表的な距離を予め設定しておき、その代表距離と、条件(a2)のしきい値とを比較することで、条件(a2)についての判定を実行することができる。代表的な距離としては、例えば、距離の上限値と下限値が設定されている距離範囲については、その中間値を用い、上限値、もしくは、下限値のみが設定されている距離範囲については、その上限値、もしくは下限値を用いることができる。
【0157】
J3.変形例3:
補助光源と画像生成装置とを別の位置に設置して画像データの生成を行う場合には、上述の条件(a2)の判定を、被写体距離の代わりに、補助光源と被写体との距離に関する情報に基づいて実行するのが好ましい。こうすることで、補助光源と被写体との距離が遠いために暗い領域が生じた画像を、逆光処理の対象として選択することができる。
【0158】
J4.変形例4:
画像ファイルGFが、画像データのガンマ値と色空間情報とを含まない場合には、図10に示す画像処理ルーチンにおける色空間変換処理(ステップS320とステップS330)を省略することができる。図25は、色空間変換処理を省略した場合の画像処理ルーチンを示すフローチャートである。ステップS500にて取り出された画像データは、ステップS510にてYCbCr色空間に基づく画像データからRGB色空間に基づく画像データに変換される。次に、ステップS520にて、ステップS510で得られた画像データを用いた自動画質調整処理が実行される。次に、S530にて、印刷のためのCMYK色変換処理、および、ハーフトーン処理が実行される。
【0159】
J5.変形例5:
上記各実施例では、色空間の変換を実行した後に自動画質調整処理を実行しているが、自動画質調整処理を実行した後に色空間の変換を実行してもよい。例えば、図26に示すフローチャートに従って、画像処理を実行してもよい。
【0160】
J6.変形例6:
上記各実施例では、画像出力部としてプリンタを用いているが、プリンタ以外の画像出力部を用いることができる。図27は、画像出力部としてCRTを利用する場合の、画像生成履歴情報に基づく画像処理の処理ルーチンを示すフローチャートである。図10に示したプリンタを画像出力部としたフローチャートとは異なり、CMYK色変換処理とハーフトーン処理が省略されている。また、CRTは、マトリックス演算(S)を実行して得られる画像データのRGB色空間を表現することが可能であるため、色空間変換処理も省略されている。ステップS610で得られるRGB色空間に基づく画像データが、そのRGB色空間の定義領域外にデータを含む場合には、定義領域外のデータがクリッピングされた後、ステップS620が実行される。画像出力部が利用可能な色空間がRGB色空間と異なる場合には、プリンタを用いる場合にCMYK色変換処理を実行するのと同様に、画像出力部が利用可能な色空間への色変換処理を実行し、その結果得られる画像を、画像出力部より出力する。
【0161】
J7.変形例7:
図11のフローチャートにおいて、逆光処理S420の後に実行される彩度調整処理S430とノイズ除去処理S440とは、省略しても良い。こうすることで、画質調整処理を簡単な構成にすることができる。
【0162】
J8.変形例8:
上記実施例では、画像ファイルGFの具体例としてExif形式のファイルを例にとって説明したが、本発明に係る画像ファイルの形式はこれに限られない。すなわち、画像生成装置において生成された画像データと、画像データの生成時条件(情報)を記述する画像生成履歴情報GIとが含まれている画像ファイルであれば良い。このようなファイルであれば、画像生成装置において生成された画像データの画質を、適切に自動調整して出力装置から出力することができる。
【0163】
J9.変形例9:
各数式におけるマトリックスS、N-1、Mの値は例示に過ぎず、画像ファイルが基づく色空間や、画像出力部が利用可能な色空間等に応じて適宜変更することができる。
【0164】
J10.変形例10:
上記実施例では、画像生成装置としてディジタルスチルカメラ12を用いて説明したが、この他にもスキャナ、ディジタルビデオカメラ等の画像生成装置を用いて画像ファイルを生成することができる。
【0165】
J11.変形例11:
上記実施例では、画像データGDと画像生成履歴情報GIとが同一の画像ファイルGFに含まれる場合を例にとって説明したが、画像データGDと画像生成履歴情報GIとは、必ずしも同一のファイル内に格納される必要はない。すなわち、画像データGDと画像生成履歴情報GIとが関連づけられていれば良く、例えば、画像データGDと画像生成履歴情報GIとを関連付ける関連付けデータを生成し、1または複数の画像データと画像生成履歴情報GIとをそれぞれ独立したファイルに格納し、画像データGDを処理する際に関連付けられた画像生成履歴情報GIを参照しても良い。かかる場合には、画像データGDと画像生成履歴情報GIとが別ファイルに格納されているものの、画像生成履歴情報GIを利用する画像処理の時点では、画像データGDおよび画像生成履歴情報GIとが一体不可分の関係にあり、実質的に同一のファイルに格納されている場合と同様に機能するからである。すなわち、少なくとも画像処理の時点において、画像データGDと画像生成履歴情報GIとが関連付けられている態様は、上記実施例における画像ファイルGFに含まれる。さらに、CD−ROM、CD−R、DVD−ROM、DVD−RAM等の光ディスクメディアに格納されている動画像ファイルも含まれる。
【図面の簡単な説明】
【図1】一実施例としての画像出力システムの構成を示すブロック図。
【図2】ディジタルスチルカメラ12の概略構成を示すブロック図。
【図3】画像ファイルの内部構成の一例を概念的に示す説明図。
【図4】付属情報格納領域103のデータ構造例を説明する説明図。
【図5】Exifデータ領域のデータ構造の一例を説明する説明図。
【図6】プリンタ20の概略構成を示すブロック図。
【図7】プリンタ20の構成を示すブロック図。
【図8】画像ファイルGFの生成処理の流れを示すフローチャート。
【図9】画像処理の処理ルーチンを示すフローチャート。
【図10】画像処理の処理ルーチンを示すフローチャート。
【図11】自動画質調整処理の処理ルーチンを示すフローチャート。
【図12】逆光判定処理の第1実施例を説明する説明図。
【図13】逆光処理の第1実施例を説明する説明図。
【図14】逆光判定処理の第2実施例を説明する説明図。
【図15】逆光判定処理の第3実施例を説明する説明図。
【図16】逆光判定処理の第4実施例を説明する説明図。
【図17】平均輝度値の計算に用いる重みWの分布を説明する説明図。
【図18】逆光判定処理の第5実施例を説明する説明図。
【図19】逆光判定処理の第6実施例を説明する説明図。
【図20】逆光判定処理の第7実施例の手順を示すフローチャート。
【図21】ヒストグラムを用いた逆光判定処理の内容を示す説明図。
【図22】逆光処理の第2実施例を説明する説明図。
【図23】逆光処理の第3実施例を説明する説明図。
【図24】画像出力システムの一例を示す説明図。
【図25】画像処理ルーチンを示すフローチャート。
【図26】画像処理の処理ルーチンの別の例を示すフローチャート。
【図27】画像処理の処理ルーチンの別の例を示すフローチャート。
【符号の説明】
10…画像出力システム
10B…画像出力システム
12…ディジタルスチルカメラ
14…モニタ
14B…モニタ
20…プリンタ
20B…プリンタ
21…キャリッジ
22…キャリッジモータ
23…プラテン
24…モータ
25…櫂動軸
26…駆動ベルト
27…プーリ
28…位置検出センサ
29…操作パネル
30…制御回路
31…CPU
32…PROM
33…RAM
34…メモリカードスロット
35…周辺機器入出力部
37…駆動バッファ
38…バス
39…発信器
40…分配出力器
101…画像データ格納領域
102…画像生成履歴情報格納領域
103…付属情報格納領域
121…光学回路
122…画像取得回路
123…画像処理回路
124…制御回路
125…レンズ
126…選択・決定ボタン
127…液晶ディスプレイ
128…CCD
129…絞り
130…フラッシュ
150…CPU
151…RAM
152…HDD
153…メモリカードスロット
154…入出力端子
211…印刷ヘッド
CV…ケーブル
GD…画像データ
GF…画像ファイル
GI…画像生成履歴情報
MC…メモリカード
P…印刷用紙
PC…コンピュータ
SA…被写体領域
SAC…被写体領域中心
Claims (17)
- 画像生成装置で生成された画像データと、前記画像データ生成時における前記画像生成装置の動作情報を少なくとも含むと共に前記画像データに関連付けられた画像生成履歴情報とを用いて、画像を出力する出力装置であって、
前記画像生成履歴情報と前記画像データとの両方を用いて、逆光処理を実行するか否かの逆光判定を行う判定部と、
前記逆光処理を実行すると判定した場合には、前記画像データにおける少なくとも一部の画素の輝度値を大きくする逆光処理を実行する画質調整部と、
前記画質が調整された画像データに応じて画像を出力する画像出力部と、
を備える出力装置。 - 請求項1に記載の出力装置であって、
前記判定部は、前記画像生成履歴情報が被写体の前記画像内における位置を示す被写***置情報を含む場合に、前記被写***置情報を用いて前記逆光判定を実行する、出力装置。 - 請求項2に記載の出力装置であって、
前記判定部は、前記被写***置と前記被写***置以外の位置とで大きさが異なる重み分布を用いた前記画像データの解析結果を用いて、前記逆光判定を実行する、出力装置。 - 請求項1または請求項3に記載の出力装置であって、
前記判定部は、前記画像生成履歴情報が前記画像データ生成時における補助光源の発光情報を含む場合に、前記発光情報に基づいて前記画像データ生成時に前記補助光源による光の照射が行われたか否かを判定し、その判定結果を用いて前記逆光判定を実行する、出力装置。 - 請求項4に記載の出力装置であって、
前記判定部は、前記発光情報を用いて、画像データ生成時における補助光源の動作結果を識別することが可能であり、さらに、前記動作結果が、
(i)補助光源無し、
(ii)補助光源による発光無、
(iii)補助光源による発光有かつ反射光無、
のいずれかである場合に、前記画像データの輝度値を用いて、前記逆光判定を実行する、出力装置。 - 請求項5に記載の出力装置であって、
前記画像生成履歴情報は、さらに、前記画像データ生成時における前記画像データの被写体と前記画像生成装置との距離に関する情報を含み、
前記判定部は、前記補助光源の動作結果が、前記結果(i)(ii)(iii)のいずれでも無い場合に、前記被写体との距離の大きさを所定のしきい値と比較し、
前記被写体との距離が前記所定のしきい値以上であると判定した場合には、さらに、前記画像データの輝度値を用いて前記逆光判定を実行し、
前記被写体との距離が前記所定のしきい値よりも小さいと判定した場合には、前記逆光処理を実行しないとの判定を成立させる、
出力装置。 - 請求項1ないし請求項6のいずれかに記載の出力装置であって、
前記判定部は、前記画像生成履歴情報が、前記画像データの被写体の場所に関する情報を含む場合に、前記被写体の場所が屋外か否かを判定し、その判定結果に応じて前記逆光判定を実行する、出力装置。 - 請求項7に記載の出力装置であって、
前記判定部は、前記画像データ生成時における被写体の場所が屋外であると判定した場合に、前記画像データの輝度値を用いて前記逆光判定を実行する、出力装置。 - 請求項1記載の出力装置であって、
前記判定部は、
(i)前記画像生成履歴情報に基づいて、前記画像データに対して前記逆光処理が不要か否かを決定するための第1の判定を実行し、
(ii)前記第1の判定において前記画像データに対して前記逆光処理が不要であると判定されなかったときには、前記画像データを用いて画素値の出現頻度を表す対象画像ヒストグラムを生成し、前記対象画像ヒストグラムを解析することによって前記逆光処理の要否を決定するための第2の判定を実行する、出力装置。 - 請求項9記載の出力装置であって、
前記判定部は、前記対象画像ヒストグラムと、予め設定された参照ヒストグラムとの間の類似度を算出し、前記類似度の値に応じて前記第2の判定を実行する、出力装置。 - 請求項10記載の出力装置であって、
前記対象画像ヒストグラムと前記参照ヒストグラムのそれぞれは、画素値の範囲が複数の区分に区分されているとともに各区分毎に出現頻度の代表値が設定された簡略化した形式を有しており、
前記類似度は、前記対象画像ヒストグラムと前記参照ヒストグラムの各区分毎の画素値の出現頻度の類似度を示す値である、出力装置。 - 請求項1ないし請求項11のいずれかに記載の出力装置であって、
前記画質調整部は、前記画像生成履歴情報と前記画像データとの両方を用いて、前記逆光処理の強度を決定する、出力装置。 - 請求項12に記載の出力装置であって、
前記画質調整部は、
前記画像生成履歴情報が被写体の前記画像内における位置を示す被写***置情報を含む場合に、
前記被写***置と前記被写***置以外の位置とで大きさが異なる重み分布を用いた前記画像データの解析結果を用いて、前記逆光処理の強度を決定する、出力装置。 - 画像生成装置で生成された画像データと、前記画像データ生成時における前記画像生成装置の動作情報を少なくとも含むと共に前記画像データに関連付けられた画像生成履歴情報とを用いて、画像データを処理する画像データ処理装置であって、
前記画像生成履歴情報と前記画像データとの両方を用いて、逆光処理を実行するか否かの逆光判定を行う判定部と、
実行すると判定した場合には、前記画像データにおける少なくとも一部の画素の輝度値を大きくするように前記画像データを調整する逆光処理を実行する画質調整部と、
を備える、画像データ処理装置。 - 画像生成装置で生成された画像データと、前記画像データ生成時における前記画像生成装置の動作情報を少なくとも含むと共に前記画像データに関連付けられた画像生成履歴情報とを用いて、画像データを処理する画像データ処理方法であって、
(a)前記画像生成履歴情報と前記画像データとの両方を用いて、逆光処理を実行するか否かの逆光判定を行う工程と、
(b)前記逆光処理を実行すると判定した場合に、前記画像データにおける少なくとも一部の画素の輝度値を大きくするように前記画像データを調整する逆光処理を実行する工程と、
を含む、画像データ処理方法。 - 画像生成装置で生成された画像データと、前記画像データ生成時における前記画像生成装置の動作情報を少なくとも含むと共に前記画像データに関連付けられた画像生成履歴情報とを用いた画像データの処理をコンピュータに実行させるためのコンピュータプログラムであって、
(a)前記画像生成履歴情報と前記画像データとの両方を用いて、逆光処理を実行するか否かの逆光判定を行う機能と、
(b)前記逆光処理を実行すると判定した場合に、前記画像データにおける少なくとも一部の画素の輝度値を大きくするように前記画像データを調整する逆光処理を実行する機能と、
を前記コンピュータに実現させることを特徴とする、コンピュータプログラム。 - 請求項16に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003126325A JP4228769B2 (ja) | 2002-09-20 | 2003-05-01 | 画像生成履歴情報を用いた画像の逆光処理 |
CNA200810210633XA CN101335818A (zh) | 2003-05-01 | 2004-03-18 | 图像数据处理装置及图像数据处理方法 |
CNB2004100287845A CN100505838C (zh) | 2003-05-01 | 2004-03-18 | 图像数据处理装置及图像数据处理方法 |
US10/804,766 US20040239796A1 (en) | 2002-09-20 | 2004-03-19 | Backlight adjustment processing of image using image generation record information |
EP04006739A EP1473925A3 (en) | 2003-05-01 | 2004-03-19 | Backlight adjustment processing of image using image generation record information |
US12/386,939 US20090207431A1 (en) | 2002-09-20 | 2009-04-23 | Backlight adjustment processing of image using image generation record information |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002274318 | 2002-09-20 | ||
JP2003126325A JP4228769B2 (ja) | 2002-09-20 | 2003-05-01 | 画像生成履歴情報を用いた画像の逆光処理 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008124160A Division JP4788735B2 (ja) | 2002-09-20 | 2008-05-12 | 画像生成履歴情報を用いた画像の逆光処理 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004166196A true JP2004166196A (ja) | 2004-06-10 |
JP2004166196A5 JP2004166196A5 (ja) | 2005-09-22 |
JP4228769B2 JP4228769B2 (ja) | 2009-02-25 |
Family
ID=32827678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003126325A Expired - Fee Related JP4228769B2 (ja) | 2002-09-20 | 2003-05-01 | 画像生成履歴情報を用いた画像の逆光処理 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4228769B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007134985A (ja) * | 2005-11-10 | 2007-05-31 | Seiko Epson Corp | 画像処理技術 |
JP2007144641A (ja) * | 2005-11-24 | 2007-06-14 | Seiko Epson Corp | 画像処理技術 |
JP2009241648A (ja) * | 2008-03-28 | 2009-10-22 | Fuji Heavy Ind Ltd | 運転支援装置 |
EP2216987A3 (en) * | 2009-02-06 | 2010-09-01 | Canon Kabushiki Kaisha | Image capturing apparatus and control method thereof |
JP2011128212A (ja) * | 2009-12-15 | 2011-06-30 | Canon Inc | 画像処理装置、方法及びプログラム |
JP2013132065A (ja) * | 2013-02-06 | 2013-07-04 | Canon Inc | 撮像装置及びフラッシュ制御方法 |
US9077905B2 (en) | 2009-02-06 | 2015-07-07 | Canon Kabushiki Kaisha | Image capturing apparatus and control method thereof |
-
2003
- 2003-05-01 JP JP2003126325A patent/JP4228769B2/ja not_active Expired - Fee Related
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007134985A (ja) * | 2005-11-10 | 2007-05-31 | Seiko Epson Corp | 画像処理技術 |
JP4581968B2 (ja) * | 2005-11-10 | 2010-11-17 | セイコーエプソン株式会社 | 画像処理技術 |
JP2007144641A (ja) * | 2005-11-24 | 2007-06-14 | Seiko Epson Corp | 画像処理技術 |
JP4600256B2 (ja) * | 2005-11-24 | 2010-12-15 | セイコーエプソン株式会社 | 画像処理技術 |
JP2009241648A (ja) * | 2008-03-28 | 2009-10-22 | Fuji Heavy Ind Ltd | 運転支援装置 |
EP2216987A3 (en) * | 2009-02-06 | 2010-09-01 | Canon Kabushiki Kaisha | Image capturing apparatus and control method thereof |
US8355059B2 (en) | 2009-02-06 | 2013-01-15 | Canon Kabushiki Kaisha | Image capturing apparatus and control method thereof |
US9077905B2 (en) | 2009-02-06 | 2015-07-07 | Canon Kabushiki Kaisha | Image capturing apparatus and control method thereof |
JP2011128212A (ja) * | 2009-12-15 | 2011-06-30 | Canon Inc | 画像処理装置、方法及びプログラム |
JP2013132065A (ja) * | 2013-02-06 | 2013-07-04 | Canon Inc | 撮像装置及びフラッシュ制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4228769B2 (ja) | 2009-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4788735B2 (ja) | 画像生成履歴情報を用いた画像の逆光処理 | |
US7375848B2 (en) | Output image adjustment method, apparatus and computer program product for graphics files | |
JP4151387B2 (ja) | 被写体の明るさに応じた画質の自動調整 | |
JP3849706B2 (ja) | 光源の種類に応じた画質の自動調整 | |
US20090207431A1 (en) | Backlight adjustment processing of image using image generation record information | |
JP4007367B2 (ja) | 画像データの出力画像調整 | |
JPWO2004030373A1 (ja) | 画像データの出力画像調整 | |
JP3882793B2 (ja) | 画像データの出力画像調整 | |
JP4228769B2 (ja) | 画像生成履歴情報を用いた画像の逆光処理 | |
JP3960336B2 (ja) | 画像データの画質調整 | |
JP4428347B2 (ja) | 画像データの出力画像調整 | |
JP5067489B2 (ja) | 画像データの出力画像調整 | |
JP3797346B2 (ja) | 画像データの出力画像調整 | |
JP5045808B2 (ja) | 画像ファイルの出力画像調整 | |
JP4724170B2 (ja) | 画像処理装置、出力装置、画像処理方法、出力方法、画像処理プログラム及び出力プログラム | |
EP1473925A2 (en) | Backlight adjustment processing of image using image generation record information | |
JP2004082703A (ja) | 画像ファイルの出力画像調整 | |
JP3797347B2 (ja) | 画像データの出力画像調整 | |
JP4360411B2 (ja) | 画像データの画質調整 | |
JP4375418B2 (ja) | 画像データの画質調整 | |
JP4042803B2 (ja) | 画像データの出力画像調整 | |
JP2010027077A (ja) | カメラ、並びに画像の輝度調整方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050414 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050414 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080212 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080512 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081111 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081124 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |