JP4281311B2

JP4281311B2 - 被写体情報を用いた画像処理

Info

Publication number: JP4281311B2
Application number: JP2002250045A
Authority: JP
Inventors: 至宏中見
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2001-09-11
Filing date: 2002-08-29
Publication date: 2009-06-17
Anticipated expiration: 2022-08-29
Also published as: US20040234153A1; US7945109B2; WO2003024101A1; EP1427207A1; EP1427207A4; JP2003189235A; US7555140B2; US20090262983A1

Description

【０００１】
【発明の属する技術分野】
本発明は、画像の主要被写体情報を利用する画像処理技術に関する。
【０００２】
【従来の技術】
撮像装置によって撮像された画像データの画像処理（画像補正）の精度を向上させるために、画像を複数の領域に分割して、画像の重点領域を中心に画像補正を行う技術が知られている。一般的に、画像の重点領域と主要被写体の画像が含まれている領域とは一致するであろうとの判断から、通常、画像の中央領域が重点領域として用いられている。
【０００３】
【発明が解決しようとする課題】
しかしながら、現実には、例えば、山並み等を背景に撮影する場合、主要被写体が画像の端の領域に置かれることもあり、主要被写体は、必ずしも画像の中央領域に位置するとは限らないという問題がある。主要被写体が画像の端の領域に置かれる場合には、画像の中央領域を重点領域とする従来の技術では、主要被写体に対する画像補正が精度良く行われず、意図した出力結果を得られないという問題があった。
【０００４】
本発明は、上記問題を解決するためになされたものであり、画像データ毎に適切な重点領域を設定し、設定した重点領域を利用して画像処理の精度を向上させることを目的とする。
【０００５】
【課題を解決するための手段およびその作用・効果】
上記課題を解決するために本発明の第１の態様は、画像データと、画像データに対応付けられていると共に画像データに基づく画像上の主要な被写***置を示す被写体情報とを用いて画像処理を実行する画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、前記被写体情報を用いて画像処理の基準となる重点領域を決定する重点領域決定手段と、前記重点領域を基準にして前記画像データを解析し、解析結果に基づいて前記画像データに対する画像処理を実行する画像処理手段とを備えることを特徴とする。
【０００６】
本発明の第１の態様に係る画像処理装置によれば、被写体情報を用いてて画像処理の重点領域を決定し、決定した重点領域を基準にして画像データを解析し、その解析結果に基づいて画像データに対する画像処理を実行するので、画像データ毎に適切な重点領域を設定し、設定した重点領域を利用して画像処理の精度を向上させることができる。
【０００７】
本発明の第１の態様に係る画像処理装置において、前記画像データに基づく画像を複数の領域に分割する分割手段を備え、前記重点領域は、前記複数の領域の中から決定されても良い。画像を複数の領域に分割することによって重点領域をより精度良く決定することができるとともに、重点領域を用いた画像処理の精度を向上させることができる。
【０００８】
本発明の第１の態様に係る画像処理生成装置において、前記画像処理手段は、前記解析結果に基づいて前記重点領域および前記重点領域以外の複数の領域における領域画像特性値をそれぞれ取得する領域画像特性値取得手段を備え、前記重点領域における領域画像特性値、および前記重点領域近傍の複数の領域の領域画像特性値に基づいて前記画像データに対する画像処理を実行しても良い。かかる場合には、重点領域を基準とした解析結果に基づいた画像処理を行うことができるので、適切な画像処理を実行することができる。
【０００９】
本発明の第１の態様に係る画像処理装置において、前記画像処理手段は、前記解析結果に基づいて前記重点領域および前記重点領域以外の複数の領域における領域画像特性値をそれぞれ取得する領域画像特性値取得手段と、前記重点領域に近づくにつれて、前記複数の領域における領域画像特性値に対する重み付けを大きくして前記画像全体の画像特性値を生成する画像特性値生成手段を備え、前記生成された画像特性値を用いて前記画像データに対する画像処理を実行する画像処理手段とを備えても良い。かかる場合には、さらに重点領域を基準とした解析結果に基づいた画像処理を行うことができるので、より正確な画像処理を実行することができる。
【００１０】
本発明の第１の態様に係る画像処理装置において、前記画像特性値生成手段は、前記重点領域の領域画像特性値を利用して、前記重点領域を除く他の複数の一般領域を利用領域と非利用領域とに分ける領域区分手段を備え、前記重点領域の領域画像特性値と前記利用領域の領域画像特性値を用いて画像特性値を生成しても良い。かかる場合には、画像処理に際して用いられる画像特性値を重点領域を中心にして取得することができるので、ノイズ等の影響を低減して適切な画像処理を実行することができる。
【００１１】
本発明の第１の態様に係る画像処理装置において、前記領域区分手段は、前記重点領域の領域画像特性値と前記一般領域の領域画像特性値との絶対差に基づいて前記利用領域と前記非利用領域とに分けても良い。
【００１２】
本発明の第１の態様に係る画像処理装置において、前記重点領域の領域画像特性値と前記一般領域の領域画像特性値との絶対差に基づく領域区分は、前記重点領域の領域画像特性値と前記一般領域の領域画像特性値との絶対差が、所定値以上の場合には、その一般領域を非利用領域に区分し、所定値未満の場合には、その一般領域を利用領域に区分することによって実行されても良い。一般的に、重点領域の画像特性値との絶対差が大きくなるにつれて、その領域は重点領域とは関係が薄くなる、すなわち、画像の中心ではなくなる傾向になるので、そのような領域を非利用領域とすることにより、より適切な画像特性値を取得することができると共に、画像処理の精度を向上させることができる。
【００１３】
本発明の第１の態様に係る画像処理装置において、前記所定値は、前記重点領域と前記各一般領域との距離に応じて異なっても良い。画像の領域の重要度は、通常、重点領域からの距離に比例することが多いからである。
【００１４】
本発明の第１の態様に係る画像処理装置において、前記被写体情報は、前記画像データに基づく画像上におけるフォーカスが合わせられた位置を示す情報であっても良い。通常、撮影者（画像ファイル生成者）は、最も興味のある位置においてフォーカスを合わせるので、フォーカスが合わせられた位置を利用することによって画像上の重点領域を容易に決定することができる。
【００１５】
本発明の第１の態様に係る画像処理装置において、前記画像処理は、前記取得された画像特性値と既定の画像処理基準値との絶対差を低減する処理であっても良い。
【００１６】
本発明の第１の態様に係る画像処理装置において、前記画像ファイルには、さらに、画像処理装置における画像処理条件と、撮影シーンを画像処理に反映させるためのシーン指定情報とを含む画像処理制御情報が含まれており、前記シーン指定情報を反映して、前記生成された画像特性値と前記画像処理基準値との絶対差を低減するように前記画像処理が実行されても良い。かかる場合には、フォーカス位置情報を反映して撮影シーン指定情報に基づく画像処理を行うことにより、撮影シーンに応じた画像処理の精度を向上させることができる。
【００１７】
本発明の第２の態様は、画像データと、画像データと対応付けられていると共に画像データに基づく画像上の主要な被写***置を示す被写体情報とを用いて画像処理を実行する画像処理プログラムを提供する。本発明の第２の態様に係る画像処理プログラムは、前記被写体情報を用いて画像解析の基準となる重点領域を決定する機能と、前記重点領域を基準にして前記画像データを解析し、解析結果に基づいて前記画像データに対する画像処理を実行する機能とをコンピュータによって実行させることを特徴とする。
【００１８】
本発明の第２の態様に係る画像処理プログラムによれば、本発明の第１の態様に係る画像処理装置と同様の作用効果を得ることができる。また、本発明の第２の態様に係る画像処理プログラムは、本発明の第１の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。また、本発明の第２の態様に係る画像処理プログラムは、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体としても実現され得る。
【００１９】
本発明の第３の態様は、画像データと、画像データと対応付けられていると共に画像データに基づく画像上の主要な被写***置を示す被写体情報とを用いて画像処理を実行する画像処理プログラムを提供する。本発明の第３の態様に係る画像ファイル生成プログラムは、前記画像データに基づく画像を複数の領域に分割する機能と、前記被写体情報に基づいて、前記複数の領域の中から画像解析の基準となる重点領域を決定する機能と、前記解析結果に基づいて前記複数の領域の領域画像特性値をそれぞれ取得する機能と、前記重点領域の領域画像特性値を利用して、前記重点領域を除く他の複数の一般領域を利用領域と非利用領域とに分ける機能と、前記重点領域の領域画像特性値と前記利用領域の領域画像特性値を用いて画像特性値を取得する機能と、前記画像特性値を用いて前記画像データに対する画像処理を実行する機能とをコンピュータによって実行させることを特徴とする。
【００２０】
本発明の第３の態様に係る画像処理プログラムによれば、本発明の第１の態様に係る画像処理装置と同様の作用効果を得ることができる。また、本発明の第３の態様に係る画像処理プログラムは、本発明の第１の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。また、本発明の第３の態様に係る画像処理プログラムは、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体としても実現され得る。
【００２１】
本発明の第４の態様は、画像データと、画像データと対応付けられていると共に画像処理装置における画像データの画像処理条件を指定する画像処理制御情報を生成する撮像装置を提供する。本発明の第４の態様に係る撮像装置は、前記画像データを生成する画像データ生成手段と、前記画像データに基づく画像上の主要な被写体を示す被写体情報を生成する被写体情報生成手段と、前記生成された被写体情報を含む画像処理制御情報を生成する画像処理制御情報生成手段とを備えることを特徴とする。
【００２２】
本発明の第４の態様に係る画像ファイル生成装置によれば、画像データに基づく画像上の主要な被写体を示す被写体情報を有する画像処理制御情報を含む画像ファイルを生成することができる。
【００２３】
本発明の第４の態様に係る撮像装置はさらに、前記画像データに基づく画像上のフォーカスが合わせられたフォーカス位置を検出するフォーカス位置検出手段を備え、前記主要被写体識別情報の生成は、前記検出されたフォーカス位置に基づいて前記主要被写体識別情報を生成しても良い。かかる場合には、検出されたフォーカス位置に基づいて主要被写体情報を生成することができる。
【００２４】
本発明の第４の態様に係る撮像装置はさらに、撮影画像における前記主要被写体を指定する主要被写体指定手段を備え、前記主要被写体識別情報の生成は、前記主要被写体の指定情報に基づいて前記主要被写体識別情報を生成しても良い。かかる場合には、主要被写体指定手段によって、任意に、画像上の主要被写体を指定することができる。
【００２５】
本発明の第４の態様に係る撮像装置はさらに、前記生成された画像データおよび前記画像処理制御情報を含む画像ファイルを生成する画像ファイル生成手段を備えても良い。かかる場合には、１つの画像ファイルによって画像データおよび画像処理制御情報を扱うことができる。本発明の第４の態様に係る撮像装置はさらに、撮影シーンを設定するための撮影シーン設定手段を備え、前記画像処理制御情報には、前記設定された撮影シーンを画像処理装置における画像処理に反映させるためのシーン指定情報を含んでも良い。かかる場合には、撮像装置にて設定された撮影シーンの情報を画像処理装置と共有することができるので、画像処理装置において撮影シーンを考慮した画像処理を実現させることができる。
【００２６】
【発明の実施の形態】
以下、本発明に係る画像処理装置、および撮像装置について以下の順序にて図面を参照しつつ、実施例に基づいて説明する。
Ａ．画像処理装置、および撮像装置を含む画像処理システムの構成：
Ｂ．画像処理システムを構成する各装置の構成：
Ｃ．画像ファイル生成処理：
Ｄ．画像処理：
Ｅ．その他の実施例：
【００２７】
Ａ．画像処理装置を含む画像処理システムの構成：
本実施例に係る画像処理装置、および撮像装置を含む画像処理システムの構成について図１を参照して説明する。図１は本実施例に係る画像処理装置および撮像装置を含む画像処理システムの一例を示す説明図である。
【００２８】
画像処理システム１０は、画像データおよび画像処理装置における画像処理条件を指定する画像処理制御情報を含む画像ファイルを生成する撮像装置としてのディジタルスチルカメラ２０、ディジタルスチルカメラ２０にて生成された画像ファイルを用いて後述する画像処理を実行する画像処理装置としてのプリンタ３０、並びにパーソナルコンピュータＰＣを備えている。ディジタルスチルカメラ２０にて生成された画像ファイルは、接続ケーブルＣＶまたはメモリカードＭＣを介して、プリンタ３０、またはパーソナルコンピュータＰＣに供給される。
【００２９】
Ｂ．画像処理システムを構成する各装置の構成：
ディジタルスチルカメラ２０は、ＣＣＤや光電子倍増管を用いて光の情報をアナログ電気信号に変換し、得られたアナログ電気信号をＡ／Ｄコンバータを用いてディジタル信号化することによりディジタルな画像データを生成するカメラである。図２を参照して、ディジタルスチルカメラ２０の概略構成について説明する。図２は本実施例に従うディジタルスチルカメラ２０の概略構成を模式的に示すブロック図である。ディジタルスチルカメラ２０は、光情報を収集するための光学回路２１、ディジタルデバイスを制御して画像を取得するための画像取得回路２２、取得したディジタル画像を加工処理するための画像処理回路２３、各回路を制御する制御回路２４を備えている。ディジタルスチルカメラ２０はまた、画像処理制御情報ＣＩを選択、設定するための選択・決定ボタン２５を備える。生成されたディジタル画像データは、通常、記憶装置としてのメモリカードＭＣに保存される。ディジタルスチルカメラ２０における画像データの保存形式としては、ＪＰＥＧ形式が一般的であるが、この他にもＴＩＦＦ形式、ＧＩＦ形式、ＢＭＰ形式、ＲＡＷデータ形式等の保存形式が用いられ得る。また、画像データとしては、静止画像の他に、例えば、ディジタルビデオカメラ（ＤＶＣ）によって記録可能な動画像が用いられ得る。
【００３０】
ディジタルスチルカメラ２０において生成された画像ファイルは、通常、ディジタルスチルカメラ用の画像ファイルフォーマット規格（Exif）に従ったファイル構造を有している。Exifファイルの仕様は、電子情報技術産業協会（ＪＥＩＴＡ）によって定められている。本実施例に係るディジタルスチルカメラ２０にて生成された画像ファイルは、フォーカス位置情報といった画像処理装置における画像処理条件を指定する画像処理制御情報ＣＩを含んでいる。
【００３１】
図３を参照して、本実施例において用いられる画像ファイルの概略構成について説明する。なお、本実施例中におけるファイルの構造、データの構造、格納領域といった用語は、ファイルまたはデータ等が記憶装置内に格納された状態におけるファイルまたはデータのイメージを意味するものである。図３はExifファイルフォーマットに従う、本実施例にて生成される画像ファイルの内部構成の一例を概念的に示す説明図である。
【００３２】
図３に示すように、Exifファイルフォーマットに従う画像ファイルＧＦは、ＪＰＥＧ形式の画像データを格納するＪＰＥＧ画像データ格納領域１１１と、格納されているＪＰＥＧ画像データに関する各種情報を格納する付属情報格納領域１１２とを備えている。付属情報格納領域１１２には、撮影日時、露出、シャッター速度等といったＪＰＥＧ画像の撮影条件に関する撮影時情報、ＪＰＥＧ画像データ格納領域１１１に格納されているＪＰＥＧ画像のサムネイル画像データがＴＩＦＦ形式にて格納されている。さらに、付属情報格納領域１１２は、ＤＳＣ製造者に開放されている未定義領域であるMakernoteデータ格納領域１１３を備えており、本実施例では、フォーカス位置情報を始めとする画像処理装置における画像処理条件を指定する画像処理制御情報ＣＩが格納されている。すなわち、本実施例において生成される画像ファイルＧＦは、Makernoteデータ格納領域１１３に画像処理制御情報ＣＩを備える点で、通常のExif形式の画像ファイルと相違する。なお、当業者にとって周知であるように、Exif形式のファイルでは、各データを特定するためにタグが用いられており、Makernoteデータ格納領域１１３に格納されているデータに対してはタグ名としてMakernoteが割り当てられ、Makernoteタグと呼ばれている。
【００３３】
なお、本実施例に係る画像ファイル生成装置において用いられ得る画像ファイルは、Exifファイルフォーマットに従う画像ファイルＧＦに限られず、ディジタルビデオカメラ、スキャナ等の入力装置によっても生成された画像ファイルをも用いることができる。ディジタルビデオカメラにて生成される場合には、例えば、静止画像データと画像処理制御情報とを格納する画像ファイル、あるいは、ＭＰＥＧ形式等の動画像データと画像処理制御情報とを含む動画像ファイルが生成される。この動画像ファイルが用いられる場合には、動画の全部または一部のフレームに対して画像処理制御情報に応じた画像処理制御が実行される。
【００３４】
図４を参照して、パーソナルコンピュータ３０の概略構成について説明する。図４は本実施例に従うパーソナルコンピュータ３０の概略構成を模式的に示すブロック図である。パーソナルコンピュータ３０は、一般的に用いられているタイプのコンピュータであり、本発明に従う画像処理プログラムを実行するＣＰＵ３００、ＣＰＵ３００における演算結果、画像データ等を一時的に格納するＲＡＭ３０１、画像処理プログラム、画像処理を施した画像データ等を格納するＨＤＤ３０２、ＣＰＵ３００における演算結果、画像データ等を表示するための表示装置３１、ＣＰＵ３００に対するコマンド等を入力するための入力装置３２等を備えている。パーソナルコンピュータＰＣは、メモリカードＭＣを装着するためのカードスロット３３、ディジタルスチルカメラ２０等からの接続ケーブルＣＶを接続するための入出力端子３４を備えている。
【００３５】
図５を参照して、カラープリンタ４０の概略構成について説明する。図５は本実施例に従うカラープリンタ４０の概略構成を模式的に示すブロック図である。カラープリンタ４０は、例えば、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）の４色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成するインクジェット方式のプリンタであり、あるいは、カラートナーを印刷媒体上に転写・定着させて画像を形成する電子写真方式のプリンタである。プリンタ４０は、図５に示すように、印刷ヘッドまたは回転ドラム等を含み印刷媒体に対する印刷処理を実行する印刷部４１と、記憶装置ＭＣを収容するスロット４２と、記憶装置ＭＣから読み出した画像処理制御情報ＣＩを解析し、解析した画像処理制御情報ＣＩに基づいてプリンタ４０の各部の動作を制御する制御装置４３を備えている。制御装置４３は、各種演算処理を実行する演算処理装置（ＣＰＵ）４３０、ＣＰＵ４３０にて実行されるプログラム等を不揮発的に格納するリードオンリメモリ（ＲＯＭ）４３１、ＣＰＵ４３０における演算処理結果、および取得したデータを一時的に格納するランダムアクセスメモリ（ＲＡＭ）４３２を備えている。
【００３６】
Ｃ．画像ファイル生成処理：
本実施例に従うディジタルスチルカメラ２０にて実行される画像ファイル生成処理について図６を参照して説明する。図６は本実施例に従うディジタルスチルカメラ２０にて実行される画像ファイル生成処理の処理ルーチンを示すフローチャートである。
【００３７】
ディジタルスチルカメラ２０の制御回路２４は、シャッターボタンの押し下げ等によって画像生成要求が発生すると本処理ルーチンを開始する。制御回路２４は、撮影者によって設定された撮影シーンの設定情報である、プリセット画像処理制御情報を取得する（ステップＳ１００）。撮影シーンの設定は、シャッターボタンの押し下げに先だって、図示しないダイヤルボタンを操作することにより、あるいは、選択・決定ボタン２５を操作して図示しないモニタ画面上において任意のシーンを選択することによって実行される。撮影シーンには、通常の撮影シーンを示す通常モード、人物を中心とする被写体に適当なポートレートモード、近接撮影に有効なマクロモード等がある
【００３８】
制御回路２４は、ＣＣＤから得られた電圧情報に基づいて画像データを生成する（ステップＳ１１０）。続いて、制御回路２４は、シャッターボタンの押し下げ時におけるフォーカス位置情報を取得する（ステップＳ１２０）。フォーカス位置情報は、撮影時における撮影フレームの中でフォーカスを合わせた位置を示す情報であり、例えば、撮影フレームを垂直方向（Ｙ方向）および水平方向（Ｘ方向）にそれぞれ２５６分割して、左上位置を原点とする座標位置情報（Ｘ、Ｙ）として表される。制御回路２４は、プリセット画像処理制御情報以外の画像処理制御情報、例えば、画像処理時に用いる色空間情報を取得し（ステップＳ１３０）、取得したプリセット画像処理制御情報、フォーカス位置情報、画像処理制御情報と生成された画像データとを画像ファイルとしてメモリカードに格納する（ステップＳ１４０）。このとき、プリセット画像処理制御情報、フォーカス位置情報、画像処理制御情報は、Exifファイルの制御情報格納領域１１３に記録され、画像データはJPEGデータのフォーマットにてJPEG画像データ格納領域１１１に記録される。
【００３９】
制御回路２４は、フォーカス位置の変更の有無を判定する（ステップＳ１５０）。本実施例に従うディジタルスチルカメラ２０では、メモリカードＭＣ上に格納された画像ファイルＧＦに含まれる画像データをモニタ画面に表示させて、選択・決定ボタン２５を操作してモニタ画面上において、フォーカス位置を変更することができるので、フォーカス位置情報が変更された場合にはフォーカス位置情報を更新するためである。制御回路２４は、フォーカス位置情報が変更されたと判定した場合には（ステップＳ１５０：Ｙｅｓ）、メモリカードＭＣ上に格納されている画像ファイルＧＦの制御情報格納領域１１３に格納されているフォーカス位置情報を書き換えて（ステップＳ１６０）、本処理ルーチンを終了する。一方、制御回路２４は、フォーカス位置情報が変更されていないと判定した場合には（ステップＳ１５０：Ｎｏ）、本処理ルーチンを終了する。
【００４０】
Ｄ．画像処理：
画像処理装置としてのパーソナルコンピュータ３０にて実行される画像処理について図７〜図９を参照して説明する。図７は本実施例に従うパーソナルコンピュータ３０によって実行される画像処理制御の処理ルーチンを示すフローチャートである。図８は、図７における画像処理制御情報に基づく画像処理に際して実行される処理ルーチンを示すフローチャートである。図９は、図８におけるフォーカス位置情報を用いた画質調整処理に際して実行される処理ルーチンを示すフローチャートである。
【００４１】
図７に示す処理ルーチンは、例えば、ＣＰＵ３００が、カードスロット３３に対するメモリカードＭＣを装着を検出すると実行される。ＣＰＵ３００は、メモリカードＭＣから入力装置３２を介して指定された画像ファイルＧＦを読み出す（ステップＳ２００）。ＣＰＵ３００は、画像ファイルＧＦの制御情報格納領域１１３から画像処理制御情報ＣＩを検索し（ステップＳ２１０）、画像処理制御情報ＣＩを発見したときには（ステップＳ２１０：Ｙｅｓ）、フォーカス位置情報を含む画像処理制御情報ＣＩを取得する（ステップＳ２２０）。ＣＰＵ３００は、取得した画像処理制御情報ＣＩに基づいて画像処理を実行する（ステップＳ２３０）。
【００４２】
一方、ＣＰＵ３００は、画像ファイルＧＦの制御情報格納領域１１３から画像処理制御情報ＣＩを発見できなかった場合には（ステップＳ２１０：Ｎｏ）、通常の画像処理を実行する（ステップＳ２４０）。通常の画像処理では、フォーカス位置情報を始めとする画像処理制御情報ＣＩを用いることなく、パーソナルコンピュータ３０のＨＤＤ３０２に格納されているアプリケーションの機能に基づいた画像処理が実行される。
【００４３】
ＣＰＵ３００は、画像処理を終えると（ステップＳ２３０、Ｓ２４０）、処理された画像データをカラープリンタ４０または表示装置３１に対して出力して（ステップＳ２５０）、本処理ルーチンを終了する。
【００４４】
次に、図８を参照して画像処理制御情報に基づく画像処理を説明する。なお、フローチャート中に表示する英文字は、画像データを表す色空間を意味している。ＣＰＵ３００は、画像処理制御情報ＣＩの中で指定色空間への色空間変換マトリクス値、ガンマ補正値を用いて画像データＧＤの色空間をＹＣｂＣｒ色空間からｗＲＧＢ色空間へと変換する色空間変換処理を実行する（ステップＳ３００）。この色空間変換処理では、ＣＰＵ３００は、先ず、ＹＣｂＣｒ画像データをＲＧＢ画像データに変換するためのマトリクスＳを用いて、ＪＰＥＧ形式で表される画像データの色空間を、例えば、ｓＲＧＢ画像データに変換する。続いて、ＣＰＵ３００は、指定された色空間変換マトリクス値により構成されるマトリクスＭとＨＤＤ３０２に格納されている変換マトリクス（Ｎ^-1）とを合成して、マトリクスＮ^-1Ｍを生成する。ＣＰＵ３００は、指定されたガンマ補正値を用いてＲ、Ｇ、Ｂの各成分に対してガンマ補正を実行し、合成により得られたマトリクスＮ^-1Ｍを用いて画像データの色空間をｓＲＧＢからｗＲＧＢへと変換する。ＣＰＵ３００は、得られたｗＲＧＢ画像データに対して、ＨＤＤ３０２に格納されているガンマ補正値を用いて逆ガンマ補正を実行する。
【００４５】
ＣＰＵ３００は、画像処理制御情報ＣＩにフォーカス位置情報が含まれているか否かを判定する（ステップＳ３１０）。ＣＰＵ３００は、フォーカス位置情報が含まれていると判定した場合には（ステップＳ３１０：Ｙｅｓ）、フォーカス位置情報を用いた画質調整処理を実行する（ステップＳ３２０）。ＣＰＵ３００は、画像処理制御情報ＣＩにフォーカス位置情報が含まれていないと判定した場合には（ステップＳ３１０：Ｎｏ）、通常の画質調整処理を実行する（ステップＳ３３０）。なお、画質調整処理は、画像データの特性を解析してヒストグラムを生成し、生成されたヒストグラムに基づいて統計値を算出し、統計値と画像処理の基準値との偏差が低減または解消されるようにトーンカーブを調整し、調整されたトーンカーブを用いて画像データの入力値と出力値との関係を調整することにより実行される。画質調整処理にあたって調整される画質パラメータは、明度、コントラスト、カラーバランス、シャープネス、シャドーポイント、ハイライトポイントといった画質パラメータであり、各パラメータに対する基準値は、画像処理制御情報ＣＩに含まれる制御パラメータ値によって変更される。画像処理制御情報ＣＩは、既述のように、撮影時の撮影モードに対応する複数のパラメータ群からなる情報であっても良い。かかる場合には、撮影モードに適した画質調整処理を実現することができる。
【００４６】
ＣＰＵ３００は、画像処理を終えた画像データを用いて印刷データ生成処理を実行して（ステップＳ３４０）、本処理ルーチンを終了する。印刷データ生成処理では、ＣＰＵ３００は、３次元ルックアップテーブルを用いて画像データの色空間をｗＲＧＢからＣＭＹＫへと変換し、さらに、ハーフトーン処理、ラスタ処理を実行して、印刷データをカラープリンタ４０の制御回路４３に転送する。
【００４７】
図９を参照して、フォーカス位置情報を用いた画質調整処理について説明する。なお、説明を容易にするため、画像の明度を調整する場合について代表的に説明する。ＣＰＵ３００は、先ず、画像を複数領域、例えば、垂直方向、および水平方向にそれぞれ２５６の領域に分割する（ステップＳ３２００）。分割した画像の各領域に対しては、左上位置を原点とする座標位置情報（Ｘ’，Ｙ’）がそれぞれ（０〜２５５，０〜２５５）まで割り当てられる。ＣＰＵ３００は、各領域毎にヒストグラムを生成して輝度平均値Ｙave（領域画像特性値）を算出する（ステップＳ３２１０）。ＣＰＵ３００は、フォーカス位置情報を用いて、画像上のフォーカス位置を決定し、決定した位置に在る領域を重点領域に設定し、さらに、重点領域の輝度平均値Ｙaveを輝度判定値Ｙstdに設定する（ステップＳ３２２０）。本実施例におけるフォーカス位置情報は、既述のように左上位置を原点とする座標位置情報（Ｘ、Ｙ）として表されているので、画像に対して割り当てられた座標位置情報（Ｘ’，Ｙ’）と、フォーカス位置情報における座標位置情報（Ｘ，Ｙ）とが一致する領域を重点領域に設定する。例えば、（Ｘ，Ｙ）＝（１２５，２００）であれば、（Ｘ’，Ｙ’）＝（１２５，２００）に相当する画像上の領域が重点領域に設定される。
【００４８】
ＣＰＵ３００は、設定した輝度判定値Ｙstdを用いて以降の画質調整において考慮にいれない非利用領域を決定する（ステップＳ３２３０）。すなわち、輝度判定値Ｙstdは、画質調整に用いられる画像全体の画質調整輝度平均値Ｙ'ave（画像特性値）を算出する際に除外する領域（あるいは、考慮に入れる領域）を決定するために用いられる判定値である。より具体的には、輝度判定値Ｙstdと各領域の輝度平均値Ｙaveとの差分の絶対値がしきい値以上の場合には、不要な情報、または、ノイズ情報であると判断し、その領域を不要領域と判定する。このように、画質調整の際に、重点領域を基準にして画像のサンプリング値を計算することによって、重点領域を中心とする精度の高い画質調整を実現することができる。なお、本実施例中において重点領域とは、画像データの作成者（撮影者）が注目している領域に従い決定される領域であり、画像処理における画像解析の基準となる画像上の領域（注目領域）を意味する。
【００４９】
非利用領域の決定理論について詳細に説明する。重点領域の座標（フォーカス位置座標）を（Ｘf，Ｙf）とし、各領域の中心座標を（Ｘa，Ｙa）とすると、各領域の中心座標と重点領域座標との間の距離ＦＤは、
ＦＤ＝sqrt[(Ｘa−Ｘf)²＋(Ｙa−Ｙf)²] ・・・式１
によって求められる。また、重点領域座標（フォーカス位置座標）からの各領域の中心座標までの距離と、各領域の利用・非利用の判定に用いられるしきい値とは、例えば、図１０に示す特性線によって関連付けられる。したがって、式１の計算結果と図１０に示す特性線とを用いることによって、非利用領域を決定することができる。
【００５０】
ただし、本実施例では、処理簡略化のため、画像領域を重点領域および重点領域の隣接領域と、隣接領域の外周の他領域とに２分して、用いるしきい値も重点領域および隣接領域に対するしきい値Ｔｈ１と、他領域に対するしきい値Ｔｈ２との２つのしきい値とした。なお、隣接領域は重点領域の周囲に在り、主要な被写体の一部である可能性が高いのでＴｈ１＞Ｔｈ２として、隣接領域が残り、他の領域が非利用領域として除外されやすいようにした。
隣接領域に対しては、｜Ｙstd−Ｙave(i)｜＞Ｔｈ１・・・式２
他の領域に対しては、｜Ｙstd−Ｙave(i)｜＞Ｔｈ２・・・式３
をそれぞれ用いて、左辺の絶対値がＴｈ１、Ｔｈ２よりも大きくなる輝度平均値Ｙave(i)に該当する領域が非利用領域に決定される。
【００５１】
ＣＰＵ３００は、非利用領域として除外されなかった領域を用いて、領域の位置に応じた重み付けＷを反映して画像全体の輝度平均値である画質調整輝度平均値Ｙ'aveを算出し（ステップＳ３２４０）、算出した画質調整輝度平均値Ｙ'aveを用いて明度補正を実行して（ステップＳ３２５０）、図８に示す処理ルーチンに戻る。明度補正では、ＣＰＵ３００は、画像処理制御情報ＣＩに含まれている画質調整パラメータ、および撮影モードに応じた画質調整パラメータの内、明度パラメータを用いて、画質調整に際して用いる基準値Ｙrefを調整し、調整した基準値Ｙ'refと画質調整輝度平均値Ｙ'aveとを用いて画像データの入力値と出力値との関係を表すトーンカーブの特性を調整する。ＣＰＵ３００は、特性が調整されたトーンカーブを用いて画素単位にて画像データの値を調整していく。
【００５２】
重み付けWの決定理論について詳細に説明する。最大重み付けをＷmaxとし、重み付け０とする各領域の中心座標と重点領域座標との間の距離をＦＤw0とすると、距離ＦＤと重み付けＷとは、例えば、図１１に示す特性線によって関係づけられる。すなわち、各領域に対する重み付けＷは、
Ｗ＝Ｗmax−ＦＤ*(Ｗmax/ＦＤw0)・・・式４
によって求められる。
【００５３】
ただし、本実施例では、処理簡略化のため、画像領域を重点領域、隣接領域、他領域の３領域に区分し、重点領域に対してはＷ＝３、隣接領域に対してはＷ＝２、他領域に対してはＷ＝１を割り当てる。こうして得られた重み付けＷと各領域における輝度平均値Ｙaveとを用いて、輝度平均値の重み付け総和ΣＹaveを以下の式から算出する。
ΣＹave＝Ｙave1*３＋ΣＹave2(i)*２＋ΣＹave3(i)・・・式５
なお、Ｙave1：重点領域の輝度平均値、Ｙave2(i)：隣接領域の輝度平均値、Ｙave3(i)：他領域の輝度平均値とする。
【００５４】
画像全体の輝度平均値である画質調整輝度平均値Ｙ'aveは、重み付け有効領域数をＡnumとすると、
Ｙ'ave＝(ΣＹave)/(Ａnum）・・・式６
によって求められる。なお、Ａnum＝[重点領域数]×３＋[隣接領域数]×２＋[他領域数]×１である。
【００５５】
こうして得られた画質調整輝度平均値Ｙ'aveと調整基準値Ｙ'ref（画像処理基準値）とを用いた明度補正（トーンカーブの特性調整）の手順について詳述する。先ず明度補正量Ｙapfを次の式を用いて算出する。
Ｙapf＝Int(sqrt{(Ｙ'ref−Ｙ'ave)*４})・・・式７
画像を明るくする場合には、トーンカーブの入力レベルの１/４ポイントに相当する出力レベルを得られた明度補正量Ｙapfだけ増加させ、画像を暗くする場合には、トーンカーブの入力レベルの３/４ポイントに相当する出力レベルを得られた明度補正量Ｙapfだけ減少させて、トーンカーブの特性を調整する。
【００５６】
以上説明したように、本実施例に係る画像処理装置によれば、画像ファイルＧＦに含まれるフォーカス位置情報を利用して画像解析の際に基準となる重点領域を決定することができるので、撮影者が重要であると考えている画像上の領域（ポイント）を正確に決定することができる。また、解析結果に基づき、撮影者の意図を反映した適切な画像処理を実現することができる。すなわち、通常、撮影者は、最も関心のある被写体にフォーカスを合わせるので、フォーカスを決めた位置に存在する被写体に重みを置いた画質調整を実行することにより、重点領域を基準とした正確な画質調整を実行することができる。
【００５７】
Ｅ．その他の実施例：
上記実施例では、明度調整に対してフォーカス位置情報を利用した画質調整について説明したが、この他にも、例えば、シャープネス調整に対してフォーカス位置情報を利用しても良い。かかる場合には、ガウス分布の手法を利用して、フォーカス位置、すなわち、重点領域にある画像のシャープネスを強め、他領域にある画像のシャープネスを弱めることによって、背景を適当にぼかすことができる。特に、撮影モードとしてポートレートモードが選択されている時に有効な処理である。したがって、撮影モードとしてポートレートモードが選択されている場合には、特別な選択処理を伴うことなく画質調整に際してシャープネス調整を実行するようにしてもよい。なお、ポートレートモードの選択の有無の情報は、画像処理制御情報ＣＩを解析することによって得ることができる。
【００５８】
また、上記実施例では、画像処理装置として、パーソナルコンピュータ３０を用いた場合について説明したが、画像処理装置として、カラープリンタ４０を用いても良い。カラープリンタ４０がパーソナルコンピュータ３０を必要としない、いわゆる、スタンドアローン型のプリンタの場合には、カラープリンタ４０だけで、画像処理、印刷処理を実行することになる。したがって、上記説明した各処理を、カラープリンタ４０の制御回路４３によって実行するようにしても良い。
【００５９】
上記実施例では、明度補正を実行する際に、トーンカーブを用いたが、次のようにルックアップテーブルを作成しても良い。明度補正値γを
γ＝sqrt(Ｙref/Ｙ'ave)・・・式８
から求め、補正後の輝度値Ｙ''を
Ｙ''＝２５５×(Ｙ/２５５)^γ・・・式９
から求めて元画像の各輝度値Ｙに対する補正後の輝度値Ｙ''に対するルックアップテーブルを作成し、作成したルックアップテーブルに基づいて画像の各画素について輝度補正を実行する。このとき、画像処理制御情報ＣＩに基づいて、基準値Ｙrefのレベルが適宜変更され得ることは言うまでもない。
【００６０】
以上、実施例に基づき本発明に係る画像処理装置および画像ファイル生成装置を説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはもちろんである。
【００６１】
上記実施例では、フォーカス位置情報を用いて明度、シャープネスの補正を行う場合について説明したが、この他の画質特性、例えば、カラーバランス、シャドーポイント、ハイライトポイントの補正、調整を行う際に利用しても良い。かかる場合にも、フォーカス位置情報を用いることによって画像の重点領域を知ることができ、重点領域を中心とした画像の画質調整を実行することができる。
【００６２】
また、画像処理制御情報ＣＩによって指定されるパラメータは、あくまでも例示に過ぎず、他のパラメータも適宜用いられ得ることはいうまでもない。
【００６３】
上記実施例では、撮像装置としてディジタルスチルカメラ２０を用いて説明したが、この他にもスキャナ、ディジタルビデオカメラ等が用いられ得る。すなわち、本実施例に係る上記画像ファイルＧＦは、ディジタルスチルカメラ（ＤＳＣ）の他に、ディジタルビデオカメラ（ＤＶＣ）、スキャナ等の入力装置（画像ファイル生成装置）によって生成され得る。ディジタルビデオカメラにて生成される場合には、例えば、静止画像データと出力制御情報とを格納する画像ファイル、あるいは、ＭＰＥＧ形式等の動画像データと出力制御情報とを含む動画像ファイルが生成される。この動画像ファイルが用いられる場合には、動画の全部または一部のフレームに対して出力制御情報に応じた出力制御が実行される。
【００６４】
上記実施例では画像を２５６×２５６分割したが、より細かく分割しても良く、より荒く分割しても良い。少なくとも２つの領域が構成されるように画像を分割すれば、重点領域と他領域とが生成される。より細かく分割することによって画像調整の精度は向上し、より荒く分割することによって画像調整に要する処理時間を短縮することができる。したがって、画像調整の結果得られる画像に要求される質に応じて画像の分割数を決定すれば良い。
【００６５】
上記実施例では、画像ファイルＧＦの具体例としてExif形式のファイルを例にとって説明したが、本発明に係る撮像装置において用いられ得る画像ファイルの形式はこれに限られない。すなわち、出力装置によって出力されるべき画像データと、画像処理装置における画像データの画像処理条件を指定する画像処理制御情報ＣＩとを含むことができるファイルであれば良い。このようなファイルであれば、撮像装置において画像データと画像処理制御情報ＣＩとを含む画像ファイルを生成することができるからである。
【００６６】
なお、画像データと出力装置制御情報ＣＩとが含まれる画像ファイルＧＦには、画像処理制御情報ＣＩとを関連付ける関連付けデータを生成し、画像データと画像処理制御情報ＣＩとをそれぞれ独立したファイルに格納し、画像処理の際に関連付けデータを参照して画像データと画像処理制御情報ＣＩとを関連付け可能なファイルも含まれる。かかる場合には、画像データと画像処理制御情報ＣＩとが別ファイルに格納されているものの、画像処理制御情報ＣＩを利用する画像処理の時点では、画像データおよび画像処理制御情報ＣＩとが一体不可分の関係にあり、実質的に同一のファイルに格納されている場合と同様に機能するからである。すなわち、少なくとも画像処理の時点において、画像データと画像処理制御情報ＣＩとが関連付けられて用いられる態様は、本実施例における画像ファイルＧＦに含まれる。さらに、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ等の光ディスクメディアに格納されている動画像ファイルも含まれる。
【図面の簡単な説明】
【図１】本実施例に係る画像処理装置および撮像装置を含む画像処理システムの一例を示す説明図である。
【図２】本実施例に従うディジタルスチルカメラ２０の概略構成を模式的に示すブロック図である。
【図３】 Exifファイルフォーマットに従う、本実施例にて生成される画像ファイルの内部構成の一例を概念的に示す説明図である。
【図４】本実施例に従うパーソナルコンピュータ３０の概略構成を模式的に示すブロック図である。
【図５】本実施例に従うカラープリンタ４０の概略構成を模式的に示すブロック図である。
【図６】本実施例に従うディジタルスチルカメラ２０にて実行される画像ファイル生成処理の処理ルーチンを示すフローチャートである。
【図７】本実施例に従うパーソナルコンピュータ３０によって実行される画像処理制御の処理ルーチンを示すフローチャートである。
【図８】図７における画像処理制御情報に基づく画像処理に際して実行される処理ルーチンを示すフローチャートである。
【図９】図８におけるフォーカス位置情報を用いた画質調整処理に際して実行される処理ルーチンを示すフローチャートである。
【図１０】重点領域座標からの各領域の中心座標までの距離と、各領域の利用・非利用の判定に用いられるしきい値との関係を示す説明図である。
【図１１】重点領域座標からの各領域の中心座標までの距離と重み付けＷとの関係を示す説明図である。
【符号の説明】
１０…画像処理システム
２０…ディジタルスチルカメラ
２１…光学回路
２２…画像取得回路
２３…画像処理回路
２４…制御回路
２５…選択・決定ボタン
３０…パーソナルコンピュータ
３１…表示装置
３２…入力装置
３３…カードスロット
３４…入出力端子
３００…ＣＰＵ
３０１…ＲＡＭ
４０…カラープリンタ
４１…印刷部
４２…スロット
４３…制御装置
４３０…ＣＰＵ
４３１…ＲＯＭ
４３２…ランダムアクセスメモリ
１１１…ＪＰＥＧ画像データ格納領域
１１２…付属情報格納領域
１１３…制御情報格納領域
ＧＦ…画像ファイル（Exifファイル）
ＣＶ…接続ケーブル
ＭＣ…メモリカード

Claims

画像処理装置であって、
画像データと、前記画像データに対応付けられているフォーカス位置情報とを取得する取得手段と、
前記取得された画像データに基づく画像を複数の領域に分割する分割手段と、
前記取得されたフォーカス位置情報を用いて、前記取得された画像データに基づく画像の重点領域を前記複数の領域の中から決定する重点領域決定手段と、
前記決定された重点領域を基準にして前記取得された画像データを解析し、解析結果に基づいて前記取得された画像データに対する画像処理を実行する画像処理手段であって、
前記決定された重点領域および前記決定された重点領域以外の複数の領域における領域画像特性値をそれぞれ取得する領域画像特性値取得手段と、
前記決定された重点領域の領域画像特性値を利用して、前記複数の領域を利用領域と非利用領域とに分ける領域区分手段と、
前記決定された重点領域の領域画像特性値と前記利用領域の領域画像特性値とを用いて、画像全体の画像特性値を生成する画像特性値生成手段とを備え、
前記生成された画像特性値を用いて前記取得された画像データに対する画像処理を実行する画像処理手段を備える、画像処理装置。
請求項１に記載の画像処理装置において、
前記取得手段は、前記フォーカス位置情報および前記画像データを有する画像ファイルから前記フォーカス位置情報および前記画像データを取得する、画像処理装置。
請求項１に記載の画像処理装置において、
前記領域区分手段は、前記決定された重点領域の領域画像特性値と前記複数の領域の領域画像特性値との絶対差に基づいて前記利用領域と前記非利用領域とに分ける画像処理装置。
請求項３に記載の画像処理装置において、
前記決定された重点領域の領域画像特性値と前記複数の領域の領域画像特性値との絶対差に基づく領域区分は、前記決定された重点領域の領域画像特性値と前記複数の領域の領域画像特性値との絶対差が、所定値以上の場合には前記複数の領域を非利用領域に区分し、所定値未満の場合には、その一般領域を利用領域に区分することによって実行される画像処理装置。
請求項４に記載の画像処理装置において、
前記所定値は、前記決定された重点領域と前記各複数の領域との距離に応じて異なる画像処理装置。
請求項１ないし請求項５のいずれかに記載の画像処理装置において、
前記画像処理は、前記生成された画像特性値と既定の画像処理基準値との絶対差を低減する処理である画像処理装置。
請求項６に記載の画像処理装置において、
撮影シーンを画像処理に反映させるシーン指定情報を取得するシーン指定情報取得手段を備え、
前記取得されたシーン指定情報を反映して、前記生成された画像特性値と前記画像処理基準値との絶対差を低減するように前記画像処理が実行される画像処理装置。