JP3428589B2 - 画像処理プログラムが格納された記録媒体、画像処理プログラム、画像処理装置 - Google Patents
画像処理プログラムが格納された記録媒体、画像処理プログラム、画像処理装置Info
- Publication number
- JP3428589B2 JP3428589B2 JP2001100063A JP2001100063A JP3428589B2 JP 3428589 B2 JP3428589 B2 JP 3428589B2 JP 2001100063 A JP2001100063 A JP 2001100063A JP 2001100063 A JP2001100063 A JP 2001100063A JP 3428589 B2 JP3428589 B2 JP 3428589B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- processing
- data
- recording medium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000012545 processing Methods 0.000 title claims description 152
- 238000012937 correction Methods 0.000 claims description 83
- 238000000034 method Methods 0.000 claims description 77
- 239000002131 composite material Substances 0.000 claims description 28
- 238000010586 diagram Methods 0.000 description 13
- 230000002194 synthesizing effect Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【0001】
【発明の属する技術分野】本発明は、複数の画像を合成
することにより、高解像度の画像、階調幅を広げた画像
等を生成する画像処理ソフトウェアの処理技術に関す
る。
することにより、高解像度の画像、階調幅を広げた画像
等を生成する画像処理ソフトウェアの処理技術に関す
る。
【0002】
【従来の技術】デジタルカメラなどの画像撮影装置によ
って複数回に渡り静止画を撮影し、撮影された複数の画
像データを合成することにより、高画質の画像を生成す
る従来技術が存在する。
って複数回に渡り静止画を撮影し、撮影された複数の画
像データを合成することにより、高画質の画像を生成す
る従来技術が存在する。
【0003】(1)特開平9−261526において
は、ブレの影響が出ない程度にシャッタースピードを短
く設定し、連続して撮影した複数枚の画像をブレ量に応
じて加算合成することにより、ブレ補正を行う技術が開
示されている。
は、ブレの影響が出ない程度にシャッタースピードを短
く設定し、連続して撮影した複数枚の画像をブレ量に応
じて加算合成することにより、ブレ補正を行う技術が開
示されている。
【0004】(2)特開平10−108057において
は、合焦位置を変更した複数回の撮影によって得られた
複数の画像データを合成することにより、距離の異なる
被写体全てにピントの合った画像データを生成する技術
が開示されている。
は、合焦位置を変更した複数回の撮影によって得られた
複数の画像データを合成することにより、距離の異なる
被写体全てにピントの合った画像データを生成する技術
が開示されている。
【0005】(3)特公平8−17456においては、
奇数フィールドと偶数フィールドとで露出時間を変えて
撮影し、両者のうち、つぶれていない部分を合成するこ
とにより、実質的にダイナミックレンジを広げた画像デ
ータを生成する技術が開示されている。
奇数フィールドと偶数フィールドとで露出時間を変えて
撮影し、両者のうち、つぶれていない部分を合成するこ
とにより、実質的にダイナミックレンジを広げた画像デ
ータを生成する技術が開示されている。
【0006】(4)特許第2635917においては、
撮像素子を移動させて撮影した4ポジションの画像デー
タから1枚の静止画像を作成することにより、画像の高
解像度化を図る技術が開示されている。
撮像素子を移動させて撮影した4ポジションの画像デー
タから1枚の静止画像を作成することにより、画像の高
解像度化を図る技術が開示されている。
【0007】さらに、上記の例に留まらず、複数の静止
画を合成することにより様々な映像効果を引き出す技
術、画質の改善を可能とした技術が実施されている。
画を合成することにより様々な映像効果を引き出す技
術、画質の改善を可能とした技術が実施されている。
【0008】
【発明が解決しようとする課題】このような複数画像の
合成処理により、様々な映像効果を得ることや、画質を
改善することが可能となるが、これらは、合成対象であ
る画像データの階調特性に直線性が確保されていること
が前提となっている。
合成処理により、様々な映像効果を得ることや、画質を
改善することが可能となるが、これらは、合成対象であ
る画像データの階調特性に直線性が確保されていること
が前提となっている。
【0009】ここで、CCDやCMOSセンサ等の半導
体撮像素子は、入出力特性の直線性が優れていることが
知られている。したがって、CCDからの出力データを
そのまま利用して合成処理を行う画像合成システムにお
いては問題はない。
体撮像素子は、入出力特性の直線性が優れていることが
知られている。したがって、CCDからの出力データを
そのまま利用して合成処理を行う画像合成システムにお
いては問題はない。
【0010】これに対し、一般のデジタルカメラにおい
ては、CCDからの出力データであるアナログ信号をA
/D変換した後、パソコンモニタの表示特性に合わせた
γ補正を行っている。つまり、デジタルカメラから出力
される画像ファイルは、γ補正処理が施された後に、T
IFFないしJPEG形式で出力されたファイルであ
る。
ては、CCDからの出力データであるアナログ信号をA
/D変換した後、パソコンモニタの表示特性に合わせた
γ補正を行っている。つまり、デジタルカメラから出力
される画像ファイルは、γ補正処理が施された後に、T
IFFないしJPEG形式で出力されたファイルであ
る。
【0011】このようにしてデジタルカメラから出力さ
れた画像ファイルは、パソコンモニタを通して見る限り
においては、入出力特性の直線性は問題ない。しかし、
ファイルとして記録されている画像データの入出力特性
は非線形になっている。
れた画像ファイルは、パソコンモニタを通して見る限り
においては、入出力特性の直線性は問題ない。しかし、
ファイルとして記録されている画像データの入出力特性
は非線形になっている。
【0012】従って、一般のデジタルカメラで撮影され
た画像データを利用して、加算処理を行うことは本来で
きないし、無理に多重合成処理を行った場合には、出力
画像データの階調特性は狂ってしまう結果となる。
た画像データを利用して、加算処理を行うことは本来で
きないし、無理に多重合成処理を行った場合には、出力
画像データの階調特性は狂ってしまう結果となる。
【0013】そこで、本発明は上記問題点に鑑み、デジ
タルカメラから出力された画像ファイルに対して、画質
の劣化を招くことなく、パソコン上で加算処理を行うこ
とを可能としたソフトウェアを提供することを目的とす
る。
タルカメラから出力された画像ファイルに対して、画質
の劣化を招くことなく、パソコン上で加算処理を行うこ
とを可能としたソフトウェアを提供することを目的とす
る。
【0014】
【課題を解決するための手段】上記課題を解決するた
め、請求項1の発明は、画像処理を行うプログラムが記
録され、ソフトウェアによって動作可能なデータ処理装
置によって読み取り可能な記録媒体であって、前記プロ
グラムは前記データ処理装置に、a)γ補正が施された複
数の元画像データを指定して読み込む工程と、b)読み込
んだ各元画像データに対して逆γ補正処理を行い、それ
ぞれ線形画像データを出力する工程と、c)前記工程b)に
おいて出力された複数の線形画像データ間で演算処理を
行い、合成画像データを出力する工程とを実行させるこ
とを特徴とする。
め、請求項1の発明は、画像処理を行うプログラムが記
録され、ソフトウェアによって動作可能なデータ処理装
置によって読み取り可能な記録媒体であって、前記プロ
グラムは前記データ処理装置に、a)γ補正が施された複
数の元画像データを指定して読み込む工程と、b)読み込
んだ各元画像データに対して逆γ補正処理を行い、それ
ぞれ線形画像データを出力する工程と、c)前記工程b)に
おいて出力された複数の線形画像データ間で演算処理を
行い、合成画像データを出力する工程とを実行させるこ
とを特徴とする。
【0015】請求項2の発明は、請求項1に記載の記録
媒体であって、前記プログラムは前記データ処理装置
に、さらに、d)前記工程c)において出力された合成画像
データに対してγ補正を行い、モニタ表示特性にあわせ
た画像データを出力する工程を実行させることを特徴と
する。
媒体であって、前記プログラムは前記データ処理装置
に、さらに、d)前記工程c)において出力された合成画像
データに対してγ補正を行い、モニタ表示特性にあわせ
た画像データを出力する工程を実行させることを特徴と
する。
【0016】請求項3の発明は、請求項1または請求項
2に記載の記録媒体であって、前記工程c)は、c-1)複数
の線形画像データ間のマッチング処理を行う工程を含む
ことを特徴とする。
2に記載の記録媒体であって、前記工程c)は、c-1)複数
の線形画像データ間のマッチング処理を行う工程を含む
ことを特徴とする。
【0017】請求項4の発明は、請求項1ないし請求項
3のいずれかに記載の記録媒体であって、前記逆γ補正
処理は、出力する前記線形画像データの階調ビット数
を、読み込んだ前記元画像データよりも増加させる処理
を含むことを特徴とする。
3のいずれかに記載の記録媒体であって、前記逆γ補正
処理は、出力する前記線形画像データの階調ビット数
を、読み込んだ前記元画像データよりも増加させる処理
を含むことを特徴とする。
【0018】請求項5の発明は、請求項1ないし請求項
4のいずれかに記載の記録媒体であって、前記プログラ
ムは前記データ処理装置に、さらに、e)前記工程b)で出
力された各線形画像データに対して画素の補間処理を行
う工程を含むことを特徴とする。
4のいずれかに記載の記録媒体であって、前記プログラ
ムは前記データ処理装置に、さらに、e)前記工程b)で出
力された各線形画像データに対して画素の補間処理を行
う工程を含むことを特徴とする。
【0019】請求項6の発明は、請求項1ないし請求項
5のいずれかに記載の記録媒体であって、前記工程b)
は、b-1)前記元画像データのタグ情報から前記元画像デ
ータのγ補正設定情報を読み込む工程と、b-2)読み込ん
だ前記γ補正設定情報に基づいて、逆γ補正の設定値を
算出する工程とを含むことを特徴とする。
5のいずれかに記載の記録媒体であって、前記工程b)
は、b-1)前記元画像データのタグ情報から前記元画像デ
ータのγ補正設定情報を読み込む工程と、b-2)読み込ん
だ前記γ補正設定情報に基づいて、逆γ補正の設定値を
算出する工程とを含むことを特徴とする。
【0020】請求項7の発明は、請求項6に記載の記録
媒体であって、前記工程b)は、b-3)前記工程b-1)におい
て、前記タグ情報から前記γ補正設定情報を読み込むこ
とができない場合、当該元画像データのγ補正設定情報
としてデフォルト設定情報を割り当てる工程を含むこと
を特徴とする。
媒体であって、前記工程b)は、b-3)前記工程b-1)におい
て、前記タグ情報から前記γ補正設定情報を読み込むこ
とができない場合、当該元画像データのγ補正設定情報
としてデフォルト設定情報を割り当てる工程を含むこと
を特徴とする。
【0021】請求項8の発明は、ソフトウェアによって
動作可能なデータ処理装置にインストールされることに
より、前記データ処理装置のハードウェア資源を利用し
て画像処理を実行するプログラムであって、前記プログ
ラムは前記データ処理装置に、a)γ補正が施された複数
の元画像データを読み込む工程と、b)各元画像データに
逆γ補正処理を行うことにより、それぞれ線形画像デー
タを出力する工程と、c)前記工程b)において出力された
複数の線形画像データ間で加算を含む画像処理を行い、
合成画像データを出力する工程とを実行させることを特
徴とする。
動作可能なデータ処理装置にインストールされることに
より、前記データ処理装置のハードウェア資源を利用し
て画像処理を実行するプログラムであって、前記プログ
ラムは前記データ処理装置に、a)γ補正が施された複数
の元画像データを読み込む工程と、b)各元画像データに
逆γ補正処理を行うことにより、それぞれ線形画像デー
タを出力する工程と、c)前記工程b)において出力された
複数の線形画像データ間で加算を含む画像処理を行い、
合成画像データを出力する工程とを実行させることを特
徴とする。
【0022】請求項9の発明は、画像処理装置であっ
て、γ補正が施された元画像データを蓄積する記憶手段
と、前記記憶手段から複数の元画像データを指定して読
み込む画像指定手段と、前記画像指定手段が読み込んだ
各元画像データに逆γ補正処理を行うことにより、それ
ぞれ線形画像データを出力する線形データ生成手段と、
前記線形データ生成手段が出力した複数の線形画像デー
タ間で加算を含む画像処理を行い、合成画像データを出
力する合成データ生成手段とを備えることを特徴とす
る。
て、γ補正が施された元画像データを蓄積する記憶手段
と、前記記憶手段から複数の元画像データを指定して読
み込む画像指定手段と、前記画像指定手段が読み込んだ
各元画像データに逆γ補正処理を行うことにより、それ
ぞれ線形画像データを出力する線形データ生成手段と、
前記線形データ生成手段が出力した複数の線形画像デー
タ間で加算を含む画像処理を行い、合成画像データを出
力する合成データ生成手段とを備えることを特徴とす
る。
【0023】
【発明の実施の形態】以下、図面を参照しつつ本発明の
実施の形態について説明する。
実施の形態について説明する。
【0024】図1は、デジタルカメラ1、および、デジ
タルカメラ1で撮影した画像データに対して画像処理を
行うデータ処理装置としてのパーソナルコンピュータ
(以下、パソコンと略す)2を示している。
タルカメラ1で撮影した画像データに対して画像処理を
行うデータ処理装置としてのパーソナルコンピュータ
(以下、パソコンと略す)2を示している。
【0025】デジタルカメラ1で撮影された画像データ
は、たとえば、メモリカード11に記録される。オペレ
ータは、画像データの記録されたメモリカード11をデ
ジタルカメラ1から抜き出し、パソコン2に装備された
カードスロット25に挿入する。そして、パソコン2上
で動作する画像ソフトウェア等によって、デジタルカメ
ラ1で撮影した画像を閲覧することが可能である。ま
た、画像処理ソフトウェアを利用することによって、撮
影した画像に画像処理を施すことが可能である。
は、たとえば、メモリカード11に記録される。オペレ
ータは、画像データの記録されたメモリカード11をデ
ジタルカメラ1から抜き出し、パソコン2に装備された
カードスロット25に挿入する。そして、パソコン2上
で動作する画像ソフトウェア等によって、デジタルカメ
ラ1で撮影した画像を閲覧することが可能である。ま
た、画像処理ソフトウェアを利用することによって、撮
影した画像に画像処理を施すことが可能である。
【0026】デジタルカメラ1で撮影した画像データ
は、また、USBケーブル等を利用してパソコン2側に
転送するようにしてもよい。パソコン2に取り込まれた
画像は、ディスプレイ23において確認することや、画
像ソフトウェアを利用して、プリンタ30に出力するこ
とが可能である。
は、また、USBケーブル等を利用してパソコン2側に
転送するようにしてもよい。パソコン2に取り込まれた
画像は、ディスプレイ23において確認することや、画
像ソフトウェアを利用して、プリンタ30に出力するこ
とが可能である。
【0027】{1.複数回撮影により生成された画像デ
ータ} <1−1 画像処理モード>デジタルカメラ1は、出力
した画像ファイルに対して様々な画像処理を施すことを
前提としたいくつかの撮影モード(以下、画像処理モー
ドと呼ぶ)を有している。
ータ} <1−1 画像処理モード>デジタルカメラ1は、出力
した画像ファイルに対して様々な画像処理を施すことを
前提としたいくつかの撮影モード(以下、画像処理モー
ドと呼ぶ)を有している。
【0028】画像処理モードは、レリーズ時に撮影条件
を変えて、もしくは、撮影条件をそのままで、被写体を
連続して複数回撮影し、その撮影によって得られた複数
枚の撮影画像をそれぞれメモリカード11に記録するモ
ードである。
を変えて、もしくは、撮影条件をそのままで、被写体を
連続して複数回撮影し、その撮影によって得られた複数
枚の撮影画像をそれぞれメモリカード11に記録するモ
ードである。
【0029】このモードで連続して撮影された複数枚の
撮影画像は、パソコン2等の画像処理装置で所定の画像
処理が施され、合成して元の撮影画像よりも画質や映像
効果の高い画像を生成するために用いられる。
撮影画像は、パソコン2等の画像処理装置で所定の画像
処理が施され、合成して元の撮影画像よりも画質や映像
効果の高い画像を生成するために用いられる。
【0030】本実施の形態におけるデジタルカメラ1
は、画像処理モードとして、「ボケ味調整モード」、
「階調調整モード」、「超解像モード」などを有してい
る。以下、3つの画像処理モードについて概略を説明す
るが、ここでは、簡単のため、2つの撮影画像A,Bか
ら1つの合成画像データを生成する場合を例として説明
する。
は、画像処理モードとして、「ボケ味調整モード」、
「階調調整モード」、「超解像モード」などを有してい
る。以下、3つの画像処理モードについて概略を説明す
るが、ここでは、簡単のため、2つの撮影画像A,Bか
ら1つの合成画像データを生成する場合を例として説明
する。
【0031】「ボケ味調整モード」とは、1回のシャッ
タ操作で合焦位置を変化させて連続して2回の撮影動作
を行い、主被写体(たとえば人物など)に対して焦点を
合わせた撮影画像Aと、主被写体の背景に焦点を合わせ
た撮影画像Bとを得る撮影モードである。後の画像処理
において、これら撮影画像A,Bを合成することにより
所望のボケ具合を有する画像を得ることが可能である。
タ操作で合焦位置を変化させて連続して2回の撮影動作
を行い、主被写体(たとえば人物など)に対して焦点を
合わせた撮影画像Aと、主被写体の背景に焦点を合わせ
た撮影画像Bとを得る撮影モードである。後の画像処理
において、これら撮影画像A,Bを合成することにより
所望のボケ具合を有する画像を得ることが可能である。
【0032】「階調調整モード」とは、1回のシャッタ
操作で露光条件を変化させて連続して2回の撮影動作を
行い、主被写体に対して露出を合わせた撮影画像Aと、
主被写体の背景に露出を合わせた撮影画像Bとを得る撮
影モードである。後の画像処理において、これら撮影画
像A,Bを合成することにより、たとえば、画面全体に
適正な濃度分布を有する画像や主被写体と背景とのコン
トラストを意図的に大きくし、創作性の強い画像を得る
ことが可能である。
操作で露光条件を変化させて連続して2回の撮影動作を
行い、主被写体に対して露出を合わせた撮影画像Aと、
主被写体の背景に露出を合わせた撮影画像Bとを得る撮
影モードである。後の画像処理において、これら撮影画
像A,Bを合成することにより、たとえば、画面全体に
適正な濃度分布を有する画像や主被写体と背景とのコン
トラストを意図的に大きくし、創作性の強い画像を得る
ことが可能である。
【0033】「超解像モード」とは、1回のシャッタ操
作でピントや露出条件を変えないで連続して最低2回の
撮影動作を行い、A回目の撮影とB回目の撮影との間で
僅かに異なるカメラアングルの相違により画面内の主被
写体の位置が微小変化した撮影画像Aと撮影画像Bとを
得る撮影モードである。主被写体に対する撮影位置が互
いに微小変化した撮影画像A,Bとを合成することによ
り、元の撮影画像よりも解像度の高い画像を得ることが
可能である。
作でピントや露出条件を変えないで連続して最低2回の
撮影動作を行い、A回目の撮影とB回目の撮影との間で
僅かに異なるカメラアングルの相違により画面内の主被
写体の位置が微小変化した撮影画像Aと撮影画像Bとを
得る撮影モードである。主被写体に対する撮影位置が互
いに微小変化した撮影画像A,Bとを合成することによ
り、元の撮影画像よりも解像度の高い画像を得ることが
可能である。
【0034】<1−2 保存形態>デジタルカメラ1で
撮影された画像データは、メモリカード11に記録され
る。通常の撮影モードにおいては、メモリカード11に
は、JPEG等の圧縮処理が施された撮影画像のデータ
と、この画像データから作成されたサムネイル画像のデ
ータと、撮影画像に関する情報が記述されたタグ情報と
が、たとえばEXIF(Exchangeable Image File Form
at)形式の画像ファイルとして記録される。
撮影された画像データは、メモリカード11に記録され
る。通常の撮影モードにおいては、メモリカード11に
は、JPEG等の圧縮処理が施された撮影画像のデータ
と、この画像データから作成されたサムネイル画像のデ
ータと、撮影画像に関する情報が記述されたタグ情報と
が、たとえばEXIF(Exchangeable Image File Form
at)形式の画像ファイルとして記録される。
【0035】図2は、メモリカード11に記録された画
像ファイルの記録方式を示している。画像ファイルは、
タグ情報を格納する付加情報エリア51、撮影画像のデ
ータを格納する実画像エリア52、サムネイル画像のデ
ータを格納するサムネイル画像エリア53とに区分され
ている。
像ファイルの記録方式を示している。画像ファイルは、
タグ情報を格納する付加情報エリア51、撮影画像のデ
ータを格納する実画像エリア52、サムネイル画像のデ
ータを格納するサムネイル画像エリア53とに区分され
ている。
【0036】上述した画像処理モードで撮影された撮影
画像A,Bについても基本的には、同様の方式でメモリ
カード11に記録される。ただし、実画像エリア52に
は、撮影画像が非圧縮のTIFF(Tag Image File For
mat)形式の画像データとして記録される。これは、撮
影画像A,Bは画像合成によって画質を改善するための
ものであるから、画質の低下要因となる非可逆圧縮処理
は行わないためである。
画像A,Bについても基本的には、同様の方式でメモリ
カード11に記録される。ただし、実画像エリア52に
は、撮影画像が非圧縮のTIFF(Tag Image File For
mat)形式の画像データとして記録される。これは、撮
影画像A,Bは画像合成によって画質を改善するための
ものであるから、画質の低下要因となる非可逆圧縮処理
は行わないためである。
【0037】また、撮影画像A,Bはボケ味や階調や解
像度などの優れた画像を形成するために用いられるの
で、各画像ファイルのタグ情報には画像合成用の撮影画
像であることが認識できる情報が含まれている。なお、
撮影画像A,Bともサムネイル画像が記録される。
像度などの優れた画像を形成するために用いられるの
で、各画像ファイルのタグ情報には画像合成用の撮影画
像であることが認識できる情報が含まれている。なお、
撮影画像A,Bともサムネイル画像が記録される。
【0038】タグ情報には、撮影焦点距離や撮影Fナン
バーなどの撮影条件についての情報や、想定γ値が記録
されている。想定γ値は、その画像ファイルが表示され
ると想定されているモニタの表示特性である。たとえ
ば、パソコン等のディスプレイを想定している場合に
は、γ値は2.2と想定し、それに対応したγ補正が施
されていることになる。
バーなどの撮影条件についての情報や、想定γ値が記録
されている。想定γ値は、その画像ファイルが表示され
ると想定されているモニタの表示特性である。たとえ
ば、パソコン等のディスプレイを想定している場合に
は、γ値は2.2と想定し、それに対応したγ補正が施
されていることになる。
【0039】図3は、メモリカード11に記録された各
画像ファイルの保存形態を示している。撮影画像A,B
は、パソコン2において合成処理を行うために、それら
の組み合わせが明確となるように保存されていることが
望ましい。そこで、これら撮影画像A,Bは同一のフォ
ルダ内に保存するようにしている。図に示すfolder11
は、合成処理の対象となる1群の画像ファイルを保存し
ているフォルダである。ここでは、合成処理の対象とな
る撮影画像のファイルがP000001.tif〜P000010.tifまで
10ファイルが存在していることを示している。これら
各画像ファイルは前述の如く、非圧縮の撮影画像データ
と、サムネイル画像データと、タグ情報とが図2に示す
保存方式で記録されている。
画像ファイルの保存形態を示している。撮影画像A,B
は、パソコン2において合成処理を行うために、それら
の組み合わせが明確となるように保存されていることが
望ましい。そこで、これら撮影画像A,Bは同一のフォ
ルダ内に保存するようにしている。図に示すfolder11
は、合成処理の対象となる1群の画像ファイルを保存し
ているフォルダである。ここでは、合成処理の対象とな
る撮影画像のファイルがP000001.tif〜P000010.tifまで
10ファイルが存在していることを示している。これら
各画像ファイルは前述の如く、非圧縮の撮影画像データ
と、サムネイル画像データと、タグ情報とが図2に示す
保存方式で記録されている。
【0040】{2.γ補正と線形性}パソコン等のディ
スプレイの表示特性は、一般に非線形である。たとえ
ば、図4に示すように、入力画像データの輝度値と、表
示画像の輝度値との間の関係は、γ=2.2の非線形特
性をもっている。
スプレイの表示特性は、一般に非線形である。たとえ
ば、図4に示すように、入力画像データの輝度値と、表
示画像の輝度値との間の関係は、γ=2.2の非線形特
性をもっている。
【0041】したがって、ディスプレイ上で画像ファイ
ルを正しい色で表示させるためには、画像入力装置は、
ディスプレイの表示特性を考慮したγ補正を行ったうえ
で画像ファイルを出力する必要がある。このため、画像
入力装置においては、図5に示すように,入力した画像
にγ補正をかけて出力するようにしている。つまり、デ
ジタルカメラ1から出力された画像ファイルは、全てγ
補正処理がかけられたデータである。
ルを正しい色で表示させるためには、画像入力装置は、
ディスプレイの表示特性を考慮したγ補正を行ったうえ
で画像ファイルを出力する必要がある。このため、画像
入力装置においては、図5に示すように,入力した画像
にγ補正をかけて出力するようにしている。つまり、デ
ジタルカメラ1から出力された画像ファイルは、全てγ
補正処理がかけられたデータである。
【0042】しかし、このγ補正がかけられたデータ
は、ディスプレイに表示させた際の入出力特性の線形性
を確保するものであり、データ自体には線形性が保たれ
ていない。このようなγ補正がかけられた画像データを
用いて、合成処理を行った場合には、階調特性が狂うこ
ととなる。
は、ディスプレイに表示させた際の入出力特性の線形性
を確保するものであり、データ自体には線形性が保たれ
ていない。このようなγ補正がかけられた画像データを
用いて、合成処理を行った場合には、階調特性が狂うこ
ととなる。
【0043】そこで、本実施の形態における画像処理装
置においては、以下に示すように、階調特性を正常に保
ちながら、合成処理を行うことを可能とするものであ
る。
置においては、以下に示すように、階調特性を正常に保
ちながら、合成処理を行うことを可能とするものであ
る。
【0044】{3.画像処理装置の構成}次に、画像処
理装置の構成について説明する。本実施の形態において
は、画像処理装置は、パソコン2と、パソコン2にイン
ストールされた画像処理プログラム65などにより構成
されている。
理装置の構成について説明する。本実施の形態において
は、画像処理装置は、パソコン2と、パソコン2にイン
ストールされた画像処理プログラム65などにより構成
されている。
【0045】図1および図6に示すように、パソコン2
には、マウス221、キーボード222等からなる操作
部22と、ディスプレイ23が接続されている。パソコ
ン2の本体は、CPU213、メモリ215、ビデオド
ライバ216、ハードディスク24等を備えており、ハ
ードディスク24内には、画像処理プログラム65が保
存されている。また、ビデオドライバ216を制御する
ことにより、画像ファイルなどをディスプレイ23に表
示する。
には、マウス221、キーボード222等からなる操作
部22と、ディスプレイ23が接続されている。パソコ
ン2の本体は、CPU213、メモリ215、ビデオド
ライバ216、ハードディスク24等を備えており、ハ
ードディスク24内には、画像処理プログラム65が保
存されている。また、ビデオドライバ216を制御する
ことにより、画像ファイルなどをディスプレイ23に表
示する。
【0046】また、パソコン2には、外部とのインタフ
ェースとして、カードIF211、通信IF214を備
えている。CPU213上で動作するプログラムは、カ
ードIF211を介してメモリカード11内のデータを
読み取ることが可能であり、通信IF214を介して外
部と通信可能としている。通信IF214は、USBイ
ンタフェースやLANインタフェースなどを含んでい
る。
ェースとして、カードIF211、通信IF214を備
えている。CPU213上で動作するプログラムは、カ
ードIF211を介してメモリカード11内のデータを
読み取ることが可能であり、通信IF214を介して外
部と通信可能としている。通信IF214は、USBイ
ンタフェースやLANインタフェースなどを含んでい
る。
【0047】また、パソコン2は記録メディアドライブ
212を備えており、記録メディアドアライブ212に
挿入したCD−ROMもしくはDVD−ROM等のメデ
ィア12にアクセス可能である。
212を備えており、記録メディアドアライブ212に
挿入したCD−ROMもしくはDVD−ROM等のメデ
ィア12にアクセス可能である。
【0048】本実施の形態にかかる画像処理プログラム
65は、メディア12を媒体として提供されてもよい
し、通信IF214を介して、インターネットやLAN
上のサーバなどから供給されるようにしてもよい。
65は、メディア12を媒体として提供されてもよい
し、通信IF214を介して、インターネットやLAN
上のサーバなどから供給されるようにしてもよい。
【0049】{4.超解像度処理}
<4−1 ファイル選択による処理フロー>次に、画像
処理プログラム65の処理内容について図7から図15
までの図面を参照しながら説明する。以下の説明では、
合成処理の対象となる画像ファイルは、デジタルカメラ
1において「超解像モード」で撮影された画像ファイル
であり、画像処理プログラム65を実行させて、超解像
処理を行う場合を例として説明する。
処理プログラム65の処理内容について図7から図15
までの図面を参照しながら説明する。以下の説明では、
合成処理の対象となる画像ファイルは、デジタルカメラ
1において「超解像モード」で撮影された画像ファイル
であり、画像処理プログラム65を実行させて、超解像
処理を行う場合を例として説明する。
【0050】まず、図7および図8のフローチャートを
用いて超解像処理を説明する。オペレータは、操作部2
2を用いた所定の操作を行い、画像処理プログラム65
を起動させる。これにより、たとえば、ディスプレイ2
3には、画像処理メニューが表示される。画像処理メニ
ューには、「ボケ味調整処理」、「階調調整処理」、
「超解像処理」などの処理メニューが一覧表示されてい
る。さらに、オペレータが所定の操作を行い「超解像処
理」を選択することによって、図9に示すように、超解
像処理画面71がディスプレイ23に表示される。
用いて超解像処理を説明する。オペレータは、操作部2
2を用いた所定の操作を行い、画像処理プログラム65
を起動させる。これにより、たとえば、ディスプレイ2
3には、画像処理メニューが表示される。画像処理メニ
ューには、「ボケ味調整処理」、「階調調整処理」、
「超解像処理」などの処理メニューが一覧表示されてい
る。さらに、オペレータが所定の操作を行い「超解像処
理」を選択することによって、図9に示すように、超解
像処理画面71がディスプレイ23に表示される。
【0051】オペレータは、次に、ファイルボタン71
3を選択する。ボタンの選択は、たとえば、マウス22
1を操作してカーソル90をファイルボタン713上に
移動させたうえで、選択指示を出すことによって行われ
る。
3を選択する。ボタンの選択は、たとえば、マウス22
1を操作してカーソル90をファイルボタン713上に
移動させたうえで、選択指示を出すことによって行われ
る。
【0052】ファイルボタン713が選択されると、フ
ァイル指定画面72が表示される。ファイル指定画面7
2は、ハードディスク24内に蓄積されている元画像フ
ァイル60を指定する画面である。
ァイル指定画面72が表示される。ファイル指定画面7
2は、ハードディスク24内に蓄積されている元画像フ
ァイル60を指定する画面である。
【0053】ここで、元画像ファイル60とは、デジタ
ルカメラ1において画像処理モードで撮影された画像フ
ァイル(前述した撮影画像A,B等)である。デジタル
カメラ1で出力された元画像ファイル60は、前述のご
とく、メモリカード11や通信IF214を利用して、
ハードディスク24内に保存されている。
ルカメラ1において画像処理モードで撮影された画像フ
ァイル(前述した撮影画像A,B等)である。デジタル
カメラ1で出力された元画像ファイル60は、前述のご
とく、メモリカード11や通信IF214を利用して、
ハードディスク24内に保存されている。
【0054】オペレータが、元画像ファイル60が保存
されているフォルダ名を、フォルダ指定エリア721に
指定すると、ファイル表示エリア722には、指定した
フォルダ内のファイルが一覧表示される。ここでは、例
としてfolder11内の元画像ファイルP000001.tifとP0000
02.tifの2つのファイルに対する処理について示す。
されているフォルダ名を、フォルダ指定エリア721に
指定すると、ファイル表示エリア722には、指定した
フォルダ内のファイルが一覧表示される。ここでは、例
としてfolder11内の元画像ファイルP000001.tifとP0000
02.tifの2つのファイルに対する処理について示す。
【0055】オペレータは、マウス221等を操作する
ことにより、指定するファイル名を個別に指定したうえ
でOKボタン723を選択する。これにより、ファイル
指定操作が完了する。操作を中止するときには、キャン
セルボタン724を選択すればよい。
ことにより、指定するファイル名を個別に指定したうえ
でOKボタン723を選択する。これにより、ファイル
指定操作が完了する。操作を中止するときには、キャン
セルボタン724を選択すればよい。
【0056】オペレータがマウス221等を操作して、
これら2つの元画像ファイル60を指定すると、この指
定操作に応答して、指定された元画像ファイル60がハ
ードディスク24からメモリ215内に読み込まれる
(ステップS101)。ここでは、元画像ファイル60
A,60Bの2つの画像ファイルが指定されたものとす
る。
これら2つの元画像ファイル60を指定すると、この指
定操作に応答して、指定された元画像ファイル60がハ
ードディスク24からメモリ215内に読み込まれる
(ステップS101)。ここでは、元画像ファイル60
A,60Bの2つの画像ファイルが指定されたものとす
る。
【0057】これによって、各元画像ファイル60A,
60Bの各実画像エリア52に記録されている元画像デ
ータ61A,61B、各サムネイル画像エリア53に記
録されているサムネイル画像67A,67B、各タグ情
報エリア51に記録されているタグ情報68A,68B
がメモリ215に読み込まれる。なお、図6中、元画像
データ61A,61Bを元画像データ61として図示
し、サムネイル画像67A,67Bをサムネイル画像デ
ータ67として図示し、タグ情報68A,68Bをタグ
情報68として図示している。
60Bの各実画像エリア52に記録されている元画像デ
ータ61A,61B、各サムネイル画像エリア53に記
録されているサムネイル画像67A,67B、各タグ情
報エリア51に記録されているタグ情報68A,68B
がメモリ215に読み込まれる。なお、図6中、元画像
データ61A,61Bを元画像データ61として図示
し、サムネイル画像67A,67Bをサムネイル画像デ
ータ67として図示し、タグ情報68A,68Bをタグ
情報68として図示している。
【0058】次に、読み込んだサムネイル画像データ6
7A,67Bが、超解像処理画面71のサムネイル画像
表示エリア711,712に表示される(ステップS1
02)。図9は、2つのサムネイル画像データ67A,
68Bが表示された状態を示している。表示されている
画像は、実際には、わずかにアングルのことなる2枚の
画像である。
7A,67Bが、超解像処理画面71のサムネイル画像
表示エリア711,712に表示される(ステップS1
02)。図9は、2つのサムネイル画像データ67A,
68Bが表示された状態を示している。表示されている
画像は、実際には、わずかにアングルのことなる2枚の
画像である。
【0059】この状態で画像処理プログラム65は、超
解像処理の実行待機状態となる(ステップS103)。
そして、オペレータが、マウス221等を操作して、実
行ボタン715を選択すると、超解像処理の実行指示あ
りと判断し(ステップS103でYes)、1枚目の元画
像データ61Aが読み込まれ(ステップS104)、超
解像処理を開始する。
解像処理の実行待機状態となる(ステップS103)。
そして、オペレータが、マウス221等を操作して、実
行ボタン715を選択すると、超解像処理の実行指示あ
りと判断し(ステップS103でYes)、1枚目の元画
像データ61Aが読み込まれ(ステップS104)、超
解像処理を開始する。
【0060】なお、超解像処理の実行に先立って各種設
定操作を行うことが可能である。オペレータが、設定ボ
タン716を選択することによって、図11に示すよう
な設定画面73が表示される。後述するが、この画面に
おいて、γ値や補間倍率などの設定値を変更することが
可能である。
定操作を行うことが可能である。オペレータが、設定ボ
タン716を選択することによって、図11に示すよう
な設定画面73が表示される。後述するが、この画面に
おいて、γ値や補間倍率などの設定値を変更することが
可能である。
【0061】超解像処理の実行が開始すると、図12に
示すように、カーソル90が時計表示91に変化して実
行状態に推移したことを示すとともに、プログレスバー
92が表示されて、実行経過を視覚的に表示するように
している。なお、実行を中止したい場合には、中止ボタ
ン717を選択することによって、超解像処理を中止す
ることができる。
示すように、カーソル90が時計表示91に変化して実
行状態に推移したことを示すとともに、プログレスバー
92が表示されて、実行経過を視覚的に表示するように
している。なお、実行を中止したい場合には、中止ボタ
ン717を選択することによって、超解像処理を中止す
ることができる。
【0062】次に、元画像ファイル60Aのタグ情報6
8Aを参照し、γ設定値の記述があるか否かを判定する
(ステップS105)。ここで、γ設定値とは、図2で
示した想定γ値のことであり、元画像データ61Aが、
デジタルカメラ1で撮影された際に、どのようなγ補正
が施されたかを確定する情報となる。
8Aを参照し、γ設定値の記述があるか否かを判定する
(ステップS105)。ここで、γ設定値とは、図2で
示した想定γ値のことであり、元画像データ61Aが、
デジタルカメラ1で撮影された際に、どのようなγ補正
が施されたかを確定する情報となる。
【0063】元画像データ61Aのタグ情報に、想定γ
値が記録されている場合には(ステップS105でYe
s)、当該元画像データ61Aに対して、想定γ値と同
じγ値を用いた階調変換を行う(ステップS106)。
この処理を逆γ補正処理と呼ぶ。
値が記録されている場合には(ステップS105でYe
s)、当該元画像データ61Aに対して、想定γ値と同
じγ値を用いた階調変換を行う(ステップS106)。
この処理を逆γ補正処理と呼ぶ。
【0064】たとえば、想定γ値が2.2である場合に
は、デジタルカメラ1において、その画像データには、
γ=1/2.2=0.455のγ補正処理が行われてい
ることになる。したがって、このγ補正処理が行われて
いる画像データに対して、γ=2.2の逆γ補正処理を
行うことにより、画像データの線形性を確保するのであ
る。
は、デジタルカメラ1において、その画像データには、
γ=1/2.2=0.455のγ補正処理が行われてい
ることになる。したがって、このγ補正処理が行われて
いる画像データに対して、γ=2.2の逆γ補正処理を
行うことにより、画像データの線形性を確保するのであ
る。
【0065】また、逆γ補正処理は、入力画像データに
対して、出力画像データのビット数を増加させるように
している。たとえば、元画像データ61が8bitの画像
データである場合に、逆γ補正処理を行うことにより、
その出力される画像データは10bitの画像データとな
るように処理するのである。
対して、出力画像データのビット数を増加させるように
している。たとえば、元画像データ61が8bitの画像
データである場合に、逆γ補正処理を行うことにより、
その出力される画像データは10bitの画像データとな
るように処理するのである。
【0066】デジタルカメラで撮影された画像データ
は、デジタルカメラのCCDから、例えば10bitの画
像データとして出力される。そして、デジタルカメラに
おいては、さらに、10bitの画像データにγ補正を行
い8bitの画像データとして出力している。図17は、
横軸をγ補正前の入力データ、縦軸をγ補正後の出力デ
ータとした、γ関数を示すものである。つまり、入力デ
ータの最大輝度(1023)が、γ補正後の最大輝度
(255)となるようなγ補正が行われている。
は、デジタルカメラのCCDから、例えば10bitの画
像データとして出力される。そして、デジタルカメラに
おいては、さらに、10bitの画像データにγ補正を行
い8bitの画像データとして出力している。図17は、
横軸をγ補正前の入力データ、縦軸をγ補正後の出力デ
ータとした、γ関数を示すものである。つまり、入力デ
ータの最大輝度(1023)が、γ補正後の最大輝度
(255)となるようなγ補正が行われている。
【0067】したがって、逆γ補正処理においては、逆
に、図17の縦軸を逆γ補正前の入力データ、横軸をγ
補正後の出力データとするような変換が行われるのであ
る。
に、図17の縦軸を逆γ補正前の入力データ、横軸をγ
補正後の出力データとするような変換が行われるのであ
る。
【0068】8bitの画像データを10bitの画像データ
に変換することにより、変換直後には、使用されない階
調領域が存在することになる。しかし、後の合成処理に
よって、これら10bitの複数の画像データ間で画素値
の平均処理等がおこなわれた場合には、これら未使用の
階調領域が使用される場合が生じる。したがって、合成
画像を生成するうえでは有効な処理となるのである。以
下の説明において、逆γ補正処理は、すべて、階調のビ
ット数を増加させる処理となっている。
に変換することにより、変換直後には、使用されない階
調領域が存在することになる。しかし、後の合成処理に
よって、これら10bitの複数の画像データ間で画素値
の平均処理等がおこなわれた場合には、これら未使用の
階調領域が使用される場合が生じる。したがって、合成
画像を生成するうえでは有効な処理となるのである。以
下の説明において、逆γ補正処理は、すべて、階調のビ
ット数を増加させる処理となっている。
【0069】元画像データ61Aのタグ情報68Aに、
想定γ値が記録されていない場合には(ステップS10
5でNo)、デフォルトγ値を想定γ値とみなして逆γ補
正処理が行われる(ステップS107)。図11に示す
設定画面73における入力エリア731は、デフォルト
γ値の入力フォームであり、たとえば、図では、デフォ
ルトγ値=2.2に設定されていることを示している。
また、入力エリア732には、デフォルトγ値の設定値
に対して、どのようなγ補正が施されているかを示す値
が表示される。オペレータは、この入力エリア731に
数値を入力することでデフォルトγ値を任意に変更する
ことが可能である。デフォルトγ値を変更する場合に
は、所望の値を入力エリア731に入力したうえでOK
ボタン734を選択する。また、キャンセルする場合に
は、キャンセルボタン735を選択すればよい。
想定γ値が記録されていない場合には(ステップS10
5でNo)、デフォルトγ値を想定γ値とみなして逆γ補
正処理が行われる(ステップS107)。図11に示す
設定画面73における入力エリア731は、デフォルト
γ値の入力フォームであり、たとえば、図では、デフォ
ルトγ値=2.2に設定されていることを示している。
また、入力エリア732には、デフォルトγ値の設定値
に対して、どのようなγ補正が施されているかを示す値
が表示される。オペレータは、この入力エリア731に
数値を入力することでデフォルトγ値を任意に変更する
ことが可能である。デフォルトγ値を変更する場合に
は、所望の値を入力エリア731に入力したうえでOK
ボタン734を選択する。また、キャンセルする場合に
は、キャンセルボタン735を選択すればよい。
【0070】ステップS106もしくはステップS10
7において、逆γ補正処理が行われると、次に、1枚目
の元画像データ61Aに補間処理を行い、画像サイズを
元の画像サイズのn倍にする。
7において、逆γ補正処理が行われると、次に、1枚目
の元画像データ61Aに補間処理を行い、画像サイズを
元の画像サイズのn倍にする。
【0071】補間処理について説明する。超解像処理に
おいては、カメラアングルの僅かな相違により撮影位置
がわずかに変位した元画像データ61A,61Bを合成
することにより、解像度の高い画像を得る処理である。
おいては、カメラアングルの僅かな相違により撮影位置
がわずかに変位した元画像データ61A,61Bを合成
することにより、解像度の高い画像を得る処理である。
【0072】ここで、撮影位置がわずかに変位した元画
像データ61A,61Bを合成する際には、両画像デー
タの位置合わせをしたうえで、元画像データ61A,6
1Bを合成する必要がある。この位置合わせ処理におい
ては、元画像データ61A,61Bの解像度が高ければ
高い程、高い精度で位置合わせを行うことが可能であ
る。
像データ61A,61Bを合成する際には、両画像デー
タの位置合わせをしたうえで、元画像データ61A,6
1Bを合成する必要がある。この位置合わせ処理におい
ては、元画像データ61A,61Bの解像度が高ければ
高い程、高い精度で位置合わせを行うことが可能であ
る。
【0073】そこで、合成処理に先立って、元画像デー
タ61A,61Bについて補間処理を行い、各画像デー
タの解像度を高くしたうえで、位置合わせ処理を行うよ
うにしているのである。
タ61A,61Bについて補間処理を行い、各画像デー
タの解像度を高くしたうえで、位置合わせ処理を行うよ
うにしているのである。
【0074】補間処理は、キュービック・コンボリュー
ジョン法、クゥオドラティックスプライン法、インテグ
レーティング・リサンプラー法など周知の方式が存在
し、いずれの方式を採用するかは特に限定されない。ま
た、図11に示した設定画面73において、オペレータ
は、補間倍率を任意に設定することが可能である。オペ
レータは、キーボード222等を操作して補間倍率入力
エリア733内に数値を入力することによって、補間倍
率を設定することが可能である。図では、補間倍率入力
エリア733に補間倍率が4.0に設定されている状態
を示している。また、上述した各補間方法(キュービッ
ク・コンボリュージョン法等)を選択するようにしても
よい。
ジョン法、クゥオドラティックスプライン法、インテグ
レーティング・リサンプラー法など周知の方式が存在
し、いずれの方式を採用するかは特に限定されない。ま
た、図11に示した設定画面73において、オペレータ
は、補間倍率を任意に設定することが可能である。オペ
レータは、キーボード222等を操作して補間倍率入力
エリア733内に数値を入力することによって、補間倍
率を設定することが可能である。図では、補間倍率入力
エリア733に補間倍率が4.0に設定されている状態
を示している。また、上述した各補間方法(キュービッ
ク・コンボリュージョン法等)を選択するようにしても
よい。
【0075】再び、図7のフローチャートを参照して説
明する。ステップS108において、設定された補間倍
率(n倍)に従って画素データが補間されると、元画像
データ61Aは、線形画像データ62Aとしてメモリ2
15に書き込まれる。
明する。ステップS108において、設定された補間倍
率(n倍)に従って画素データが補間されると、元画像
データ61Aは、線形画像データ62Aとしてメモリ2
15に書き込まれる。
【0076】次に、2枚目の元画像データ61Bが読み
込まれる(ステップS109)。元画像データ61Bに
関しても、同様に、まず、タグ情報68B内に想定γ値
が設定されているか否かの判定を行い(ステップS11
0)、想定γ値が設定されている場合には、想定γ値に
基づいて逆γ補正処理を行う(ステップS111)。ま
た、想定γ値が設定されていない場合には、デフォルト
γ値による逆γ補正処理を行う(ステップS112)。
込まれる(ステップS109)。元画像データ61Bに
関しても、同様に、まず、タグ情報68B内に想定γ値
が設定されているか否かの判定を行い(ステップS11
0)、想定γ値が設定されている場合には、想定γ値に
基づいて逆γ補正処理を行う(ステップS111)。ま
た、想定γ値が設定されていない場合には、デフォルト
γ値による逆γ補正処理を行う(ステップS112)。
【0077】次に、元画像データ61Bに対しても、同
様に、補間処理を行い、画像サイズを元のサイズのn倍
にする(ステップS113)。ステップS108,S1
13の補間処理においては、元画像データ61A,61
Bは、ともに、各画素間にあらたな画素を補間すること
により、そのサイズは4倍になっているものとする。こ
のようにして、元画像データ61Bの画素データが補間
されると、メモリ215には、線形画像データ62Bと
して書き込まれる。なお、図中、線形画像データ62
A,62Bを線形画像データ62と総称して図示してい
る。
様に、補間処理を行い、画像サイズを元のサイズのn倍
にする(ステップS113)。ステップS108,S1
13の補間処理においては、元画像データ61A,61
Bは、ともに、各画素間にあらたな画素を補間すること
により、そのサイズは4倍になっているものとする。こ
のようにして、元画像データ61Bの画素データが補間
されると、メモリ215には、線形画像データ62Bと
して書き込まれる。なお、図中、線形画像データ62
A,62Bを線形画像データ62と総称して図示してい
る。
【0078】このようにして、逆γ補正処理が行われる
ことにより、線形性を有し、かつ、補間処理が施された
2つの線形画像データ62A,62Bがメモリ215に
書き込まれる。
ことにより、線形性を有し、かつ、補間処理が施された
2つの線形画像データ62A,62Bがメモリ215に
書き込まれる。
【0079】次に、図8に示すように、線形画像データ
62A,62Bとの位置合わせ(レジストレーション処
理)が行われる(ステップS114)。レジストレーシ
ョン処理は、合成対象となる両画像の位置のずれを決定
する処理である。
62A,62Bとの位置合わせ(レジストレーション処
理)が行われる(ステップS114)。レジストレーシ
ョン処理は、合成対象となる両画像の位置のずれを決定
する処理である。
【0080】ここで、図18を参照しながら、第1画像
F1と第2画像F2の位置合わせを行う方法について説
明する。位置合わせは、第2画像F2をX方向およびY
方向について平行移動させながら、数1の式で示す相関
係数C(ξ,η)が最小となる移動量を求めるものであ
る。
F1と第2画像F2の位置合わせを行う方法について説
明する。位置合わせは、第2画像F2をX方向およびY
方向について平行移動させながら、数1の式で示す相関
係数C(ξ,η)が最小となる移動量を求めるものであ
る。
【0081】
【数1】
【0082】数1式において、x,yは画像中心を原点
とする直角XY平面座標系における座標変数であり、P
1(x,y)は第1画像F1の座標位置(x,y)にお
ける画素データのレベルを表し、P2(x−ξ,y−
η)は第2画像F2の座標位置(xーξ,yーη)にお
ける画素データのレベルを表している。すなわち、数1
式で示す相関係数C(ξ,η)は、両画像の対応する画
素データのレベルの差を二乗し、その値を全画素データ
において総和したものである。そして、第2画像F2の
移動量となる(ξ,η)を変化させた時、相関係数Cが
最小となる(ξ,η)が、最も両画像の図柄がマッチン
グする第2画像F2の移動量となるわけである。
とする直角XY平面座標系における座標変数であり、P
1(x,y)は第1画像F1の座標位置(x,y)にお
ける画素データのレベルを表し、P2(x−ξ,y−
η)は第2画像F2の座標位置(xーξ,yーη)にお
ける画素データのレベルを表している。すなわち、数1
式で示す相関係数C(ξ,η)は、両画像の対応する画
素データのレベルの差を二乗し、その値を全画素データ
において総和したものである。そして、第2画像F2の
移動量となる(ξ,η)を変化させた時、相関係数Cが
最小となる(ξ,η)が、最も両画像の図柄がマッチン
グする第2画像F2の移動量となるわけである。
【0083】本実施の形態では、例えば第2画像F2の
X座標の移動量となるξを−80〜+80まで、Y座標
の移動量であるηを−60〜+60までそれぞれ変化さ
せて、相関係数Cが最小となる移動量(ξ,η)を(x
3,y3)として算出するようにしている。なお、X、
Yの移動量±80、±60は、画像サイズや想定される
ずれ量によって適宜設定すればよい。
X座標の移動量となるξを−80〜+80まで、Y座標
の移動量であるηを−60〜+60までそれぞれ変化さ
せて、相関係数Cが最小となる移動量(ξ,η)を(x
3,y3)として算出するようにしている。なお、X、
Yの移動量±80、±60は、画像サイズや想定される
ずれ量によって適宜設定すればよい。
【0084】また、この位置合わせ処理においては、人
間の視覚特性上解像度に与える影響の大きいGの色成分
のみを用いるようにしてもよい。このようにした場合、
人間の視覚特性上解像度に与える影響の小さいR,Bの
色成分については、Gの色成分で算出された移動量を利
用することで、位置合わせ処理の簡略化をすることがで
きる。
間の視覚特性上解像度に与える影響の大きいGの色成分
のみを用いるようにしてもよい。このようにした場合、
人間の視覚特性上解像度に与える影響の小さいR,Bの
色成分については、Gの色成分で算出された移動量を利
用することで、位置合わせ処理の簡略化をすることがで
きる。
【0085】そして、線形画像データ62Bを、ステッ
プS114で求めたずれ量に基づいて平行移動させて、
線形画像データ62Bと線形画像データ62Aの位置を
合わせる(ステップS115)。そして、平行移動を行
った後に両画像データの重ならない部分の画素データを
削除する。このようにして、画像の合成に必要にならな
い部分(図18のハッチングによって示した部分)の画
素データの削除を行い、正確な位置合わせが行われた、
合成に必要な画素データのみを取得することができる。
プS114で求めたずれ量に基づいて平行移動させて、
線形画像データ62Bと線形画像データ62Aの位置を
合わせる(ステップS115)。そして、平行移動を行
った後に両画像データの重ならない部分の画素データを
削除する。このようにして、画像の合成に必要にならな
い部分(図18のハッチングによって示した部分)の画
素データの削除を行い、正確な位置合わせが行われた、
合成に必要な画素データのみを取得することができる。
【0086】次に、線形画像データ62Aと線形画像デ
ータ62Bとを平均処理することにより、あらたな合成
画像データ63を生成する(ステップS116)。ここ
で、平均処理とは、位置合わせが行われた線形画像デー
タ62A,62Bの同一座標位置の各輝度値の平均をと
り、この平均輝度値を画素値とする新たな画像を生成す
る処理である。
ータ62Bとを平均処理することにより、あらたな合成
画像データ63を生成する(ステップS116)。ここ
で、平均処理とは、位置合わせが行われた線形画像デー
タ62A,62Bの同一座標位置の各輝度値の平均をと
り、この平均輝度値を画素値とする新たな画像を生成す
る処理である。
【0087】以上の処理によって、元画像ファイル60
A,60Bとから、1枚の合成画像データ63が生成さ
れる。この合成処理は、元画像データ61A,61Bと
を、逆γ補正処理することによって線形画像としたうえ
で合成しているため、階調特性に狂いが生じることはな
い。
A,60Bとから、1枚の合成画像データ63が生成さ
れる。この合成処理は、元画像データ61A,61Bと
を、逆γ補正処理することによって線形画像としたうえ
で合成しているため、階調特性に狂いが生じることはな
い。
【0088】次に、合成された画像をモニタに表示する
ことを考慮して、合成画像データ63にγ補正を施す
(ステップS117)。このγ補正処理は、元画像ファ
イル60のタグ情報68に含まれていた想定γ値に基づ
いて行われる。
ことを考慮して、合成画像データ63にγ補正を施す
(ステップS117)。このγ補正処理は、元画像ファ
イル60のタグ情報68に含まれていた想定γ値に基づ
いて行われる。
【0089】元画像ファイル60A(もしくは60B)
のタグ情報に含まれていた想定γ値が2.2である場
合、デジタルカメラ1において元画像データ60A,6
0Bには、それぞれγ=1/2.2のγ補正処理が施さ
れている。そして、この元画像データ61A,61B
は、それぞれステップS106,S111において、γ
=2.2の逆γ補正処理が行われているので、再び、合
成画像データ63に対して、γ=1/2.2のγ補正処
理を行うことにより、モニタの階調特性に適合した画像
データに戻すのである。
のタグ情報に含まれていた想定γ値が2.2である場
合、デジタルカメラ1において元画像データ60A,6
0Bには、それぞれγ=1/2.2のγ補正処理が施さ
れている。そして、この元画像データ61A,61B
は、それぞれステップS106,S111において、γ
=2.2の逆γ補正処理が行われているので、再び、合
成画像データ63に対して、γ=1/2.2のγ補正処
理を行うことにより、モニタの階調特性に適合した画像
データに戻すのである。
【0090】γ補正処理が行われると、図13に示すよ
うに、結果表示画面74が表示され(ステップS11
8)、オペレータは、ディスプレイ23上で、生成され
た合成画像を確認することができる。
うに、結果表示画面74が表示され(ステップS11
8)、オペレータは、ディスプレイ23上で、生成され
た合成画像を確認することができる。
【0091】合成画像表示ウィンドウ74を表示させる
と、画像保存の指示待ち状態となる(ステップS11
9)。ここで、オペレータが、結果表示画面74に設け
られた保存ボタン741をマウス221等の操作により
選択すると、画像保存指示がされたと判断し(ステップ
S119でYes)、合成画像データ63と、合成画像デ
ータ63から生成されるサムネイル画像と、タグ情報と
からなる合成画像ファイル64が生成され、ハードディ
スク24に保存される。
と、画像保存の指示待ち状態となる(ステップS11
9)。ここで、オペレータが、結果表示画面74に設け
られた保存ボタン741をマウス221等の操作により
選択すると、画像保存指示がされたと判断し(ステップ
S119でYes)、合成画像データ63と、合成画像デ
ータ63から生成されるサムネイル画像と、タグ情報と
からなる合成画像ファイル64が生成され、ハードディ
スク24に保存される。
【0092】画像保存処理を終了すると、再び、図9に
示す超解像画面71の表示状態に復帰する。また、合成
画像データ63が、結果表示画面74に表示されている
状態で、オペレータが、キャンセルボタン742を選択
した場合には、メモリ215に一時保存されている線形
画像データ62や合成画像データ63が削除され、再
び、図9に示す状態に復帰する。
示す超解像画面71の表示状態に復帰する。また、合成
画像データ63が、結果表示画面74に表示されている
状態で、オペレータが、キャンセルボタン742を選択
した場合には、メモリ215に一時保存されている線形
画像データ62や合成画像データ63が削除され、再
び、図9に示す状態に復帰する。
【0093】このようにして、ハードディスク24に保
存された合成画像データ63は、わずかに異なるカメラ
アングルの相違により撮影された2枚の元画像データ6
1A,61Bとを合成することにより、元の撮影画像よ
りも解像度の高い画像となっている。さらに、2枚の元
画像データ61A,61Bに対して、逆γ補正処理を施
し、その階調特性に線形性をもたせたうえで合成処理を
行っているため、その加算処理において、階調特性にひ
ずみが生じることなく、高解像度、かつ、画質の優れた
合成画像が得られるのである。
存された合成画像データ63は、わずかに異なるカメラ
アングルの相違により撮影された2枚の元画像データ6
1A,61Bとを合成することにより、元の撮影画像よ
りも解像度の高い画像となっている。さらに、2枚の元
画像データ61A,61Bに対して、逆γ補正処理を施
し、その階調特性に線形性をもたせたうえで合成処理を
行っているため、その加算処理において、階調特性にひ
ずみが生じることなく、高解像度、かつ、画質の優れた
合成画像が得られるのである。
【0094】以上、「超解像モード」で撮影された画像
ファイルに対して、「超解像処理」を実行する場合を例
として説明したが、「ボケ味調整モード」、「階調調整
モード」で撮影された画像ファイルに対して、それぞれ
「ボケ味調整処理」、「階調調整処理」を実行させる場
合も同様である。それぞれの画像処理の目的は異なる
が、いずれの場合であっても、上述した処理フローと同
様に、元画像データを逆γ補正したうえで、演算処理を
行うことにより、階調特性をひずませることなく、画質
の優れた合成画像を得ることができるのである。
ファイルに対して、「超解像処理」を実行する場合を例
として説明したが、「ボケ味調整モード」、「階調調整
モード」で撮影された画像ファイルに対して、それぞれ
「ボケ味調整処理」、「階調調整処理」を実行させる場
合も同様である。それぞれの画像処理の目的は異なる
が、いずれの場合であっても、上述した処理フローと同
様に、元画像データを逆γ補正したうえで、演算処理を
行うことにより、階調特性をひずませることなく、画質
の優れた合成画像を得ることができるのである。
【0095】<4−2 フォルダ選択によるバッチ処理
フロー>次に、バッチ処理フローについて説明する。上
記<4−1>で説明した超解像処理は、まず、ステップ
S101において、複数の元画像ファイルを個別に指定
することから始まる。バッチ処理フローにおいては、フ
ォルダを指定することにより、個々のファイルの指定操
作を不要とし、一括処理することが可能である。
フロー>次に、バッチ処理フローについて説明する。上
記<4−1>で説明した超解像処理は、まず、ステップ
S101において、複数の元画像ファイルを個別に指定
することから始まる。バッチ処理フローにおいては、フ
ォルダを指定することにより、個々のファイルの指定操
作を不要とし、一括処理することが可能である。
【0096】図14および図15のフローチャートを参
照しながら、バッチ処理フローについて説明する。図9
に示した超解像処理画面71が表示された状態におい
て、オペレータが、マウス221等を操作することによ
り、バッチ処理ボタン714を選択する。これによっ
て、図16に示すように、フォルダ指定画面75が表示
される。
照しながら、バッチ処理フローについて説明する。図9
に示した超解像処理画面71が表示された状態におい
て、オペレータが、マウス221等を操作することによ
り、バッチ処理ボタン714を選択する。これによっ
て、図16に示すように、フォルダ指定画面75が表示
される。
【0097】ここで、オペレータは、マウス221等を
操作し、ハードディスク24内に階層構造をもって保存
されている元画像ファイル60の所在を探り、特定のフ
ォルダを指定する。ここでは、図3に示したようなフォ
ルダ構成において、オペレータがfolder11を選択した場
合を例に説明する。
操作し、ハードディスク24内に階層構造をもって保存
されている元画像ファイル60の所在を探り、特定のフ
ォルダを指定する。ここでは、図3に示したようなフォ
ルダ構成において、オペレータがfolder11を選択した場
合を例に説明する。
【0098】オペレータによって、folder11が選択され
ると、画像処理プログラム65は、folder11に保存され
ている全てのファイルを指定する(ステップS20
1)。そして、フォルダ指定画面75が終了し、再び、
超解像処理画面71がアクティブとなり、超解像処理の
指示待ち状態となる(ステップS202)。
ると、画像処理プログラム65は、folder11に保存され
ている全てのファイルを指定する(ステップS20
1)。そして、フォルダ指定画面75が終了し、再び、
超解像処理画面71がアクティブとなり、超解像処理の
指示待ち状態となる(ステップS202)。
【0099】そして、オペレータが、実行ボタン715
を選択操作することにより、超解像処理の指示ありと判
定し(ステップS202でYes)、次に、逆γ補正未処
理ファイルリストを生成する(ステップS203)。
を選択操作することにより、超解像処理の指示ありと判
定し(ステップS202でYes)、次に、逆γ補正未処
理ファイルリストを生成する(ステップS203)。
【0100】初期状態では、逆γ補正未処理ファイルリ
ストには、選択されたすべての元画像ファイル60のフ
ァイル名がリストアップされる。つまり、この例では、
P000001.tif〜P000010.tifの10個のファイル名がリス
トされている。
ストには、選択されたすべての元画像ファイル60のフ
ァイル名がリストアップされる。つまり、この例では、
P000001.tif〜P000010.tifの10個のファイル名がリス
トされている。
【0101】次に、画像処理プログラム65は、繰り返
し処理のカウンタkに1をセットする(ステップS20
4)。このカウンタkは、P000001.tif〜P000010.tifの
10個のファイルにシーケンシャルに振られる番号に対
応することになる。
し処理のカウンタkに1をセットする(ステップS20
4)。このカウンタkは、P000001.tif〜P000010.tifの
10個のファイルにシーケンシャルに振られる番号に対
応することになる。
【0102】そして、k番目の元画像ファイル60(k
=1において、P000001.tif)を読み込み(ステップS
205)、タグ情報68の中に、想定γ値が設定されて
いるか否かの判定を行い(ステップS206)、想定γ
値が設定されている場合(ステップS206でYes)に
は、想定γ値に基づいた逆γ補正処理を行う(ステップ
S207)。また、想定γ値が設定されていない場合
(ステップS206でNo)には、デフォルトγ値に基づ
いて逆γ補正処理を行う(ステップS208)。
=1において、P000001.tif)を読み込み(ステップS
205)、タグ情報68の中に、想定γ値が設定されて
いるか否かの判定を行い(ステップS206)、想定γ
値が設定されている場合(ステップS206でYes)に
は、想定γ値に基づいた逆γ補正処理を行う(ステップ
S207)。また、想定γ値が設定されていない場合
(ステップS206でNo)には、デフォルトγ値に基づ
いて逆γ補正処理を行う(ステップS208)。
【0103】さらに、k番目(1番目)元画像データ6
1に対して補間処理を行い、画素データの補間を行う
(ステップS209)。このように、逆γ補正処理と補
間処理が行われた元画像データ61は、線形画像データ
62として保存され、逆γ補正未処理ファイルリストか
ら、k番目(1番目)の元画像ファイル(P000001.ti
f)名が削除され、リストが更新される(ステップS2
10)。
1に対して補間処理を行い、画素データの補間を行う
(ステップS209)。このように、逆γ補正処理と補
間処理が行われた元画像データ61は、線形画像データ
62として保存され、逆γ補正未処理ファイルリストか
ら、k番目(1番目)の元画像ファイル(P000001.ti
f)名が削除され、リストが更新される(ステップS2
10)。
【0104】そして、逆γ補正未処理ファイルリスト
に、未処理のファイルが残っていないかの判定を行い
(ステップS211)、未処理ファイルがある場合(ス
テップS211でNo)には、カウンタkを1インクリメ
ントし(ステップS212)、ステップS205に戻
り、k+1番目(2番目)の元画像ファイル(P000002.
tif)について、同様に、逆γ補正処理と補間処理を行
う。
に、未処理のファイルが残っていないかの判定を行い
(ステップS211)、未処理ファイルがある場合(ス
テップS211でNo)には、カウンタkを1インクリメ
ントし(ステップS212)、ステップS205に戻
り、k+1番目(2番目)の元画像ファイル(P000002.
tif)について、同様に、逆γ補正処理と補間処理を行
う。
【0105】以上の処理を繰り返し、10番目の元画像
ファイル(P000010.tif)までの処理が終了すると、未
処理ファイルがないと判定し(ステップS211でYe
s)、繰り返し処理を終了し、次のステップに移行す
る。
ファイル(P000010.tif)までの処理が終了すると、未
処理ファイルがないと判定し(ステップS211でYe
s)、繰り返し処理を終了し、次のステップに移行す
る。
【0106】次に、画像処理プログラム65は、重ね合
わせ未処理リストを作成する(ステップS213)。初
期状態では、重ね合わせ未処理リストには、逆γ補正処
理が行われたすべての元画像ファイル60のファイル名
がリストアップされる。つまり、ここでは、P000001.ti
f〜P000010.tifの10個のファイル名がリストされてい
る。
わせ未処理リストを作成する(ステップS213)。初
期状態では、重ね合わせ未処理リストには、逆γ補正処
理が行われたすべての元画像ファイル60のファイル名
がリストアップされる。つまり、ここでは、P000001.ti
f〜P000010.tifの10個のファイル名がリストされてい
る。
【0107】次に、画像処理プログラムは繰り返し処理
のカウンタkに2をセットし(ステップS214)、1
番目の線形画像データ62とk番目(2番目)の線形画
像データ62のレジストレーション処理を行う(ステッ
プS215)。そして、k番目(2番目)の線形画像デ
ータ62を平行移動し、1番目の線形画像データ62に
k番目(2番目)の線形画像データ62を加算する(ス
テップS216)。加算処理は、位置合わせをした両線
形画像データの各座標位置の輝度値を加算し、加算した
輝度値を1番目の線形画像データ62の新たな画素値と
する処理である。
のカウンタkに2をセットし(ステップS214)、1
番目の線形画像データ62とk番目(2番目)の線形画
像データ62のレジストレーション処理を行う(ステッ
プS215)。そして、k番目(2番目)の線形画像デ
ータ62を平行移動し、1番目の線形画像データ62に
k番目(2番目)の線形画像データ62を加算する(ス
テップS216)。加算処理は、位置合わせをした両線
形画像データの各座標位置の輝度値を加算し、加算した
輝度値を1番目の線形画像データ62の新たな画素値と
する処理である。
【0108】加算処理が終了すると、重ね合わせ未処理
リストから、k番目(2番目)の元画像ファイルのファ
イル名(P000002.tif)を削除し、リストを更新する
(ステップS217)。
リストから、k番目(2番目)の元画像ファイルのファ
イル名(P000002.tif)を削除し、リストを更新する
(ステップS217)。
【0109】そして、重ね合わせ未処理リストに、未処
理ファイルが残っていないかの判定を行い(ステップS
218)、未処理ファイルが残っている場合(ステップ
S218でNo)には、kを1インクリメントし(ステッ
プS219)、再び、ステップS215において、1番
目の線形画像データ62と3番目の線形画像データ62
とのレジストレーション処理を行い、加算処理を行う
(ステップS215,S216)。ここで、1番目の線
形画像データ62は、繰り返し処理の1回目において、
2番目の線形画像データ62の画素値が加算されている
ので、繰り返し処理の2回目においては、1番目から3
番目までの線形画像データ62が加算処理されることに
なる。
理ファイルが残っていないかの判定を行い(ステップS
218)、未処理ファイルが残っている場合(ステップ
S218でNo)には、kを1インクリメントし(ステッ
プS219)、再び、ステップS215において、1番
目の線形画像データ62と3番目の線形画像データ62
とのレジストレーション処理を行い、加算処理を行う
(ステップS215,S216)。ここで、1番目の線
形画像データ62は、繰り返し処理の1回目において、
2番目の線形画像データ62の画素値が加算されている
ので、繰り返し処理の2回目においては、1番目から3
番目までの線形画像データ62が加算処理されることに
なる。
【0110】このような処理を10番目の線形画像デー
タ62まで処理することにより、重ね合わせ未処理リス
トから未処理ファイルがなくなると(ステップS218
でYes)、1番目から10番目までの全ての線形画像デ
ータ62が加算されている1番目の線形画像データ62
の各画素値に対して平均処理を行う(ステップS22
0)。この例では、10個の線形画像データ62を加算
しているので、加算された画像データの各画素値を10
で割ることにより、合成画像データ63が生成される。
タ62まで処理することにより、重ね合わせ未処理リス
トから未処理ファイルがなくなると(ステップS218
でYes)、1番目から10番目までの全ての線形画像デ
ータ62が加算されている1番目の線形画像データ62
の各画素値に対して平均処理を行う(ステップS22
0)。この例では、10個の線形画像データ62を加算
しているので、加算された画像データの各画素値を10
で割ることにより、合成画像データ63が生成される。
【0111】次に、合成画像データ63に、γ補正処理
を行い(ステップS221)、図13で示したように、
合成画像データ63を表示する(ステップS222)。
ここで、オペレータが、保存ボタン741を選択する
と、画像保存が指示されたと判定し(ステップS223
でYes)、合成画像データ63に、サムネイル画像デー
タ、タグ情報が付加されて合成画像ファイル64が作成
され、合成画像ファイル64が、ハードディスク24に
保存する(ステップS224)。
を行い(ステップS221)、図13で示したように、
合成画像データ63を表示する(ステップS222)。
ここで、オペレータが、保存ボタン741を選択する
と、画像保存が指示されたと判定し(ステップS223
でYes)、合成画像データ63に、サムネイル画像デー
タ、タグ情報が付加されて合成画像ファイル64が作成
され、合成画像ファイル64が、ハードディスク24に
保存する(ステップS224)。
【0112】オペレータがキャンセルボタン742を選
択した場合(ステップS223でNo)には、メモリ21
4に一時保存されている線形画像データ、合成画像デー
タを消去し、再び、超解像処理画面71に戻る。
択した場合(ステップS223でNo)には、メモリ21
4に一時保存されている線形画像データ、合成画像デー
タを消去し、再び、超解像処理画面71に戻る。
【0113】このようにして、同様に、高解像度、か
つ、高画質の合成画像を生成することが可能であるが、
バッチ処理を行う場合には、合成対象である個々の元画
像ファイルを指定する操作が不要であるので、煩雑な操
作をすることなく、合成処理を行うことが可能である。
つ、高画質の合成画像を生成することが可能であるが、
バッチ処理を行う場合には、合成対象である個々の元画
像ファイルを指定する操作が不要であるので、煩雑な操
作をすることなく、合成処理を行うことが可能である。
【0114】また、ボケ味調整処理や階調調整処理にお
いても、同様に、バッチ処理を行うことで、操作性の向
上を図りながら、画質に優れた合成画像を得ることが可
能である。
いても、同様に、バッチ処理を行うことで、操作性の向
上を図りながら、画質に優れた合成画像を得ることが可
能である。
【0115】
【発明の効果】以上説明したように、請求項1記載の発
明では、γ補正が施された複数の元画像データに対して
逆γ補正を行い、階調特性に線形性をもたせたうえで、
合成処理を行うので、階調特性を狂わせることなく、高
画質の合成画像を生成することが可能である。
明では、γ補正が施された複数の元画像データに対して
逆γ補正を行い、階調特性に線形性をもたせたうえで、
合成処理を行うので、階調特性を狂わせることなく、高
画質の合成画像を生成することが可能である。
【0116】請求項2記載の発明では、逆γ補正を行い
合成された合成画像データに対して、再び、γ補正を施
したうえでファイル出力するので、生成された合成画像
ファイルは、通常の画像ファイルと同様、パソコン等の
モニタにおいて正常に表示することが可能である。
合成された合成画像データに対して、再び、γ補正を施
したうえでファイル出力するので、生成された合成画像
ファイルは、通常の画像ファイルと同様、パソコン等の
モニタにおいて正常に表示することが可能である。
【0117】請求項3記載の発明では、階調特性に線形
性をもたせた複数の画像データに対して、マッチング処
理を行い位置合わせをしたうえで合成処理を行うことに
より、高画質の合成画像データを出力することが可能で
ある。
性をもたせた複数の画像データに対して、マッチング処
理を行い位置合わせをしたうえで合成処理を行うことに
より、高画質の合成画像データを出力することが可能で
ある。
【0118】請求項4記載の発明では、逆γ補正処理
は、階調ビット数を増加させるようにしているので、元
画像ファイルの階調ビット数を越えた領域で、合成処理
が可能となる。
は、階調ビット数を増加させるようにしているので、元
画像ファイルの階調ビット数を越えた領域で、合成処理
が可能となる。
【0119】請求項5記載の発明では、逆γ補正を施し
た画像データについて、画素の補間処理を行い、解像度
を上昇させたうえで合成処理を行うので、より精度の高
い合成処理が可能となる。
た画像データについて、画素の補間処理を行い、解像度
を上昇させたうえで合成処理を行うので、より精度の高
い合成処理が可能となる。
【0120】請求項6記載の発明では、元画像データの
タグ情報に記録されているγ補正設定情報をもとに、逆
γ補正を行うことにより、確実に、線形性を有する画像
データに変換することが可能である。
タグ情報に記録されているγ補正設定情報をもとに、逆
γ補正を行うことにより、確実に、線形性を有する画像
データに変換することが可能である。
【0121】請求項7記載の発明では、元画像データの
タグ情報にγ補正設定情報が記録されていない場合であ
っても、デフォルト設定されたγ値をもとに、逆γ補正
を行うことが可能である。
タグ情報にγ補正設定情報が記録されていない場合であ
っても、デフォルト設定されたγ値をもとに、逆γ補正
を行うことが可能である。
【0122】請求項8記載の発明は、逆γ補正を行った
うえで合成処理を行うプログラムに関するものであり、
当該プログラムをコンピュータにインストールすること
により、コンピュータにおいて当該画像処理を実行させ
ることが可能である。
うえで合成処理を行うプログラムに関するものであり、
当該プログラムをコンピュータにインストールすること
により、コンピュータにおいて当該画像処理を実行させ
ることが可能である。
【0123】請求項9記載の発明は、逆γ補正を行った
うえで合成処理を行う装置に関するものであり、デジタ
ルカメラ等で撮影された複数の画像ファイルに対して、
階調特性を狂わせることなく合成処理を実行することが
可能である。
うえで合成処理を行う装置に関するものであり、デジタ
ルカメラ等で撮影された複数の画像ファイルに対して、
階調特性を狂わせることなく合成処理を実行することが
可能である。
【図1】画像処理を行うパソコンとデジタルカメラとを
示す概観図である。
示す概観図である。
【図2】画像ファイルの記録方式を示す図である。
【図3】フォルダごとに管理される画像ファイルの保存
状態を示す図である。
状態を示す図である。
【図4】ディスプレイの表示特性を示す図である。
【図5】デジタルカメラにおいて行われるγ補正の特性
を示す図である。
を示す図である。
【図6】パソコンのブロック構成図である。
【図7】ファイル指定による超解像処理のフローチャー
トである。
トである。
【図8】ファイル指定による超解像処理のフローチャー
トである。
トである。
【図9】ディスプレイ上に表示された超解像処理画面を
示す図である。
示す図である。
【図10】ファイル選択画面を示す図である。
【図11】設定画面を示す図である。
【図12】超解像処理実行中における超解像処理画面を
示す図である。
示す図である。
【図13】超解像処理の結果表示画面を示す図である。
【図14】バッチ処理による超解像処理のフローチャー
トである。
トである。
【図15】バッチ処理による超解像処理のフローチャー
トである。
トである。
【図16】ディスプレイ上に表示されたフォルダ指定画
面を示す図である。
面を示す図である。
【図17】階調ビット数が変化するγ関数を示す図であ
る。
る。
【図18】レジストレーション処理を示す図である。
1 デジタルカメラ
2 パソコン
11 メモリカード
24 ハードディスク
60 元画像ファイル
61 元画像データ
62 線形画像データ
63 合成画像データ
64 合成画像ファイル
65 画像処理プログラム
71 超解像処理画面
72 ファイル指定画面
73 設定画面
74 結果表示画面
75 フォルダ指定画面
213 CPU
215 メモリ
フロントページの続き
(51)Int.Cl.7 識別記号 FI
// H04N 101:00 H04N 101:00
(56)参考文献 特開2000−307921(JP,A)
特開2000−59600(JP,A)
特開 平7−73309(JP,A)
特開2000−137806(JP,A)
特開 平10−334212(JP,A)
特開 平10−13776(JP,A)
特開 平5−80713(JP,A)
(58)調査した分野(Int.Cl.7,DB名)
H04N 1/387
Claims (9)
- 【請求項1】 画像処理を行うプログラムが記録され、
ソフトウェアによって動作可能なデータ処理装置によっ
て読み取り可能な記録媒体であって、 前記プログラムは前記データ処理装置に、 a)γ補正が施された複数の元画像データを指定して読み
込む工程と、 b)読み込んだ各元画像データに対して逆γ補正処理を行
い、それぞれ線形画像データを出力する工程と、 c)前記工程b)において出力された複数の線形画像データ
間で演算処理を行い、合成画像データを出力する工程
と、を実行させることを特徴とする画像処理プログラム
が記録された記録媒体。 - 【請求項2】 請求項1に記載の記録媒体であって、 前記プログラムは前記データ処理装置に、さらに、 d)前記工程c)において出力された合成画像データに対し
てγ補正を行い、モニタ表示特性にあわせた画像データ
を出力する工程、を実行させることを特徴とする画像処
理プログラムが記録された記録媒体。 - 【請求項3】 請求項1または請求項2に記載の記録媒
体であって、 前記工程c)は、 c-1)複数の線形画像データ間のマッチング処理を行う工
程、を含むことを特徴とする画像処理プログラムが記録
された記録媒体。 - 【請求項4】 請求項1ないし請求項3のいずれかに記
載の記録媒体であって、 前記逆γ補正処理は、 出力する前記線形画像データの階調ビット数を、読み込
んだ前記元画像データよりも増加させる処理、を含むこ
とを特徴とする画像処理プログラムが記録された記録媒
体。 - 【請求項5】 請求項1ないし請求項4のいずれかに記
載の記録媒体であって、 前記プログラムは前記データ処理装置に、さらに、 e)前記工程b)で出力された各線形画像データに対して画
素の補間処理を行う工程、を含むことを特徴とする画像
処理プログラムが記録された記録媒体。 - 【請求項6】 請求項1ないし請求項5のいずれかに記
載の記録媒体であって、 前記工程b)は、 b-1)前記元画像データのタグ情報から前記元画像データ
のγ補正設定情報を読み込む工程と、 b-2)読み込んだ前記γ補正設定情報に基づいて、逆γ補
正の設定値を算出する工程と、を含むことを特徴とする
画像処理プログラムが記録された記録媒体。 - 【請求項7】 請求項6に記載の記録媒体であって、 前記工程b)は、 b-3)前記工程b-1)において、前記タグ情報から前記γ補
正設定情報を読み込むことができない場合、当該元画像
データのγ補正設定情報としてデフォルト設定情報を割
り当てる工程、を含むことを特徴とする画像処理プログ
ラムが記録された記録媒体。 - 【請求項8】 ソフトウェアによって動作可能なデータ
処理装置にインストールされることにより、前記データ
処理装置のハードウェア資源を利用して画像処理を実行
するプログラムであって、 前記プログラムは前記データ処理装置に、 a)γ補正が施された複数の元画像データを読み込む工程
と、 b)各元画像データに逆γ補正処理を行うことにより、そ
れぞれ線形画像データを出力する工程と、 c)前記工程b)において出力された複数の線形画像データ
間で加算を含む画像処理を行い、合成画像データを出力
する工程と、を実行させることを特徴とする画像処理プ
ログラム。 - 【請求項9】 γ補正が施された元画像データを蓄積す
る記憶手段と、 前記記憶手段から複数の元画像データを指定して読み込
む画像指定手段と、 前記画像指定手段が読み込んだ各元画像データに逆γ補
正処理を行うことにより、それぞれ線形画像データを出
力する線形データ生成手段と、 前記線形データ生成手段が出力した複数の線形画像デー
タ間で加算を含む画像処理を行い、合成画像データを出
力する合成データ生成手段と、を備えることを特徴とす
る画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001100063A JP3428589B2 (ja) | 2001-03-30 | 2001-03-30 | 画像処理プログラムが格納された記録媒体、画像処理プログラム、画像処理装置 |
US10/104,169 US20020141005A1 (en) | 2001-03-30 | 2002-03-22 | Image processing program and image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001100063A JP3428589B2 (ja) | 2001-03-30 | 2001-03-30 | 画像処理プログラムが格納された記録媒体、画像処理プログラム、画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002300371A JP2002300371A (ja) | 2002-10-11 |
JP3428589B2 true JP3428589B2 (ja) | 2003-07-22 |
Family
ID=18953539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001100063A Ceased JP3428589B2 (ja) | 2001-03-30 | 2001-03-30 | 画像処理プログラムが格納された記録媒体、画像処理プログラム、画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20020141005A1 (ja) |
JP (1) | JP3428589B2 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4144374B2 (ja) | 2003-02-25 | 2008-09-03 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
US20050213174A1 (en) * | 2004-02-27 | 2005-09-29 | Seiko Epson Corporation | Image processing system and image processing method |
US8023145B2 (en) * | 2004-02-27 | 2011-09-20 | Seiko Epson Corporation | Image processing system and image processing method |
JP4632721B2 (ja) * | 2004-03-18 | 2011-02-16 | メガビジョン株式会社 | 処理装置及びガンマ値調整プログラム |
US20050206645A1 (en) * | 2004-03-22 | 2005-09-22 | Hancock William R | Graphics processor with gamma translation |
US20060221197A1 (en) * | 2005-03-30 | 2006-10-05 | Jung Edward K | Image transformation estimator of an imaging device |
US9910341B2 (en) | 2005-01-31 | 2018-03-06 | The Invention Science Fund I, Llc | Shared image device designation |
US10003762B2 (en) | 2005-04-26 | 2018-06-19 | Invention Science Fund I, Llc | Shared image devices |
US9819490B2 (en) | 2005-05-04 | 2017-11-14 | Invention Science Fund I, Llc | Regional proximity for shared image device(s) |
US20070127909A1 (en) | 2005-08-25 | 2007-06-07 | Craig Mowry | System and apparatus for increasing quality and efficiency of film capture and methods of use thereof |
US8194277B2 (en) * | 2005-06-20 | 2012-06-05 | Canon Kabushiki Kaisha | Image combining apparatus, and control method and program therefor |
US7336817B2 (en) * | 2005-06-20 | 2008-02-26 | Microsoft Corporation | Processing raw and pre-processed digital images |
DE102005044866A1 (de) * | 2005-09-20 | 2007-04-19 | Siemens Ag | Vorrichtung zur Positionsvermessung von elektrischen Bauelementen |
JP4380617B2 (ja) | 2005-10-12 | 2009-12-09 | セイコーエプソン株式会社 | 階調変換特性決定装置、階調変換特性決定方法、階調変換特性決定プログラム、画像処理装置、及び画像表示装置 |
JP4769695B2 (ja) * | 2005-12-16 | 2011-09-07 | キヤノン株式会社 | 撮像装置及び再生装置 |
US8073278B2 (en) * | 2005-12-27 | 2011-12-06 | Nittoh Kogaku K.K. | Image processing device |
JP4872508B2 (ja) * | 2006-07-28 | 2012-02-08 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
JP4670058B2 (ja) * | 2006-10-25 | 2011-04-13 | 国立大学法人東京工業大学 | 高解像度画像生成方法 |
JP5354244B2 (ja) * | 2007-05-07 | 2013-11-27 | ソニー株式会社 | データ管理装置およびデータ管理方法、並びにプログラム |
JP5387020B2 (ja) * | 2009-02-05 | 2014-01-15 | 株式会社ニコン | 画像処理プログラムおよびデジタルカメラ |
JP5326758B2 (ja) * | 2009-04-09 | 2013-10-30 | 株式会社ニコン | カメラ、画像処理装置、および画像処理プログラム |
JP5654867B2 (ja) * | 2010-12-27 | 2015-01-14 | パナソニックIpマネジメント株式会社 | 映像信号処理装置及び映像信号処理方法 |
CN103136725B (zh) * | 2011-12-05 | 2016-08-03 | 方正国际软件有限公司 | 一种图像重采样方法及*** |
JP6582472B2 (ja) * | 2015-03-19 | 2019-10-02 | 富士ゼロックス株式会社 | 画像処理装置、画像処理システムおよびプログラム |
US10347213B2 (en) * | 2016-08-18 | 2019-07-09 | Mediatek Inc. | Methods for adjusting panel brightness and brightness adjustment system |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3078340A (en) * | 1954-11-09 | 1963-02-19 | Servo Corp Of America | Means for infrared imaging in color |
US3076340A (en) * | 1958-12-18 | 1963-02-05 | Texas Instruments Inc | Compensated gravity measuring device |
US3354266A (en) * | 1964-05-25 | 1967-11-21 | North American Aviation Inc | Isophote converter |
US5162914A (en) * | 1987-06-09 | 1992-11-10 | Canon Kabushiki Kaisha | Image sensing device with diverse storage fumes used in picture composition |
US5196924A (en) * | 1991-07-22 | 1993-03-23 | International Business Machines, Corporation | Look-up table based gamma and inverse gamma correction for high-resolution frame buffers |
US5402171A (en) * | 1992-09-11 | 1995-03-28 | Kabushiki Kaisha Toshiba | Electronic still camera with improved picture resolution by image shifting in a parallelogram arrangement |
US5565931A (en) * | 1994-10-31 | 1996-10-15 | Vivo Software. Inc. | Method and apparatus for applying gamma predistortion to a color image signal |
EP1303992A2 (en) * | 2000-07-17 | 2003-04-23 | Matsushita Electric Industrial Co., Ltd. | Multidisplay apparatus and chromaticity adjustment method for use in the multidisplay apparatus |
DE10053301A1 (de) * | 2000-10-27 | 2002-05-08 | Philips Corp Intellectual Pty | Verfahren zur farblichen Wiedergabe eines Graustufenbildes |
US7038814B2 (en) * | 2002-03-21 | 2006-05-02 | Nokia Corporation | Fast digital image dithering method that maintains a substantially constant value of luminance |
KR20030090849A (ko) * | 2002-05-22 | 2003-12-01 | 엘지전자 주식회사 | 영상 디스플레이 장치 |
US7130474B2 (en) * | 2002-09-27 | 2006-10-31 | Eastman Kodak Company | Method and system for generating digital image files for a limited display |
JP2005227401A (ja) * | 2004-02-10 | 2005-08-25 | Pioneer Electronic Corp | サブフィールドコーディング回路、映像信号処理回路、プラズマ表示装置 |
-
2001
- 2001-03-30 JP JP2001100063A patent/JP3428589B2/ja not_active Ceased
-
2002
- 2002-03-22 US US10/104,169 patent/US20020141005A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2002300371A (ja) | 2002-10-11 |
US20020141005A1 (en) | 2002-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3428589B2 (ja) | 画像処理プログラムが格納された記録媒体、画像処理プログラム、画像処理装置 | |
US7593036B2 (en) | Digital camera and data management method | |
JP3037140B2 (ja) | デジタルカメラ | |
EP1993278A1 (en) | Imaging device, processing method for obtaining high-resolution, processing program for obtaining high-resolution, and recording medium | |
EP3258687A1 (en) | Image processor correcting color misregistration, image processing method, and electronic camera | |
JP5672796B2 (ja) | 画像処理装置、画像処理方法 | |
JP5163392B2 (ja) | 画像処理装置およびプログラム | |
WO2006129868A1 (ja) | 撮像装置、撮像結果の処理方法、画像処理装置、撮像結果の処理方法のプログラム、撮像結果の処理方法のプログラムを記録した記録媒体及び撮像結果の処理システム | |
JP2000152017A (ja) | 画像補正方法、画像補正装置及び記録媒体 | |
JP2010537228A (ja) | パンクロ画素を使用する画素アスペクト比の補正 | |
EP2063388A1 (en) | Image processing device, image processing method, and program | |
JP3748169B2 (ja) | 画像処理方法および装置、画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体 | |
US7522189B2 (en) | Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon | |
US6122069A (en) | Efficient method of modifying an image | |
JP5042954B2 (ja) | 画像生成装置、画像生成方法、画像生成プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2009237650A (ja) | 画像処理装置及び撮像装置 | |
JP2006350462A (ja) | アルバム画像作成装置、及びアルバム画像作成プログラム | |
EP1143700A2 (en) | Method, apparatus and recording medium for displaying templates | |
JP2006287365A (ja) | デジタルカメラ | |
JP4039412B2 (ja) | 画像処理方法、画像処理プログラムおよび画像処理装置 | |
JP4112384B2 (ja) | 撮像装置 | |
JP3503136B2 (ja) | 画素補間装置及び画素補間方法 | |
JP2000076428A (ja) | 収差補正方法 | |
JP5605067B2 (ja) | 情報処理装置およびプログラム | |
JP4190197B2 (ja) | 画像表示システム、プログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
RVOP | Cancellation by post-grant opposition |