JP3444281B2

JP3444281B2 - 画像処理システム、撮像装置、画像処理方法及びその方法の処理プログラムが記録された記録媒体

Info

Publication number: JP3444281B2
Application number: JP2000301293A
Authority: JP
Inventors: 勝仁新川; 広明久保; 宣之沖須; 真一藤井
Original assignee: ミノルタ株式会社
Priority date: 2000-09-29
Filing date: 2000-09-29
Publication date: 2003-09-08
Anticipated expiration: 2020-09-29
Also published as: JP2002112007A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、同一の被写体に対
して連続して撮影された複数枚の撮影画像を用いて、こ
れらの撮影画像を所定の画像処理を行なった後、合成す
ることで、画質を改善したり、映像効果を高めた画像を
得ることのできる画像処理システムに関する。

【０００２】

【従来の技術】従来、内容が同一で画質の異なる複数の
画像を用いて元の画像より画質や映像効果を高めた画像
を合成する技術が提案されている。

【０００３】例えば撮像素子を微小変位させて連続して
２回の撮影を行い、両撮影画像を合成することで解像度
の高い撮影画像を得ることができるデジタルスチルカメ
ラが商品化されている（ビクター社製デジタルスチルカ
メラのＧＣ−Ｘ１“ＰＩＸＳＴＥＲ”）。このデジタル
スチルカメラは、被写体の明るい部分と暗い部分とに合
わせて２種類の露出制御値を設定し、それらの露出制御
値で連続して２回の撮影を行い、両撮影画像を合成する
ことで暗い部分から明るい部分まで適切な濃度の撮影画
像を得ることができる機能も備えている。

【０００４】

【発明が解決しようとする課題】近年、デジタルスチル
カメラの技術分野においては、デジタルスチルカメラの
普及に伴い、上記ビクター社製デジタルスチルカメラ
「ＧＣ−Ｘ１“ＰＩＸＳＴＥＲ”」に見られるように、
連続して撮影した複数枚の撮影画像を所定の画像処理を
行なった後、合成することで、画質を改善したり、映像
効果を高めた画像を得るような機能を設けてデジタルス
チルカメラの付加価値を高める新たな技術開発が進めら
れている。

【０００５】しかし、近年のデジタルスチルカメラは高
画素化が進み、上述の複数枚の撮影画像を合成する機能
を設けようとした場合、データの増加に伴って画像処理
の処理時間が長時間になり、全体として撮影処理も長く
なるという問題が生じる。例えば露出条件の異なる２枚
のカラー撮影画像Ａ，Ｂを合成して高階調画像を得る場
合、撮影された被写体が重なり合うようにカラー撮影画
像Ａとカラー撮影画像Ｂの位置合わせをして、例えば
Ｒ，Ｇ，Ｂの色成分の画像毎に画像データの合成演算を
行なう必要がある。しかし、２枚の画像の位置合わせ処
理は、一般に一方の画像を基準として他方の画像を所定
の画素ピッチで平行移動や回転等を行ないつつ両画像の
一致する位置を探索するもので、他方の画像を移動させ
ては基準画像との一致度を判定する作業の繰返しを行な
うものであるから、この作業に長時間を要し、画像の取
り込みから合成画像をメモリカードなどの記録媒体に記
録するまでの処理時間が長くなる問題がある。

【０００６】また、デジタルスチルカメラに採用されて
いる撮像素子が、例えばベイヤー方式のような単板式の
ＣＣＤで構成されている場合は、通常、色成分毎にデー
タの不足する画素位置にデータを補間する処理をした
後、位置合わせ処理や画像合成処理を行なうことになる
ので、データの補間処理が増加する分、更に処理時間が
長くなり、処理時間の問題は重大である。

【０００７】そこで、デジタルスチルカメラでは連続撮
影のみを行ない、コンピュータ等で構成した画像処理装
置において、複数枚の撮影画像の合成処理を行なうよう
にして画像処理システムを構築することが考えられる。
しかし、この場合でも、元の撮影画像のデータ数が膨大
であると、画像処理装置における撮影画像の合成処理に
長時間を要し、処理レスポンスが低下することは同じで
あるから、可能な限り画像処理に係る時間を短縮するこ
とが望ましい。

【０００８】しかし、従来は、複数枚のカラー画像を合
成し高階調画像を得る際、そのカラー画像が、例えば
Ｒ，Ｇ，Ｂの色成分の画像で構成されている場合、色成
分毎に同一の位置合わせ処理と画像合成処理を行なうの
で、同一処理が３回繰り返され、データ数が増加するの
に応じて処理効率が低下するものとなっている。

【０００９】本発明は、上記課題に鑑みてなされたもの
であり、色成分に応じて処理の簡略化を図れるものは処
理を簡単にして可能な限り画像処理の高速化を可能にす
る画像処理システム、カラー撮像装置、画像処理方法及
びその方法の処理プログラムが記録された記録媒体を提
供するものである。

【００１０】

【課題を解決するための手段】本発明は、画像合成によ
り撮影画像と異なる画質の画像を得るべく同一の被写体
に対して連続して２枚のカラー画像を撮影するカラー撮
像装置と、上記カラー撮像装置で撮影された２枚のカラ
ー画像に対し、色成分毎に所定の画像処理を行って１枚
の色成分画像を作成する画像処理手段と、上記画像処理
手段で作成された各色成分の画像を合成して１枚のカラ
ー画像を作成する画像合成手段とを備えた画像処理装置
とからなる画像処理システムであって、上記色成分毎の
所定の画像処理は、撮影画像間の位置合わせを行う位置
合わせ処理と、位置合わせをした撮影画像間で画質に関
する所定の演算を行って１枚の色成分画像を作成する演
算処理とからなり、上記画像処理手段は、上記複数の色
成分の画像のうち、人間の視覚特性上解像度に与える影
響の小さい第１の色成分の画像に対する位置合わせ処理
を他の第２の色成分の画像に対する位置合わせ処理より
も簡略化することを特徴とするものである。

【００１１】具体的には、例えば上記画像処理手段は、
上記第２の色成分の画像に対する位置合わせ処理で算出
された位置ずれ情報を用いて上記第１の色成分の画像に
対する位置合わせ処理を行うことで、上記第１の色成分
に対する位置合わせ処理の簡略化を行なうものである。

【００１２】また、上記成分毎の所定の画像処理には、
上記位置合わせ処理の前に撮影画像毎にデータを補間し
て元の画像データ数を増加する補間処理を含み、上記画
像処理手段は、上記第１の色成分の画像に対する補間処
理を第２の色成分に対する補間処理よりも簡略化するも
のであり、具体的には上記画像処理手段は、上記補間処
理における上記第１の色成分の画像のデータ補間数を上
記第２の色成分の画像のデータ補間数より少なくするこ
とで、上記第１の色成分に対する補間処理の簡略化を行
なうものである。

【００１３】なお、画像処理に補間処理を含むもので
は、上記画像処理手段は、上記演算処理において、上記
第１の色成分の画像のデータ数が上記第２の色成分の画
像のデータ数と一致するように、当該第１の色成分の画
像のデータ数を補間するとよい。

【００１４】また、上記色成分をＲ（赤），Ｇ（緑），
Ｂ（青）の色成分とすると、上記第１の色成分はＲ，Ｂ
の色成分とし、上記第２の色成分はＧの色成分とすると
よく、上記色成分をＹ（輝度），Ｃｒ（赤の色差），Ｃ
ｂ（青の色差）の色成分とすると、上記第１の色成分は
Ｃｒ，Ｃｂの成分とし、上記第２の色成分はＹの成分と
するとよい。

【００１５】また、上記画質に関する所定の演算処理と
しては、画像のピントのボケ具合を調整するボケ味調整
処理、画像の階調を調整する階調調整処理又は画像の解
像度を高める超解像処理にするとよい。

【００１６】また、本発明は、上記画像処理システムと
同一の機能を撮像装置に備えたものである。

【００１７】更に、本発明は、画像合成により撮影画像
と異なる画質の画像を得るべく同一の被写体を連続的に
撮像して得られる複数枚のカラー画像に対し、色成分毎
に所定の画像処理を行って１枚の成分画像を作成する画
像処理ステップと、上記画像処理ステップで作成された
各色成分の画像を合成して１枚のカラー画像を作成する
画像合成ステップとからなる画像処理方法であって、上
記画像処理ステップにおける色成分毎の所定の画像処理
は、撮影画像間の位置合わせを行う位置合わせ処理と、
位置合わせをした撮影画像間で画質に関する所定の演算
を行って１枚の色成分画像を作成する演算処理とからな
り、上記画像処理ステップは、上記複数の色成分の画像
のうち、人間の視覚特性上解像度に与える影響の小さい
第１の色成分の画像に対する上記位置合わせ処理を他の
第２の色成分の画像に対する上記位置合わせ処理よりも
簡略化するものである。

【００１８】また、本発明は、画像合成により撮影画像
と異なる画質の画像を得るべく同一の被写体を連続的に
撮像して得られる複数枚のカラー画像に対し、色成分毎
に所定の画像処理を行って１枚の成分画像を作成する第
１の画像処理と、上記画像処理ステップで作成された各
色成分の画像を合成して１枚のカラー画像を作成する第
２の画像処理とを、コンピュータに実行させるためのプ
ログラムを記録したコンピュータ読取可能な記録媒体で
あって、上記第１の画像処理における色成分毎の所定の
画像処理は、撮影画像間の位置合わせを行う位置合わせ
処理と、位置合わせをした撮影画像間で画質に関する所
定の演算を行って１枚の色成分画像を作成する演算処理
とからなり、上記第１の画像処理は、上記複数の色成分
の画像のうち、人間の視覚特性上解像度に与える影響の
小さい第１の色成分の画像に対する上記位置合わせ処理
を他の第２の色成分の画像に対する上記位置合わせ処理
よりも簡略化するものである。

【００１９】上記構成よれば、カラー撮像装置で同一の
被写体を連続的に撮影して得られた２枚の撮影画像は、
画像処理装置で色成分毎に、ボケ味調整処理、階調調整
処理又は超解像処理等の所定の画像処理を行って１枚の
色成分画像が作成された後、それらの色成分画像を合成
して撮影画像と異なる画質の画像が作成される。

【００２０】ボケ味調整処理は、２枚の撮影画像が、例
えば近景に合焦した撮影画像と背景に合焦した撮影画像
である場合、両撮影画像を合成することで、例えば近景
と背景の両方に適当なピント状態の画像を作成する処理
である。また、階調調整処理は、２枚の撮影画像が、例
えば被写体の明るい部分に露出制御した撮影画像と被写
体の暗い部分に露出制御した撮影画像である場合、両撮
影画像を合成することで、例えば被写体の明るい部分と
暗い部分の両方に適正な濃度分布の画像を作成する処理
である。また、超解像処理は、２枚の撮影画像がカメラ
ぶれに起因して被写体に対する撮影位置に微小にずれが
生じている場合、両撮影画像を合成することで、撮影画
像よりも解像度の高い画像を作成する処理である。

【００２１】色成分毎の所定の画像処理では、複数の色
成分の画像のうち、人間の視覚特性上解像度に与える影
響の小さい第１の色成分の画像に対する処理（以下、第
１の色成分処理という。）が他の第２の色成分の画像に
対する処理（以下、第２の色成分処理という。）よりも
簡略化され、これにより第１の色成分処理に係る処理時
間が第２の色成分処理に係る時間より短くなり、全ての
色成分の画像に対して同一処理を行なうよりも処理時間
が短くなる。

【００２２】例えば色成分毎の所定の画像処理が撮影画
像間の位置合わせを行なう位置合わせ処理と、位置合わ
せをした撮影画像間でボケ味調整等の画質に関する所定
の演算を行って１枚の色成分画像を作成する演算処理と
からなる場合、色成分がＲ，Ｇ，Ｂであれば、Ｇの色成
分の画像に対する位置合わせ処理で算出された位置ずれ
情報を用いてＲ，Ｂの色成分の画像に対する位置合わせ
処理を行なうことで、Ｒ，Ｂの色成分の画像に対する位
置合わせ処理の処理時間がＧの色成分の画像に対する位
置合わせ処理の処理時間よりも短くなり、全ての色成分
の画像に対して同一処理を行なうよりも処理時間が短く
なる。

【００２３】また、色成分がＹ，Ｃｒ，Ｃｂであれば、
Ｙの色成分の画像に対する位置合わせ処理で算出された
位置ずれ情報を用いてＣｒ，Ｃｂの色成分の画像に対す
る位置合わせ処理を行なうことで、Ｃｒ，Ｃｂの色成分
の画像に対する位置合わせ処理の処理時間がＹの色成分
の画像に対する位置合わせ処理の処理時間よりも短くな
り、全ての色成分の画像に対して同一処理を行なうより
も処理時間が短くなる。

【００２４】また、画像処理が位置合わせ処理の前に撮
影画像毎にデータを補間して元の画像データ数を増加す
る補間処理を含む場合、色成分がＲ，Ｇ，Ｂであれば、
当該補間処理におけるＲ，Ｂの色成分の画像のデータ補
間数をＧの色成分の画像のデータ補間数よりも少なくす
ることで、Ｒ，Ｂの色成分の画像に対する補間処理の処
理時間がＧの色成分の画像に対する補間処理の処理時間
よりも短くなり、全ての色成分の画像に対して同一処理
を行なうよりも処理時間が短くなる。

【００２５】また、色成分がＹ，Ｃｒ，Ｃｂであれば、
当該補間処理におけるＣｒ，Ｃｂの色成分の画像のデー
タ補間数をＹの色成分の画像のデータ補間数よりも少な
くすることで、Ｃｒ，Ｃｂの色成分の画像に対する補間
処理の処理時間がＧの色成分の画像に対する補間処理の
処理時間よりも短くなり、全ての色成分の画像に対して
同一処理を行なうよりも処理時間が短くなる。

【００２６】なお、画像処理に補間処理を含むもので
は、Ｒ，Ｂの色成分の画像のデータ数がＧの画像のデー
タ数と一致するように、Ｒ，Ｂの色成分の画像のデータ
数を補間することで、合成後の画像の画質が向上する。

【００２７】

【発明の実施の形態】図１は本発明に係る画像処理シス
テムに適用されるデジタルスチルカメラ（カラー撮像装
置）のカメラ本体の正面図、図２は同デジタルスチルカ
メラに内蔵された主要部材の配置を示す上面図、図３
は、同デジタルスチルカメラに内蔵された主要部材の配
置を示す右側面図、図４は同デジタルスチルカメラの背
面図である。

【００２８】デジタルスチルカメラ１は、カメラ本体２
とこのカメラ本体２の正面略中央に着脱可能に装着され
るズームレンズからなる交換レンズ３とからなる一眼レ
フレックスカメラで構成されている。カメラ本体２は、
正面略中央に交換レンズ３が装着されるマウント部２０
１が設けられ、正面左端部にグリップ部２０２が設けら
れている。

【００２９】グリップ部２０２の内部には電池収納室２
０３とカード収納室２０４とが設けられ、電池収納室２
０３には４本の単３形乾電池Ｅ１〜Ｅ４（カメラの電源
電池）が収納され、カード収納室２０４には撮影画像の
画像データを記録するためのメモリカードＭＣが着脱可
能に収納されるようになっている。

【００３０】マウント部２０１の下部には装着された交
換レンズ３との電気的接続を行なうための複数個の接点
ＳＴと機械的接続を行なうための複数個のカプラーＣＰ
とが設けられている。電気的な接点ＳＴは、交換レンズ
３に内蔵されたレンズＲＯＭ３０１（図３参照）から当
該レンズに関する固有の情報（開放Ｆ値や焦点距離等の
情報）をカメラ本体２内の全体制御部（図６参照）に読
み出したり、交換レンズ３内のズーム用レンズの位置や
フォーカス用レンズの位置の情報を全体制御部に出力す
るためのものである。カプラーＣＰはカメラ本体２内に
設けられたズームレンズ駆動用のモータＺＭ（図３参
照）の駆動力とフォーカスレンズ駆動用のモータＦＭ
（図３参照）の駆動力とを交換レンズ３側に伝達するた
めのものである。

【００３１】マウント部２０１に交換レンズ３が装着さ
れたときの当該レンズ３の光軸Ｌ上であってカメラ本体
２内の適所にカラー撮像素子２０５が配設されている。
カラー撮像素子２０５（以下、ＣＣＤ２０５という。）
は、図５に示すようにＣＣＤ（Charge-Coupled Devic
e）からなるエリアセンサ２０５Ａの各画素の表面に、
Ｒ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタ２０５
Ｂが市松模様状に貼り付けられた、いわゆるベイヤー方
式と呼ばれる単板式カラーエリアセンサで構成され、例
えば１６００×１２００＝１９２万個の画素数を有して
いる。

【００３２】なお、図５に示すようにエリアセンサのｉ
行ｊ列目の画素位置を（ｉ，ｊ）（ｉ＝１，２，…ｎ、
ｊ=１，２，…ｍ）とし、ｎ＝１６００、ｍ＝１２００
とすると、Ｒ，Ｇ，Ｂの各カラーフィルタは、Ｒ；（２ｈ＋１，２ｋ＋１）Ｇ；（２ｈ＋２，２ｋ＋１），（２ｈ＋１，２ｋ＋２）Ｂ；（２ｈ＋２，２ｋ＋２）但し、ｈ＝０，１，２，…ｎ／２（＝８００）、ｋ=
０，１，２，…ｍ／２（＝６００）の画素位置に配置さ
れている。

【００３３】カメラ本体２のグリップ部２０２の上面に
はシャッタボタン２０６が設けられている。シャッタボ
タン２０６の半押し操作と全押し操作とは後述するスイ
ッチＳ１，Ｓ２により検出されるようになっている。ス
イッチＳ１がオンになると（シャッタボタン２０６が半
押しされると）、被写体の静止画を撮影するための準備
動作（露出制御値の設定や焦点調節等の準備動作）が行
なわれ、スイッチＳ２がオンになると（シャッタボタン
２０６が全押しされると）、撮影動作（ＣＣＤ２０５を
露光し、その露光によって得られた画像信号に所定の画
像処理を行なってメモリカードＭＣに記録する一連の動
作）が行なわれる。

【００３４】カメラ本体２の上面の略中央には電子ビュ
ーファインダ４（ＥＶＦ；Electronic View Finder）と
ポップアップタイプのフラッシュ５とが設けられてい
る。電子ビューファインダ４はＣＣＤ２０５で撮影され
た被写体のモニタ画像（撮影待機状態においてＣＣＤ２
０５により動画撮影された被写体の画像）を表示するカ
ラー液晶表示デバイスからなる表示部４０１（以下、Ｌ
ＣＤ表示部４０１という。）とこのカラー液晶表示デバ
イスに表示されたモニタ画像をファインダ窓４０３の外
側に導く接眼レンズ４０２とを備えている。

【００３５】撮影待機状態では電子ビューファインダ４
に被写体のモニタ画像（動画像）が表示されるので、撮
影者はファインダ窓４０３を覗くことによってモニタ画
像により被写体を視認することができる。

【００３６】カメラ本体２の背面の略中央にはカラー液
晶表示デバイスからなる表示部２０７（以下、ＬＣＤ表
示部２０７という。）が設けられている。ＬＣＤ表示部
２０７は、記録モードにおいて撮影モードや撮影条件等
を設定するためのメニュー画面を表示したり、再生モー
ドにおいてメモリカードＭＣに記録された撮影画像を再
生表示するものである。

【００３７】撮影モードには露出制御に関するモードと
画像合成処理に関するモードとが含まれる。露出制御に
関するモードとはレリーズ時の露出制御値（絞りの絞り
値と露光時間）の決定の仕方に関するモードである。露
出制御に関するモードには少なくともプログラムモー
ド、シャッタ優先モード、絞り優先モードが含まれる。
露出制御値は予め設定された複数のプログラム線図のい
ずれか１つを用いて設定されるようになっており、プロ
グラムモードでは標準的なプログラム線図を用いて露出
制御値が設定され、シャッタ優先モードでは絞り値より
シャッタ速度（露光時間）を優先するようなプログラム
線図を用いて露出制御値が設定され、絞り優先モードで
はシャッタ速度より絞り値を優先するようなプログラム
線図を用いて露出制御値が設定される。

【００３８】画像合成処理に関するモードとは、レリー
ズ時に撮影条件を変えて、若しくは撮影条件をそのまま
で連続して２回撮影を行ない、その撮影によって得られ
た２枚の撮影画像をそれぞれメモリカードＭＣに記録す
るモードである。このモードで連続して撮影された２枚
の撮影画像は、後述するコンピュータ等からなる画像処
理装置で所定の画像処理を行い、合成して元の撮影画像
よりも画質や映像効果の高い画像を得るためのものであ
る。

【００３９】画像合成処理に関するモードには少なくと
も「ボケ味調整モード」、「階調調整モード」、「超解
像モード」が含まれる。ボケ味調整モードとは、画像処
理で主被写体（例えば人物等）に対して焦点を合せた撮
影画像Ａと主被写体の背景に焦点を合わせた撮影画像Ｂ
とを合成することにより所望のボケ具合を有する画像を
得るために、１回のシャッタ操作で合焦位置を変化させ
て連続して２回の撮影動作を行い、撮影画像Ａと撮影画
像Ｂとを得るモードである。

【００４０】階調調整モードとは、画像処理で主被写体
に対して露出を合せた撮影画像Ａと主被写体の背景に露
出を合わせた撮影画像Ｂとを合成することにより、例え
ば画面全体に適正な濃度分布を有する画像や主被写体と
背景とのコントラストを意図的に大きくし、創作性の強
い画像を得るために、１回のシャッタ操作で露出条件を
変化させて連続して２回の撮影動作を行い、撮影画像Ａ
と撮影画像Ｂとを得るモードである。

【００４１】超解像モードとは、主被写体に対する撮影
位置が互いに微小変化した撮影画像Ａと撮影画像Ｂとを
合成することにより、元の撮影画像よりも解像度の高い
画像を得るために、１回のシャッタ操作でピントや露出
条件を変えないで連続して２回の撮影動作を行い、１回
目の撮影と２回目の撮影との間で僅かに異なるカメラア
ングルの相違により画面内の主被写体の位置が微小変化
した撮影画像Ａと撮影画像Ｂとを得るモードである。

【００４２】なお、画像処理装置におけるボケ味調整処
理、階調調整処理及び超解像処理の詳細は後述する。

【００４３】ＬＣＤ表示部２０７の左側には電源スイッ
チ２０８が設けられている。この電源スイッチ２０８は
記録モード（写真撮影の機能を果たすモード）及び再生
モード（記録画像をＬＣＤ表示部２０７に再生するモー
ド）を切換設定するモード設定スイッチを兼ねている。
すなわち、電源スイッチ２０８は３点スライドスイッチ
からなり、接点を中央の「ＯＦＦ」位置に設定すると、
電源がオフになり、接点を上方の「ＲＥＣ」位置に設定
すると、電源がオンになるとともに記録モードが設定さ
れ、接点を下方の「ＰＬＡＹ」位置に設定すると、電源
がオンになるとともに再生モードが設定される。

【００４４】ＬＣＤ表示部２０７の右側上方位置には４
連スイッチ２０９が設けられている。４連スイッチ２０
９は円形の操作ボタンを有し、この操作ボタンにおける
上下左右の４方向の押圧操作がそれぞれ検出されるよう
になっている。４連スイッチ２０９は多機能化され、例
えばＬＣＤ表示部２０７に表示されるメニュー画面で選
択された項目を変更したり、インデックス画面で選択さ
れた再生対象のコマを変更するための操作スイッチとし
て機能するとともに、左右方向のスイッチは交換レンズ
３のズーム比を変更するためのスイッチとしても機能す
るようになっている。

【００４５】また、４連スイッチ２０９の下方位置には
ＬＣＤ表示部２０７の表示や表示内容に関する操作を行
なうためスイッチ群２１０が設けられている。スイッチ
群２１０には取消スイッチ２１０ａ、確定スイッチ２１
０ｂ、メニュー表示スイッチ２１０ｃ及び表示スイッチ
２１０ｄが含まれる。

【００４６】取消スイッチ２１０ａはメニュー画面で選
択された内容を取り消すためのスイッチである。確定ス
イッチ２１０ｂはメニュー画面で選択された内容を確定
するためのスイッチである。メニュー表示スイッチ２１
０ｃはＬＣＤ表示部２０７にメニュー画面を表示させた
り、メニュー画面の内容を切り換えたりするためのスイ
ッチである。メニュー表示スイッチ２１０ｃを押圧する
毎にメニュー画面に切り換わる。表示スイッチ２１０ｄ
はＬＣＤ表示部２０７への表示を行なわせたり、その表
示を消したりするスイッチである。電源電池Ｅ１〜Ｅ４
の節電を図るため、カメラ起動時はＬＣＤ表示部２０７
の表示は行なわれないようになっている。表示スイッチ
２１０ｄを押圧する毎にＬＣＤ表示部２０７の表示と非
表示とが交互に行なわれる。

【００４７】メニュー画面では、例えば複数の項目が配
列表示され、現在選択されている項目に選択状態を示す
表示（例えばカーソルや反転表示等）が行なわれる。例
えば撮影モードの画像合成処理に関するモードを選択す
る場合、ＬＣＤ表示部２０７には、図６に示すようなメ
ニュー画面が表示される。このメニュー画面における
「通常撮影」の項目は、銀塩カメラにおける撮影動作と
同様の通常の撮影を行なうモードである。

【００４８】図６のメニュー画面において、４連スイッ
チ２０９の上方向スイッチが押されると、黒三角印のカ
ーソルＫの表示位置（すなわち、カーソルＫが示す項
目）が上方向にサイクリックに移動し、４連スイッチ２
０９の下方向スイッチが押されると、カーソルＫが示す
項目表示位置が下方向にサイクリックに移動する。そし
て、スイッチ群２１０の確定スイッチ２１０ｂが押され
ると、その時カーソルＫで指示されている項目（図６で
は階調調整モード）が撮影モードとして設定される。

【００４９】従って、撮影者は撮影モード選択用のメニ
ュー画面において、４連スイッチ２０９を上下方向に操
作して所望の撮影モードを選択し、確定スイッチ２１０
ｄを操作することでその撮影モードを設定することがで
きる。なお、露出制御に関するモードについても同様の
方法で所望の撮影モードを設定することができる。

【００５０】また、インデックス画面ではメモリカード
ＭＣに記録されている全ての画像から９コマ分のサムネ
イル画像が配列表示され、現在選択されているコマに選
択されている表示（例えば点滅表示や枠表示等）が行な
われる。４連スイッチ２０９の上下左右の何れかの方向
スイッチを押圧すると、メニュー画面やインデックス画
面の選択状態を示す表示がその方向の項目やコマに移動
する。例えば上方向スイッチを押圧すると、メニュー画
面やインデックス画面の選択状態を示す表示が上方向の
項目やコマに移動する。

【００５１】交換レンズ３のズーム操作では、４連スイ
ッチ２０９の右方向スイッチを押圧すると、交換レンズ
３がワイド側に連続的に移動し、４連スイッチ２０９の
左方向スイッチを押圧すると、交換レンズ３のズーム用
レンズがテレ側に連続的に移動する。

【００５２】図７は、デジタルスチルカメラ１の内部構
成を示すブロック構成図である。

【００５３】デジタルスチルカメラ１は、主にレンズ１
０１、撮像部１０２、信号処理部１０３、発光制御部１
０４、レンズ制御部１０５、表示部１０６、操作部１０
７及び全体制御部１０８で構成されている。

【００５４】レンズ１０１は交換レンズ３に相当するも
のである。レンズ１０１はフォーカス用レンズ１０１ａ
及びズーム用レンズ１０１ｂを備え、内部に透過光量を
調節するための絞り１０１ｃが設けられている。

【００５５】撮像部１０２はレンズ１０１を通して入射
した被写体光像を画像信号（電気画像）に光電変換して
取り込むものである。撮像部１０２にはＣＣＤ２０５に
相当するＣＣＤ１０２ａ、このＣＣＤ１０２ａの撮像動
作を制御するタイミングジェネレータ１０２ｂ及びタイ
ミングジェネレータ１０２ｂの駆動を制御するタイミン
グ制御回路１０２ｃが含まれる。

【００５６】ＣＣＤ１０２ａはタイミングジェネレータ
１０２ｂから入力される駆動制御信号（積分開始信号／
積分終了信号）に基づいて被写体光像を所定の時間（露
光時間）だけ受光して画像信号（電荷蓄積信号）に変換
し、その画像信号をタイミングジェネレータ１０２ｂか
ら入力される読出制御信号（水平同期信号、垂直同期信
号、転送信号等）を用いて信号処理部１０３に出力す
る。このとき、画像信号はＲ，Ｇ，Ｂの各色成分に分離
されて信号処理部１０３に出力される。すなわち、画素
位置（２ｈ＋１，２ｋ＋１）の各画素で受光された画像
信号を順次読み出すことでＲの色成分の画像信号が出力
され、画素位置（２ｈ＋２，２ｋ＋１），（２ｈ＋１，
２ｋ＋２）の各画素で受光された画像信号を順次読み出
すことでＧの色成分の画像信号が出力され、画素位置
（２ｈ＋２，２ｋ＋２）の各画素で受光された画像信号
を順次読み出すことでＢの色成分の画像信号が出力され
る。

【００５７】タイミングシェネレータ１０２ｂはタイミ
ング制御回路１０２ｃから入力される制御信号に基づい
て駆動制御信号を生成するとともに、基準クロックに基
づいて読出制御信号を生成し、ＣＣＤ１０２ａに出力す
る。タイミング制御回路１０２ｃは撮像部１０２の撮影
動作を制御するものである。タイミング制御回路１０２
ｃは全体制御部１０８から入力される制御信号に基づい
て撮影制御信号を生成する。この撮影制御信号には記録
モードにおいて撮影待機中に被写体の動画像（以下、ラ
イブビュー画像という。）を電子ビューファインダ４に
モニタ表示するための撮影の制御信号、シャッタボタン
６が操作されて被写体の静止画（以下、記録画像とい
う。）を撮影するための制御信号、基準クロック、ＣＣ
Ｄ１０２ａから出力された画像信号を信号処理部１０３
で信号処理するためのタイミング信号（同期クロック）
などが含まれる。このタイミング信号は信号処理部１０
３内の信号処理回路１０３ａ及びＡ／Ｄ変換回路１０３
ｂに入力される。

【００５８】信号処理部１０３はＣＣＤ１０２ａから出
力される画像信号に所定のアナログ信号処理及びデジタ
ル信号処理を行うものである。画像信号の信号処理は当
該画像データを構成する各画素の受光信号毎に行なわれ
る。以下、説明の便宜上、各画素の受光信号とこれらの
集合により撮影画像を構成する画像信号とを区別するた
め、必要に応じて各画素の受光信号を画素信号（アナロ
グ信号）もしくは画素データ（デジタル信号）という。

【００５９】信号処理部１０３にはアナログ信号処理回
路１０３ａ、Ａ／Ｄ変換回路１０３ｂ、黒レベル補正回
路１０３ｃ、ＷＢ回路１０３ｄ、γ補正回路１０３ｅ及
び画像メモリ１０３ｆが含まれる。なお、黒レベル補正
回路１０３ｃ、ＷＢ回路１０３ｄ及びγ補正回路１０３
ｅはデジタル信号処理を行う回路を構成するものであ
る。

【００６０】アナログ信号処理回路１０３ａは主にＣＤ
Ｓ回路（相関二重サンプリング）回路及びＡＧＣ（オー
トゲインコントロール）回路からなり、ＣＣＤ１０２ａ
から出力される画素信号のサンプリングノイズの低減と
信号レベルの調整を行う。ＡＧＣ回路におけるゲインコ
ントロールには、絞り１０１ｃの絞り値とＣＣＤ１０２
ａの露光時間とで適性露出が得られなかった場合（例え
ば非常に低輝度の被写体を撮影する場合等）の撮影画像
のレベル不足を補償する場合も含まれる。Ａ／Ｄ変換回
路１０２ｂはアナログ信号処理回路１０３ａから出力さ
れる各画素信号をデジタルの画像データに変換するもの
である。Ａ／Ｄ変換回路１０２ｂは各画素で受光された
画素信号を、例えば１０ビットの画素データに変換す
る。

【００６１】黒レベル補正回路１０３ｃはＡ／Ｄ変換さ
れた各画素データの黒レベルを基準の黒レベルに補正す
るものである。ＷＢ回路１０３ｄは撮影画像のホワイト
バランスを調整するものである。ＷＢ回路１０３ｄは全
体制御部１０８から入力されるレベル変換テーブルを用
いてＲ，Ｇ，Ｂの各色成分の画素データのレベルを変換
することで撮影画像のホワイトバランスを調整する。な
お、レベル変換テーブルの各色成分の変換係数は全体制
御部１０８から撮影画像毎に設定される。γ補正回路１
０３ｅは画素データのγ特性を補正するものである。γ
補正回路１０３ｅは予め設定された補正テーブルを用い
て各画素データのレベルを補正する。

【００６２】画像メモリ１０３ｆは信号処理の終了した
画像データを一時保存するメモリである。画像メモリ１
０３ｆは少なくとも２フレーム分の画像データを記憶し
得る容量を有している。これは、ボケ味調整モード等の
撮影では２回連続して露光が行なわれ、２フレーム分の
画像データが取り込まれるから、これらをそれぞれ保存
できるようにするためである。なお、１フレーム分の画
像データを記憶し得る記憶容量は、例えばＣＣＤ１０２
ａの画素数を１６００×１２００＝１９２万とすると、
１９２万個の画素データを記憶し得る容量である。

【００６３】発光制御部１０４は全体制御部１０８から
入力される発光制御信号に基づいてフラッシュ５の発光
を制御する。発光制御信号には発光準備の指示、発光タ
イミング及び発光量とが含まれる。発光制御部１０４は
全体制御部１０８から発光準備の指示があると、メイン
コンデンサを充電して発光可能状態にし、発光タイミン
グ信号に同期してメインコンデンサの蓄積電荷を放電す
ることによりフラッシュ５を発光させる。そして、全体
制御部１０８から入力される発光停止信号に基づいてメ
インコンデンサの蓄積電荷の放電を停止させる。これに
よりフラッシュ５は所要の発光量で発光される。

【００６４】レンズ制御部１０５はレンズ１０１内のフ
ォーカス用レンズ１０１ａ、ズーム用レンズ１０１ｂ及
び絞り１０１ｃの各部材の駆動を制御するものである。
レンズ制御部１０５は絞り１０１ｃの絞り値を制御する
絞り制御回路１０５ａ、フォーカスモータＦＭの駆動を
制御するフォーカス制御回路１０５ｂ及びズームモータ
ＺＭの駆動を制御するズーム制御回路１０５ｃを備えて
いる。

【００６５】絞り制御回路１０５ａは全体制御部１０８
から入力される絞り値に基づいて絞り１０１ａを駆動
し、その開口量を当該絞り値に設定する。フォーカス制
御回路１０５ｂは全体制御部１０８から入力されるＡＦ
制御信号（例えば駆動パルス数等の制御値）に基づいて
フォーカスモータＦＭの駆動量を制御し、フォーカス用
レンズを焦点位置に設定する。ズーム制御回路１０５ｃ
は全体制御部１０８から入力されるズーム制御信号（４
連スイッチ２０９の操作情報）に基づいてズームモータ
ＺＭを駆動し、ズーム用レンズ１０１ｂを４連スイッチ
２０９で指定された方向に移動させる。すなわち、ズー
ム制御回路１０５ｃは全体制御部１０８から４連スイッ
チ２０９の右方向の操作情報が入力されると、ズームモ
ータＺＭを正方向に駆動してズーム用レンズ１０１ｂを
ワイド側に移動させ、４連スイッチ２０９の左方向の操
作情報が入力されると、ズームモータＺＭを逆方向に駆
動してズーム用レンズ１０１ｂをテレ側に移動させる。

【００６６】表示部１０６はＬＣＤ表示部２０７への表
示と電子ビューファインダ４への表示とを行うものであ
る。表示部１０６にはＬＣＤ表示部２０７に相当するデ
ィスプレイ１０６ａ及びＶＲＡＭ１０６ｂと電子ビュー
ファインダ４内のＬＣＤ表示部４０１に相当するディス
プレイ１０６ｃ及びＶＲＡＭ１０６ｄとが含まれる。デ
ィスプレイ１０６ａは、例えば６４０×４８０＝３０７
２００の画素数を有し、ディスプレイ１０６ｃは、例え
ば４００×３００＝１２００００の画素数を有してい
る。従って、ＶＲＡＭ１０６ｂはディスプレイ１０６ａ
の画素数に対応して略３０．７万個の画素データが記憶
可能になされ、ＶＲＡＭ１０６ｄはディスプレイ１０６
ｃの画素数に対応して略１２万個の画素データが記憶可
能になっている。

【００６７】撮影待機中ではＣＣＤ１０２ａで撮影さ
れ、所定の信号処理の後に画像メモリ１０３ｆに格納さ
れる動画の各フレーム画像のデータが順次、全体制御部
１０８に読み出され、データサイズがディスプレイ１０
６ｃの表示サイズに調整されて（すなわち、１９２万画
素の画像データが略１２万画素の画像データに調整され
て）ＶＲＡＭ１０６ｄに転送される。これにより被写体
のプレビュー画像がディスプレイ１０６ｃ（ＬＣＤ表示
部４０１の表示面）にモニタ表示される。また、表示ス
イッチ２１０ｄに操作によりＬＣＤ表示部２０７の表示
が指示されると、全体表示部１０８に読み出された各フ
レーム画像のデータがディスプレイ１０６ａの表示サイ
ズに調整されて（すなわち、１９２万画素の画像データ
が略３０．７万画素の画像データに調整されて）ＶＲＡ
Ｍ１０６ｂに転送され、これにより被写体のプレビュー
画像がディスプレイ１０６ａ（ＬＣＤ表示部２０７の表
示面）にもモニタ表示される。

【００６８】更にメニュースイッチ２１０ｃの操作によ
りメニュー表示が指示されると、全体制御部１０８内の
ＲＯＭ１０８ａに記憶されたメニュー画面の画像データ
がＶＲＡＭ１０６ｂに読み出され、これによりディスプ
レイ１０６ａの表示内容がメニュー画面に切り換えられ
る。

【００６９】再生モードでは全体制御部１０８によりメ
モリカードＭＣに記録された各コマの画像ファイルから
撮影画像のサムネイル画像が読み出され、所定のフォー
マットに従って配列されてインデックス表示用の画像デ
ータが作成され、その画像データがＶＲＡＭ１０６ｂに
読み出される。これによりディスプレイ１０６ａにはメ
モリカードＭＣに記録された撮影画像の一覧が表示され
る。そして、４連スイッチ２０９の操作により再生すべ
きコマが指定されると、メモリカードＭＣに記録された
そのコマに対応する画像ファイルに記録された撮影画像
の画像データが読み出され、ディスプレイ１０６ａの表
示サイズに調整されてＶＲＡＭ１０６ｂに転送される。
これにより撮影画像がディスプレイ１０６ａ（ＬＣＤ表
示部２０７の表示面）に再生表示される。

【００７０】操作部１０７はカメラ本体２に設けられた
撮影や再生に関する操作部材の操作情報を全体制御部１
０８に入力するものである。操作部１０７から入力され
る操作情報にはシャッタボタン２０６、電源スイッチ２
０８、４連スイッチ２０９、スイッチ群２１０等の各操
作部材の操作情報が含まれる。

【００７１】全体制御部１０８はデジタルスチルカメラ
１の有する撮影機能及び再生機能を集中制御するもので
ある。全体制御部１０８にはカードインターフエース１
０９を介してメモリカードＭＣが接続されている。ま
た、通信用インターフェース１１０を介してパーソナル
コンピュータＰＣが外部接続されるようになっている。

【００７２】全体制御部１０８はマイクロコンクピュー
タからなり、撮影機能及び再生機能における種々の具体
的な処理を行なうための処理プログラムや上述の撮像部
１０２、信号処理部１０３、発光制御部１０４、レンズ
制御部１０５、表示部１０６等の駆動を制御するための
制御プログラムが記憶されたＲＯＭ１０８ａと処理プロ
グラム及び制御プログラムに従って種々の演算作業を行
なうためのＲＡＭ１０８ｂを備えている。

【００７３】全体制御部１０８の行なう具体的な処理に
は、ライブビュー画像を取り込んだり、被写体を撮影す
る際の露出制御値（ＣＣＤ１０２ａの露光時間Ｔｖ〔Ａ
ＰＥＸ値〕と絞り１０１ｃの絞り値Ａｖ〔ＡＰＥＸ
値〕）を算出する処理（露出制御値演算処理）、記録モ
ードにおいてＣＣＤ１０２ａから画像メモリ１０３ｆに
取り込まれたライブビュー画像を電子ビューファイダ４
に表示したり、再生モードにおいてメモリカードＭＣか
ら画像メモリ１０３ｆに読み出された記録画像をＬＣＤ
表示部２０７に表示する処理（画像表示処理）、記録モ
ードにおいてＣＣＤ１０２ａから画像メモリ１０３ｆに
取り込まれた記録画像をカードメモリＭＣに記録する処
理（記録処理）したり、再生モードにおいてメモリカー
ドＭＣから再生すべき記録画像を画像メモリ１０３ｆに
読み出す処理（再生処理）、ボケ味調整モード等の特殊
撮影モードにおいて連続して露光動作を行なわせる処理
（特殊露光制御処理）等が含まれる。

【００７４】露出値演算部１０８ｃ、表示制御部１０８
ｄ、記録制御部１０８ｅ、再生制御部１０８ｆ及び特殊
露光制御部１０８ｇは全体制御部１０８における上述の
各処理を機能ブロックで表わしたものである。

【００７５】露出値定部１０８ｃは露出値演算処理を行
なうもので、ライブビュー画像のＧの色成分の画像デー
タを用いて被写体の輝度を判定し、その判定結果に基づ
いて露出制御値を演算する。

【００７６】表示制御部１０８ｄは画像表示処理を行な
うもので、上述の表示部１０６の表示動作、すなわち、
画像メモリ１０３ｆに一時保存されている画像データを
読み出し、必要に応じて画像サイズを表示先の画像サイ
ズに調整した後、ＶＲＡＭ１０６ｃまたはＶＲＡＭ１０
６ｄに転送する動作を行なう。

【００７７】記録制御部１０８ｅは記録処理を行なうも
のである。記録制御部１０８ｅは、通常撮影モードにお
いて、シャッタボタン２０６により撮影が指示される
と、撮影指示後に画像メモリ１０３ｆに一時記憶された
画像データ（静止画の画像データ）をＲＡＭ１０８ｂに
読み出し、例えば２次元ＤＣＴ変換、ハフマン符号化等
のＪＰＥＧ方式による所定の圧縮処理を行なって記録用
の画像データを作成する。また、画像メモリ１０３ｆか
ら縦横両方向でそれぞれ８画素毎に画素データをＲＡＭ
１０８ｂに読み出すことで、画素数２００×１５０のサ
ムネイル画像を作成する。更に、これらの記録用の画像
データに付随して記録される撮影画像に関するタグ情報
を作成する。このタグ情報にはレンズ名称、コマ番号、
撮影時の焦点距離、撮影時のＦナンバー、焦点位置、被
写体輝度、ホワイトバランス調整値、撮影モード、圧縮
率、撮影日、フラッシュ発光の有無等が含まれる。

【００７８】そして、記録制御部１０８ｅは圧縮された
撮影画像及びサムネイル画像の画像データにタグ情報を
添付してＥＸＩＦ（Exchangeable Image File Format）
形式の画像ファィルを作成し、この画像ファィルをメモ
リカードＭＣに記録する。

【００７９】ボケ味調整モード、階調調整モード及び超
解像モードの撮影モードにおいても撮影画像がＡ/Ｄ変
換された後に画像ファィルが作成されてメモリカードＭ
Ｃに記録される。

【００８０】尤もこれらの撮影モードでは１回のシャッ
タ操作で２枚の撮影画像Ａ，Ｂが生じるので、各撮影画
像Ａ，Ｂについて非圧縮のＴＩＦＦ（Tag Image File F
ormat）形式の画像ファィルが作成されてそれぞれメモ
リカードＭＣに記録される。また、撮影画像Ａ，Ｂはボ
ケ味や階調や解像度などの優れた画像を生成するために
用いられるので、両画像ファイルのタグ情報には画像合
成用の撮影画像であることが認識できる情報が含まれ
る。また、撮影画像Ａ，Ｂは画像合成によって画質を改
善するためのものであるから、画質の低下要因となる圧
縮処理は行なわないで、全画素データがそのまま記録さ
れる。

【００８１】図８は、メモリカードＭＣに記録された画
像ファイルの構成例を示すものである。

【００８２】同図において、「Ｐ０００００１．ＴＩ
Ｆ」、「Ｐ０００００２．ＴＩＦ」等は画像ファイル名
を示している。本実施形態では画像ファイル名を「Ｐ
Ｘ．Ｙ」で表記しており、「ＰＸ．Ｙ」の「Ｘ」は画像
ファイルが作成された順番を示す６桁の番号であり、
「Ｙ」は画像データの形式を示す記号である。「Ｙ」に
入る記号「ＴＩＦ」はＣＣＤ２０５から出力される画素
データをそのまま記録する形式であることを示し、記号
「ＪＰＧ」はＪＰＥＧ形式で圧縮されたデータであるこ
とを示している。

【００８３】また、ボケ味調整モード、階調調整モード
及び超解像モードでは連続して２枚の撮影画像が取り込
まれ、これらの画像データについてそれぞれ画像ファイ
ルが作成されるから、本実施形態では両画像ファイルを
１つのホルダに纏めてメモリカードＭＣに記録するよう
になっている。従って、「１ｂ」及び「２ｂ」、「１
ｔ」、「２ｈ」等はそれぞれボケ味調整モード、階調調
整モード及び超解像モードで撮影された画像ファィルの
ホルダ名を示している。

【００８４】なお、本実施形態ではホルダ名を「Ｎｉ」
で表記しており、「Ｎｉ」の「ｉ」は撮影モードを示す
記号（ｂ，ｔ，ｈ）であり、「Ｎ」は各撮影モードにお
ける撮影順を示す番号である。例えば「１ｂ」はボケ味
調整モードで最初に撮影された画像の画像データが格納
されたホルダであることを示し、「２ｂ」はボケ味調整
モードで２番目に撮影された画像の画像データが格納さ
れたホルダであることを示している。

【００８５】従って、図８は、ボケ味調整モードで撮影
され、作成された２個のホルダ１ｂ，２ｂと階調調整モ
ード及び超解像モードでそれぞれ撮影され、作成された
ホルダ１ｔ，１ｈと通常撮影モードで撮影され、作成さ
れた２個の画像ファイル１ｎ，２ｎとがホルダＰに纏め
られてメモリカードＭＣに保存されていることを示して
いる。

【００８６】図９は、メモリカードＭＣへの画像ファイ
ルの記録方法を示す図である。

【００８７】メモリカードＭＣの先頭の記憶領域にはホ
ルダ情報と各ホルダに属する画像ファイルの情報とを記
憶するインデックス領域が設けられ、その後の領域に各
画像ファイルがファイル番号Ｘの順に記憶されている。

【００８８】メモリカードＭＣにおける各画像ファイル
の記録領域は３つの領域からなり、上から各領域にタグ
情報のデータ、撮影画像のデータ及びサムネイル画像の
データが記憶される。タグ情報データ及びサムネイル画
像データのデータサイズは画像ファィルによって変化し
ないが、撮影画像のデータサイズは圧縮率や撮影モード
によって変化する。このため、メモリカードＭＣの画像
ファィルの記憶領域に記憶可能なファイル数は各画像フ
ァィルの撮影画像データのデータサイズによって変化す
る。

【００８９】再生制御部１０８ｆはメモリカードＭＣに
記録された撮影画像のＬＣＤ表示部２０７への再生処理
を行なうものである。再生制御部１０８fは、電源スイ
ッチ２０８により再生モードが設定されると、メモリカ
ードＭＣに記録された各画像ファイルからサムネイル画
像を読み出し、順次、所定のインデックスフォーマット
に従ってＶＲＡＭ１０６ｂに記憶する。例えば１ページ
当たり、９枚のサムネイル画像が３×３に２次配列され
るようにＶＲＡＭ１０６ｂに記憶する。従って、これに
よりＬＣＤ表示部２０７に９枚の２次元配列されたサム
ネイル画像がインデックス表示される。

【００９０】なお、撮影モードがボケ味調整モード、階
調調整モード及び超解像モードである対関係の画像ファ
ィルについては、両画像ファイルに同一のサムネイル画
像が記憶されているので、一方の画像ファイルのみから
サムネイル画像が読み出される。

【００９１】インデックス表示されたサムネイル画像に
対して再生すべきコマのサムネイル画像が４連スイッチ
２０９及びスイッチ群２１０によって指定されると、再
生処理部１０８ｆは、そのコマに対応する画像ファィル
から撮影画像のデータを読み出し、そのコマが通常撮影
モードの場合は、データが圧縮されているので、所定の
伸長処理を行なった後、画像メモリ１０３ｆに記憶し、
そのコマが通常撮影モードでない場合は、データは圧縮
されていないので、そのまま画像メモリ１０３ｆに記憶
する。この画像メモリ１０３ｆに読み出されたデータ
は、上述したように表示制御部１０８ｄによりデータサ
イズが調整されてＶＲＡＭ１０６ｂに転送され、これに
よりＬＣＤ表示部２０７に再生表示される。

【００９２】なお、再生すべきコマがボケ味調整モード
で撮影されたコマである場合は、ピントの合っている撮
影画像（本実施形態では後述するように２回目に撮影さ
れた画像）の画像ファィルから撮影画像のデータが読み
出され、階調調整モード及び超解像モードで撮影された
コマである場合は、対応する画像ファイルの内、いずれ
か一方の画像ファイルから撮影画像のデータが読み出さ
れる。

【００９３】特殊露光制御部１０８ｇは、ボケ味調整モ
ード、階調調整モード及び超解像モードが設定されてい
る状態でシャッタボタン６が全押しされたときのＣＣＤ
１０２ａの露光動作を制御するものである。特殊露光制
御部１０８ｇは、基本的にＳ２スイッチがオンになる
と、画像合成用の画像を取り込むため、連続してＣＣＤ
１０２ａの露光動作を２回繰り返す。

【００９４】次に、デジタルスチルカメラ１の記録モー
ドにおける撮影動作について、本発明に係るボケ味調整
モード、階調調整モード及び超解像モードにおける撮影
動作を説明する。

【００９５】図１０はボケ味調整モードでの静止画の撮
影手順を示すフローチャートである。

【００９６】ボケ味調整モードにおいて、シャッタボタ
ン２０６が半押しされると（＃１でＹＥＳ）、静止画撮
影のための準備が行なわれる。すなわち、絞り１０１ｃ
の絞り値が開放絞り値（例えばＦ＝２．８）に設定され
（＃３）、レンズ１０１の焦点が∞位置に調節される
（＃５）。また、ＣＣＤ１０２ａの露光時間が設定さ
れ、ホワイトバランス調整が行なわれる（＃７）。

【００９７】この状態でシャッタボタン２０６が全押し
されると（＃７でＹＥＳ）、ＣＣＤ１０２ａをステップ
＃７で設定された露光時間だけ露光して被写体の静止画
像が取り込まれる（＃１１）。露光の後、ＣＣＤ１０２
ａから出力される画像信号は信号処理部１０３で所定の
アナログ信号処理、Ａ／Ｄ変換及び所定のデジタル信号
処理が行なわれて画像メモリ１０３ｆに記憶される。こ
の撮影画像はレンズ１０１の焦点を∞位置に調節してい
るので、画面の背景にピントが合い、画面内の人物等の
主被写体に対してはピンボケ状態となっている。

【００９８】続いて、全体制御部１０８の記録制御部１
０８ｅによりタグ情報のデータが作成されるとともに、
画像メモリ１０３ｆに記憶された画像データを用いてサ
ムネイル画像の画像データが作成され、これらのデータ
と画像メモリ１０３ｆに記憶された画像データとから画
像ファィルが作成され、メモリカードＭＣに記憶される
（＃１３）。なお、この撮影画像に対するタグ情報の撮
影モードには「ボケ味調整モード１／２」(図８参照）
のように、ボケ味調整モードで１回目に撮影されたもの
であることを示す情報が付与される。

【００９９】この撮影モードに関する情報をタグ情報に
入れているのは、通常撮影モードの撮影画像と識別する
とともに、後述するように画像処理装置でこの画像ファ
ィルが選択されたとき、自動的にボケ味調整処理の処理
プログラムを起動して直ちにボケ味調整処理ができるよ
うにするためである。なお、ボケ味調整モードで撮影さ
れた２枚目の撮影画像に付いても同様であり、階調調整
モードや超解像モードで撮影された画像についても同様
にタグ情報に撮影モードに関する情報を記録するように
している。

【０１００】続いて、レンズ１０１の焦点が、例えば３
ｍ先の位置に調節され（＃１５）、更にＣＣＤ１０２ａ
の露光時間が設定されるとともに、ホワイトバランス調
整が行なわれる（＃１７）。

【０１０１】そして、ＣＣＤ１０２ａをステップ＃１７
で設定された露光時間だけ露光して被写体の静止画像が
取り込まれる（＃１９）。露光の後、ＣＣＤ１０２ａか
ら出力される画像信号は信号処理部１０３で所定のアナ
ログ信号処理、Ａ／Ｄ変換及び所定のデジタル信号処理
が行なわれて画像メモリ１０３ｆに記憶される。この撮
影画像はレンズ１０１の焦点を３ｍ先に調節しているの
で、ほぼ画面内の主被写体に対しピントが合っている。

【０１０２】続いて、全体制御部１０８の表示制御部１
０８ｄにより画像メモリ１０３ｆからＲＡＭ１０８ｂに
画像データが読み出され、データサイズが調整された
後、ＶＲＡＭ１０６ｂに転送されてＬＣＤ表示部２０７
に表示される（＃２１）。この表示処理は撮影直後に撮
影画像をモニタできるようにするためのもので、所定の
時間（例えば２秒間）が経過すると、ライブビュー画像
に切り換えられる。

【０１０３】また、全体制御部１０８の記録制御部１０
８ｅによりタグ情報のデータが作成されるとともに、画
像メモリ１０３ｆに記憶された画像データを用いてサム
ネイル画像の画像データが作成される。なお、この撮影
画像に対するタグ情報の撮影モードには「ボケ味調整モ
ード２／２」のように、ボケ味調整モードで２回目に撮
影されたものであることを示す情報が付与される。

【０１０４】そして、これらのデータと画像メモリ１０
３ｆに記憶された画像データとから画像ファィルが作成
され、メモリカードＭＣに記憶される（＃２３）。これ
により撮影処理は終了し、撮影待機状態（ライブビュー
画像の表示状態）に戻る。

【０１０５】なお、この実施形態では、最初に遠景側に
焦点を合わせた後、２回目に近景側に焦点を合すように
しているが、合焦位置の変更順はこの逆であってもよ
い。また、カメラ起動後、ボケ味調整モードで撮影が行
なわれる場合、カメラ起動時はフォーカス用レンズ１０
１ａが∞位置に初期設定されるので、最初の撮影では遠
景側に焦点を合わせる方がフォーカス制御の無駄が無
く、合理的である。

【０１０６】また、２回目の撮影では合焦位置をカメラ
から３ｍの位置に固定しているが、これはボケ味調整処
理により任意のピント状態の合成画像が作成されるの
で、合成前の撮影画像の合焦位置を正確に決定する必要
性が低いことと、フォーカス制御の処理時間を出来るだ
け短くして連続撮影を迅速に行なえるようにすることを
考慮したものであり、合焦位置としてカメラからの距離
を他の距離に固定してもよく、ＡＦ処理により正確に主
被写体までの距離としてもよい。

【０１０７】図１１は、階調調整モードでの静止画の撮
影手順を示すフローチャートである。

【０１０８】階調調整モードにおいて、シャッタボタン
２０６が半押しされると（＃３１でＹＥＳ）、静止画撮
影のための準備が行なわれる。すなわち、レンズ１０１
の焦点が主被写体に調節されるとともに、ライブビュー
画像を用いて露出制御値（Ｔｖ，Ａｖ）が算出され、ホ
ワイトバランス調整値が設定される（＃３３）。

【０１０９】この状態でシャッタボタン２０６が全押し
されると（＃３５でＹＥＳ）、ステップ＃３３で設定さ
れたシャッタスピードＴｖ(ＡＰＥＸ値)より２段階アン
ダーのシャッタスピード（Ｔｖ−２）が設定され（＃３
７）、このシャッタスピードに相当する露光時間だけＣ
ＣＤ１０２ａを露光して被写体の静止画像が取り込まれ
る（＃３９）。露光の後、ＣＣＤ１０２ａから出力され
る画像信号は信号処理部１０３で所定のアナログ信号処
理、Ａ／Ｄ変換及び所定のデジタル信号処理が行なわれ
て画像メモリ１０３ｆに記憶される。この撮影画像はＣ
ＣＤ１０２の露光時間を適正値より短くしているので、
全体的に暗い画像となっている。

【０１１０】続いて、全体制御部１０８の記録制御部１
０８ｅによりタグ情報のデータが作成されるとともに、
画像メモリ１０３ｆに記憶された画像データを用いてサ
ムネイル画像の画像データが作成され、これらのデータ
と画像メモリ１０３ｆに記憶された画像データとから画
像ファィルが作成され、メモリカードＭＣに記憶される
（＃４１）。なお、この撮影画像に対するタグ情報の撮
影モードには「階調調整モード１／２」のように、階調
調整モードで１回目に撮影されたものであることを示す
情報が付与される。

【０１１１】続いて、ステップ＃３３で設定されたシャ
ッタスピードＴｖ(ＥＶ値)より２段階オーバーのシャッ
タスピード（Ｔｖ＋２）が設定され（＃４３）、このシ
ャッタスピードに相当する露光時間だけＣＣＤ１０２ａ
を露光して被写体の静止画画像が取り込まれる（＃４
５）。露光の後、ＣＣＤ１０２ａから出力される画像信
号は信号処理部１０３で所定のアナログ信号処理、Ａ／
Ｄ変換及び所定のデジタル信号処理が行なわれて画像メ
モリ１０３ｆに記憶される。この撮影画像はＣＣＤ１０
２の露光時間を適正値より長くしているので、全体的に
明るい画像となっている。

【０１１２】続いて、全体制御部１０８の記録制御部１
０８ｅによりタグ情報のデータが作成されるとともに、
画像メモリ１０３ｆに記憶された画像データを用いてサ
ムネイル画像の画像データが作成され、これらのデータ
と画像メモリ１０３ｆに記憶された画像データとから画
像ファィルが作成され、メモリカードＭＣに記憶される
（＃４７）。

【０１１３】なお、この撮影画像に対するタグ情報の撮
影モードには「階調調整モード２／２」のように、階調
調整モードで２回目に撮影されたものであることを示す
情報が付与される。

【０１１４】続いて、全体制御部１０８の表示制御部１
０８ｄにより画像メモリ１０３ｆから１回目の撮影画像
Ａの画像データと２回目の撮影画像Ｂの画像データとが
ＲＡＭ１０８ｂに読み出され、両撮影画像の平均濃度を
有する画像Ｃ（以下、平均濃度画像Ｃという。）の画像
データが作成される（＃４９）。すなわち、撮影画像Ａ
を構成する画素データをｇa(i,j)（ｉ＝１，２，…ｎ，
ｊ＝１,２,…ｍ）、撮影画像Ｂを構成する画素データを
ｇb(i,j)とすると、ｇc(i,j)＝｛ｇa(i,j)＋ｇb(i,j)｝
／２を演算することで平均濃度画像Ｃの画像データが作
成される。

【０１１５】この画像データはデータサイズが調整され
た後、ＶＲＡＭ１０６ｂに転送されてＬＣＤ表示部２０
７に表示される（＃５１）。この表示処理は撮影直後に
撮影画像をモニタできるようにするためのもので、所定
の時間（例えば２秒間）が経過すると、ライブビュー画
像に切り換えられる。

【０１１６】なお、モニタ画像として平均濃度画像Ｃを
用いているのは、１回目と２回目の撮影画像の濃度はそ
れぞれ適正濃度よりそれぞれ−側と＋側にずれているの
で、両者の平均値を取ることで演算処理に時間をかける
ことなく適正な濃度バランスを有する画像を直ちに表示
するようにしたものである。

【０１１７】この実施形態では、適正な露出制御に対し
て±２段階だけずらした露出値で連続的に２枚の画像を
撮影するようにしているが、適正露出値からのずれ量は
これに限定されるものではない。また、プラス／マイナ
スのずれ量を異なるようにしてもよく、撮影者がずれ量
を設定できるようにしても良い。

【０１１８】図１２は、超解像モードでの静止画の撮影
手順を示すフローチャートである。

【０１１９】超解像モードにおいて、シャッタボタン２
０６が半押しされると（＃６１でＹＥＳ）、静止画撮影
のための準備が行なわれる。すなわち、レンズ１０１の
焦点が主被写体に調節されるとともに、ライブビュー画
像を用いて露出制御値（Ｔｖ，Ａｖ）が算出され、ホワ
イトバランス調整値が設定される（＃６３）。

【０１２０】この状態でシャッタボタン２０６が全押し
されると（＃６５でＹＥＳ）、ステップ＃６３で設定さ
れたシャッタスピードＴｖに相当する露光時間だけＣＣ
Ｄ１０２ａを露光して被写体の静止画像が取り込まれる
（＃６７）。露光の後、ＣＣＤ１０２ａから出力される
画像信号は信号処理部１０３で所定のアナログ信号処
理、Ａ／Ｄ変換及び所定のデジタル信号処理が行なわれ
て画像メモリ１０３ｆに記憶される。

【０１２１】続いて、全体制御部１０８の記録制御部１
０８ｅによりタグ情報のデータが作成されるとともに、
画像メモリ１０３ｆに記憶された画像データを用いてサ
ムネイル画像の画像データが作成され、これらのデータ
と画像メモリ１０３ｆに記憶された画像データとから画
像ファィルが作成され、メモリカードＭＣに記憶される
（＃６９）。なお、この撮影画像に対するタグ情報の撮
影モードには「超解像モード１／２」のように、超解像
モードで１回目に撮影されたものであることを示す情報
が付与される。

【０１２２】続いて、ステップ＃６３で設定されたシャ
ッタスピードＴｖに相当する露光時間だけＣＣＤ１０２
ａを露光して再度、被写体の静止画像が取り込まれる
（＃７１）。露光の後、ＣＣＤ１０２ａから出力される
画像信号は信号処理部１０３で所定のアナログ信号処
理、Ａ／Ｄ変換及び所定のデジタル信号処理が行なわれ
て画像メモリ１０３ｆに記憶される。この撮影画像は１
回目の撮影画像と撮影条件は同じであるが、撮影タイミ
ングが異なるため、１回目の撮影画像に対してカメラア
ングルが僅かに異なったものとなっている点で相違して
いる。

【０１２３】続いて、全体制御部１０８の記録制御部１
０８ｅによりタグ情報のデータが作成されるとともに、
画像メモリ１０３ｆに記憶された画像データを用いてサ
ムネイル画像の画像データが作成され、これらのデータ
と画像メモリ１０３ｆに記憶された画像データとから画
像ファィルが作成され、メモリカードＭＣに記憶される
（＃７３）。

【０１２４】なお、この撮影画像に対するタグ情報の撮
影モードには「超解像モード２／２」のように、超解像
モードで２回目に撮影されたものであることを示す情報
が付与される。

【０１２５】続いて、全体制御部１０８の表示制御部１
０８ｄにより画像メモリ１０３ｆから１回目の撮影画像
がＲＡＭ１０８ｂに読み出され、データサイズが調整さ
れた後、ＶＲＡＭ１０６ｂに転送されてＬＣＤ表示部２
０７に表示される（＃７５）。この表示処理には２回目
の撮影画像を用いてもよい。

【０１２６】この表示処理は撮影直後に撮影画像をモニ
タできるようにするためのもので、所定の時間（例えば
２秒間）が経過すると、ライブビュー画像に切り換えら
れる。また、２枚の画像を合成して解像度の高い画像を
作成するには処理時間を要し、モニタ表示には適さない
ので、ステップ＃７５では処理前の撮影画像を直接表示
するようにしている。

【０１２７】次に、本発明に係る撮像システムに適用さ
れる画像処理装置について説明する。

【０１２８】図１３は、画像処理装置の構成を示す外観
図である。同図に示す画像処理装置６は、パーソナルコ
ンピュータ７とその出力装置であるプリンタ８とで構成
されている。

【０１２９】パーソナルコンピュータ７（以下、パソコ
ン７という。）は、ＦＤドライバ７０１ａ、メモリカー
ドリーダ７０１ｂ及びＣＤ−ＲＯＭドライバ７０１ｃを
備えたコンピュータ本体７０１とＣＲＴ若しくはＬＣＤ
からなるディスプレイ７０２とキーボード７０３とマウ
ス７０４とで構成されている。

【０１３０】パソコン７は、ボケ味調整モードで撮影さ
れた２枚の撮影画像を合成して所望のボケ具合を有する
撮影画像を作成するための処理プログラム（以下、ボケ
味調整処理プログラムという。）、階調調整モードで撮
影された２枚の撮影画像を合成して所望の階調を有する
撮影画像を作成するための処理プログラム（以下、階調
調整処理プログラムという。）及び超解像モードで撮影
された２枚の撮影画像を合成して解像度の高い撮影画像
を作成するための処理プログラム（以下、超解像処理プ
ログラムという。）等の画像合成用の処理プログラムが
記録されたＣＤ−ＲＯＭ９をＣＤ−ＲＯＭドライバ７０
１ｃに装着し、この画像合成用の処理プログラムをコン
ピュータ本体７０１内のハードディスク（主記憶装置）
にインストールすることにより画像処理装置として機能
する。

【０１３１】なお、本実施形態では、ＣＤ−ＲＯＭ９に
記録された処理プログラムをコンピュータ７にインスト
ールすることにより画像処理装置を構成するようにして
いるが、予め装置本体の主記憶装置に処理プログラムが
記憶された専用の画像処理装置であってもよい。

【０１３２】画像合成用の処理プログラムによる２枚の
撮影画像の合成処理手順や合成された画像（ボケ具合や
階調が調整された画像若しくは高解像度の画像）は、後
述するようにディスプレイ７０２に表示される。また、
合成後の画像はプリンタ８によってハードコピーを作成
することができる。

【０１３３】次に、画像処理装置６における画像合成処
理について説明する。

【０１３４】図１４は、画像合成用の処理プログラムを
起動するための処理手順を示すフローチャートである。

【０１３５】ボケ味調整処理プログラム、階調調整処理
プログラム及び超解像処理プログラムの各処理プログラ
ムは、各処理プログラムに対応する撮影モードで撮影さ
れた画像の画像ファイルを備えたフォルダが指定される
と、それに連動して起動されるようになっている。

【０１３６】例えばキーボード７０３若しくはマウス７
０４の操作により上記各モードで撮影後のメモリカード
ＭＣへのアクセスが指示され、上記各モードで撮影され
た画像が格納されたフォルダを指定する、又はフォルダ
内の画像ファイルを示すアイコンにカーソルを移動さ
せ、そのアイコンの画像ファイルを開く指示が入力され
ると、メモリカードＭＣに記憶された当該画像ファイル
からタグ情報がパソコン本体７内に読み込まれ（＃８
１）、そのタグ情報内の撮影モードの内容が判別される
（＃８３，＃８７，＃９１）。

【０１３７】撮影モードがボケ味調整モードであれば
（＃８３でＹＥＳ）、ボケ味調整処理プログラムが起動
され（＃８５）、撮影モードが階調調整モードであれば
（＃８７でＹＥＳ）、階調調整処理プログラムが起動さ
れ（＃８９）、撮影モードが超解像モードであれば（＃
９１でＹＥＳ）、超解像処理プログラムが起動され（＃
９３）、撮影モードが通常撮影モードであれば（＃９１
でＮＯ）、通常の撮影画像を対象とする上記処理プログ
ラム以外の所定の処理プログラム、例えば画像補正用の
処理プログラムが起動される（＃９５）。

【０１３８】図１５は、ボケ味調整処理プログラムが起
動したときのディスプレイ７０２に表示されるボケ味調
整用のダイアログ・ボックスの一例を示す図である。

【０１３９】図１５に示す作業画面はパーソナルコンピ
ュータ７の所定のＯＳ（OperatingSystem）上でボケ味
調整処理プログラムを起動したときのもので、デスク・
トップ画面にボケ味調整処理を行なうためのダイアログ
・ボックス１０が表示されている。

【０１４０】ダイアログ・ボックス１０にはボケ味調整
処理に関係する撮影画像のサムネイル画像を表示する３
個の表示領域１１ａ〜１１ｃと処理内容や処理条件を入
力するための６個のボタン表示１２ａ〜１２ｆとが表示
される。

【０１４１】表示領域１２ａ及び表示領域１１ｂは画面
上部に配置され、表示領域１１ａには２枚目の撮影画像
（近景にピントの合った撮影画像）のサムネイル画像Ａ
が表示され、表示領域１１ｂには１枚目の撮影画像（遠
景にピントの合った撮影画像のサムネイル画像Ｂが表示
される。また、表示領域１１ｃは表示領域１２ａの下部
に配置され、サムネイル画像Ａとサムネイル画像Ｂとを
合成してボケ味調整のシミュレートを行なったサムネイ
ル画像Ｃ（図２４参照）が表示される。

【０１４２】ボタン表示１２ａ〜１２ｅは表示領域１１
ｂの下部にこの順に縦配列されて表示され、ボタン表示
１２ｆは表示領域１１ｃの下部に表示されている。

【０１４３】「ファイル」と表記されたボタン表示１２
ａ（以下、ファイルボタン１２ａという。）は他の撮影
コマの画像ファイルを開くためのボタンである。ファイ
ルボタン１２ａにカーソルＫを移動してマウス７０４が
ダブルクリックされると、他の撮影コマの画像ファィル
を開くための所定の処理ソフトが行なわれ、図１６に示
すフローチャートに従って画像ファイルの読取処理が行
なわれる。

【０１４４】すなわち、ディスプレイ７０２の画面に画
像ファイルを開くためのダイアログ・ボックスが表示さ
れ、開くべき撮影コマが指定されると（＃１０１）、メ
モリカードＭＣから当該撮影コマに対応する画像ファイ
ルのタグ情報に含まれる撮影モードの情報が読み出され
る（＃１０３）。そして、その撮影モードの情報からそ
の撮影コマがボケ味調整モードで撮影されたものである
か否かが判別され（＃１０５）、ボケ味調整モードで撮
影されたものであれば（＃１０５でＹＥＳ）、指定され
た撮影コマに対する画像合成処理と現在開いている画像
合成処理ソフトとが一致するので、その撮影コマに対応
するホルダに含まれる２個の画像ファィルからそれぞれ
撮影画像とサムネイル画像の画像データがＲＡＭ１０８
ｂに読み出され（＃１０７）、ボケ味調整モードで撮影
されたものでなければ（＃１０５でＮＯ）、指定された
撮影コマに対する画像合成処理と現在開いている画像合
成処理ソフトとが一致しないので、所定のエラーメッセ
ージが表示される（＃１０９）。

【０１４５】なお、図１６に示すフローチャートでは、
指定された撮影コマが現在開いているボケ味調整処理に
対応したボケ味調整モードで撮影されたものでない場合
は、その撮影コマに対する画像合成処理が不適合である
としてエラーメッセージを表示し、作業者にボケ味調整
モードで撮影された撮影コマを指定するようにしている
が、図１７に示すフローチャートのように、指定された
撮影コマが現在開いているボケ味調整処理に対応したボ
ケ味調整モードで撮影されたものでない場合は、その撮
影コマの撮影モードに対応した画像合成処理ソフトを起
動して当該撮影コマに対する画像合成処理を直ちにでき
るようにしてもよい。

【０１４６】図１６に示すフローチャートは、現在起動
している画像合成処理ソフトを優先し、この画像合成処
理ソフトを終了させない限り、当該画像合成処理ソフト
に適合しない撮影モードで撮影された撮影コマの画像フ
ァイルのオープンを禁止するものである。このフローチ
ャートは、現在起動している画像合成処理ソフトに適合
しない撮影コマの画像ファイルが開かれることによるそ
の後の矛盾した処理を解消するための複雑な処理を不要
とし、処理が簡単になる点で有利である。

【０１４７】一方、図１７に示すフローチャートは、指
定された撮影コマの撮影モードを優先し、当該撮影コマ
に対する画像合成処理ソフトが現在起動している画像合
成処理ソフトと適合しない場合は、起動すべき画像合成
処理ソフトを切り換えるものである。このフローチャー
トは、指定された撮影コマの撮影モードが現在起動して
いる画像合成処理ソフトと適合しなければ、その都度指
定された撮影コマの撮影モードに適合する画像合成処理
ソフトを再起動するので、図１６に示すフローチャート
よりも処理が複雑になる。

【０１４８】しかし、上述したように本実施形態では、
最初に起動される画像合成処理ソフトは、最初に画像フ
ァイルが開かれた撮影コマの撮影モードに対応したもの
であり、作業者が指定した撮影コマの撮影モードに付随
するようになっている。これは、作業者は所望の撮影コ
マについて所要の画像合成処理をした後、鑑賞するとい
う作業性を考慮したものであるが、図１７のフローチャ
ートもこの考え方に共通するものであり、作業者にとっ
ては作業効率がよいという利点がある。

【０１４９】なお、図１７に示すフローチャートは、図
１６のフローチャートのステップ＃１０９を図１４に示
すフローチャートのステップ＃８７〜＃９５と同一の処
理内容を有するステップ＃１０９-１〜＃１０９-４に置
き換えたもので、撮影モードがボケ味調整モードでなけ
れば（＃１０５でＮＯ）、撮影モードが階調調整モー
ド、超解像モード及び通常撮影モードの何れであるか判
別され（＃１０９-１，＃１０９-３）、撮影モードが階
調調整モードであれば（＃１０９-１でＹＥＳ）、階調
調整処理プログラムが起動され（＃１０９-２）、撮影
モードが超解像モードであれば（＃１０９-３でＹＥ
Ｓ）、超解像処理プログラムが起動され（＃１０９-
４）、撮影モードが通常撮影モードであれば（＃１０９
-３でＮＯ）、通常の撮影画像を対象とする上記処理プ
ログラム以外の所定の処理プログラム、例えば画像補正
用の処理プログラムが起動される（＃１０９-５）。

【０１５０】図１５に戻り、「実行」と表記されたボタ
ン表示１２ｂは（以下、実行ボタン１２ｂという。）は
ボケ味調整モードで撮影されたピント状態の異なる２枚
の撮影画像を用いて実際にボケ味調整処理を実行するた
めのボタンである。

【０１５１】実行ボタン１２ｂにカーソルＫを移動して
マウス７０４がダブルクリックされると、ピント状態の
異なる２枚の撮影画像を用いてボケ味調整画像を作成す
るための所定の処理ソフトが起動し、図２０〜図２２に
示すフローチャートに従ってボケ味調整処理が行なわれ
る。

【０１５２】ここで、本実施形態で採用するボケ味調整
画像作成の方法について簡単に説明する。このボケ味調
整画像作成の方法はサムネイル画像を用いてボケ味調整
画像をシミュレートする場合にも適用される。

【０１５３】ピント状態の異なる２枚の画像（例えば図
１８に示すように、近景に合焦し、遠景がピンボケ状態
の近景合焦画像Ｉrと遠景に合焦し、近景がピンボケ状
態の画像Ｉf）を用いて任意のピント状態の画像Ｉを作
成する方法として種々の方法が知られているが、基本的
に、２枚の画像Ｉr，Ｉf間での位置合わせ（レジスト
レーション処理）と、所定の演算処理によるボケ味調
整画像の作成（画像合成処理）という２つの工程で構成
される。

【０１５４】レジストレーション処理は、画像合成処理
において画面内の同一の図柄を正確に合成するため、合
成対象となる両画像の位置を合わせるものである。レジ
ストレーション処理は、画像全体のレジストレーション
（粗い位置合わせ）とその後の局所的なレジストレーシ
ョン（細かい位置合わせ）の２段階で行なわれる。

【０１５５】画像全体のレジストレーションでは、例え
ば近景合焦画像Ｉrを基準にして遠景合焦画像Ｉｆを拡
大／縮小、平行移動、回転等を行ないつつ両画像Ｉr，
Ｉfを照合して、両画像Ｉr，Ｉfが一致する遠景合焦画
像Ｉfの拡大率、平行移動量及び回転角等が算出され
る。なお、近景合焦画像Ｉrに対する遠景合焦画像Ｉfの
一致度は、両画像間の対応する各画素のレベル差の２乗
平均値ΔＶを算出し、これらの総和ΣΔＶを指標として
評価され、この総和ΣΔＶが最小となる拡大率、平行移
動量及び回転角等の値が画像の位置合わせ情報として算
出される。

【０１５６】なお、拡大率、平行移動量及び回転角等の
画像の位置合わせ情報は、近景合焦画像Ｉrと遠景合焦
画像Ｉfの合焦状態が異なり、両画像Ｉr，Ｉfを直接比
較すると、誤差が生じる可能性があるので、階層化マッ
チング法を用いて算出される。

【０１５７】局所的なレジストレーション処理は、近景
合焦画像Ｉrと画像全体のレジストレーションを行なっ
た遠景合焦画像Ｉfとの間で画素毎の位置ずれを補正す
るものである。この補正は近景合焦画像Ｉfの画素位置
（ｘ，ｙ）と画像全体のレジストレーションを行なった
遠景合焦画像Ｉfの画素位置（ｘ＋ｍ，ｙ＋ｎ）を中心
にｒ×ｒ画素内の両画像の対応する画素のレベル差の２
乗平均値を算出し、更にｒ×ｒ個の総和が最小となるパ
ラメータ（ｍ，ｎ）を算出することにより行なわれる。
全ての画素に対してパラメータ（ｍ，ｎ）を算出し、こ
のパラメータ（ｍ，ｎ）を用いて遠景合焦画像Ｉfを補
正すると、最終的に近景合焦画像Ｉrに対して位置合わ
せの行なわれた遠景画像画像Ｉfが得られる。

【０１５８】なお、レジストレーション処理は、近景合
焦画像Ｉrと遠景合焦画像Ｉfとが全く同一であれば必ず
しも必要はないが、撮影画像のように異なる時間に撮影
された画像の場合は連続的に撮影されたものであっても
被写体が画面内で微小変位していることが通常であるか
ら、本実施形態では必ずレジストレーション処理を行な
っている。

【０１５９】画像合成処理としては、例えばセグメント
法、反復法、逆フィルタ法などの種々の方法が知られて
いる。本実施形態では反復法を採用しているので、以下
の説明では反復法について説明する。

【０１６０】図１８に示すように、近景合焦画像Ｉrを
表す関数ｇ1(x,y)は、合焦している近景領域を表す関数
をｆ1(x,y)、合焦している遠景領域を表す関数をｆ2(x,
y)、合焦していない遠景領域のボケ具合を表す関数をｈ
2(ｘ,ｙ)とすると、ｇ1(x,y)＝ｆ1(x,y)＋ｈ2(x,y)・ｆ2(x,y)…(1) で表される。

【０１６１】同様に、遠景合焦画像Ｉrを表す関数ｇ2
(x,y)は、合焦していない近景領域のボケ具合を表す関
数をｈ1(ｘ,ｙ)とすると、ｇ2(x,y)＝ｆ2(x,y)＋ｈ1(x,y)・ｆ1(x,y)…(2) で表される。

【０１６２】一方、ボケ味調整画像Ｉが近景合焦画像Ｉ
rの近景領域をボケ関数ｈa(x,y)でぼかした画像と遠景
合焦画像Ｉfの遠景領域をボケ関数ｈb(x,y)でぼかした
画像とを合成して作成されるとすると、ボケ味調整画像
Ｉを表す関数ｆ(x,y)は、ｆ(x,y)＝ha(x,y)・f1(x,y)+hb(x,y)・f2(x,y)…(3) で表される。

【０１６３】なお、ボケ関数ｈ1，ｈ2は、ボケ具合を表
す関数ｈを、ｈ(x,y)＝(1/πR²)・exp（-(x²+y²)/R²）…(4) Ｒ；ボケ量（ボケ半径）の二次元ガウス関数で表されると仮定して遠景合焦画像
Ｉfの近景領域画像や近景合焦画像Ｉrの遠景領域画像か
ら推定することができるが、撮影画像の場合は撮影レン
ズの合焦位置からボケ量を算出することができるので、
本実施形態では画像ファイルのタグ情報に含まれる撮影
レンズの種類と撮影時の焦点距離の情報とに基づいて予
め設定されたテーブルを参照して設定されるようになっ
ている。また、ボケ関数ｈa，ｈbは予めディフォルト値
が設定されているが、後述するように「設定」と表記さ
れたボタン１２ｃ（以下、設定ボタン１２ｃという。）
を操作することで開かれるダイアログ・ボックスから所
望のボケ量を設定することができるようになっている。

【０１６４】（１）〜（３）式からｆ1(x,y)、ｆ2(x,y)
を消去すると、近景合焦画像Ｉrの関数ｇ1(x,y)、遠景
合焦画像Ｉfの関数ｇ2(x,y)、ボケ味調整画像Ｉの関数
ｆ(x,y)の間の関係式（ha-hb・h1)・g1+(hb-ha・h2)・g2＝(δ-h1・h2)・f…(5) が得られる。なお、（５）式でδはディラックのデルタ
関数である。また、（５）式では便宜上、関数表記の変
数(x,y)部分を省略している。以下の説明でも変数(x,y)
の部分を省略して各関数を表記するものとする。

【０１６５】よって、（５）式を解くことによりボケ味
調整画像Ｉを示す関数ｆを得ることができる。反復法
は、（５）式において、左辺をｇ＝（ha-hb・h1)・g1+(hb
-ha・h2)・g2とおき、ボケ味調整画像を表す関数ｆの初期
値ｆ⁽⁰⁾（例えば関数ｇ1，ｇ2，（ｇ1＋ｇ2）／２等）
を適当に設定してｇ＋ｈ1・ｈ2・ｆ^(K)＝ｆ^(K+1)（ｋ＝
０，１，２，…）の反復演算を繰り返すと、ｋ→∞でｆ
⁽∞⁾が（５）式を満足するｆに収束することから、この
反復演算を繰り返すことにより（５）式の解を得る方法
である。従って、ｇ＋ｈ1・ｈ2・ｆ^(K)の反復演算を繰
り返すことにより所望のボケ具合を有するボケ味調整画
像Ｉが算出される。

【０１６６】図１５に戻り、設定ボタン１２ｃは、近景
合焦画像Ｉrのボケ量Ｒ1、遠景合焦画像のボケ量Ｒ2及
び反復演算回数ｋのボケ味調整処理のためのパラメータ
を設定するためのボタンである。設定ボタン１２ｃにカ
ーソルＫを移動してマウス７０４がダブルクリックされ
ると、ボケ量Ｒ1，Ｒ2及び反復演算回数ｋのパラメータ
を設定するための処理プログラムが起動し、ディスプレ
イ７０２の画面に、図１９に示すようなパラメータ設定
用のダイアログ・ボックス１３が表示される。

【０１６７】ダイアログ・ボックス１３にはボケ量すｒ
1，ｒ2を設定するためのスライドスイッチ表示１４ａ，
１４ｂと反覆演算回数ｋを入力するための領域１５と設
定内容を確定するための「ＯＫ」ボタン表示１６とが表
示される。ボケ量ｒ1，ｒ2はスライドスイッチ表示１４
ａ，１４ｂにカーソルＫを移動し、マウス７０４をワン
クリックした状態で左右に移動させて当該カーソルＫを
移動させることでその設定値が変更される。ボケ量ｒ
1，ｒ2の設定値はスライドスイッチ表示１４ａ，１４ｂ
が左側に移動すると小さくなり、右側に移動すると大き
くなる。

【０１６８】なお、操作者には感覚的なボケ具合しかイ
メージできず、ボケ量ｒ1，ｒ2の具体的な数値と実際の
ボケ具合との関係は認識できないので、図１９の設定画
面では近景合焦画像及び遠景合焦画像の感覚的なボケ具
合が、例えば１０段階のスライダー形式で入力できるよ
うになっている。

【０１６９】反復演算回数ｋは窓１５にカーソルＫを移
動し、キーボード７０３から直接、数値を入力すること
で設定される。ＯＫボタン表示１６にカーソルＫを移動
し、マウス７０４をダブルクリックすると、設定された
近景合焦画像及び遠景合焦画像のボケ具合と反復演算回
数ｋが確定される。

【０１７０】図１５に戻り、「シミュレーション」と表
記されたボタン表示１２ｄは（以下、シミュレーション
ボタン１２ｄという。）は表示領域１１ａに表示された
サムネイル画像Ａと表示領域１１ｂに表示されたサムネ
イル画像Ｂとを用いてボケ味調整処理をシミュレートす
るためのボタンである。

【０１７１】２枚のピント状態の異なる画像を用いて任
意のピント具合の画像を合成する場合、仕上がり状態が
どのようになるかは実際に合成してみなければ分からな
いのが通常であるが、そのために実際の撮影画像を用い
てボケ味調整処理をしていたのでは、撮影画像の画像デ
ータは膨大であるため、処理結果が出るまで長時間を要
し、簡単にボケ味を確認した場合には極めて不便であ
る。そこで、本実施形態では画素数の少ないサムネイル
画像を用いてボケ味調整をシミュレートすることによ
り、簡易かつ迅速にボケ味調整画像を確認できるように
している。

【０１７２】シミュレーションボタン１２ｄにカーソル
Ｋを移動してマウス７０４がダブルクリックされると、
サムネイル画像を用いてボケ味調整画像を作成するため
の所定の処理ソフトが起動し、図２３に示すフローチャ
ートに従ってサムネイル画像を用いたボケ味調整処理が
行なわれる。

【０１７３】「終了」と表記されたボタン表示１２ｅは
（以下、終了ボタン１２ｅという。）はボケ味調整処理
を終了するためのボタンで、ダイアログ・ボックス１０
の左上隅に表示された×印表示と同一機能を果たすもの
である。終了ボタン１２ｅにカーソルＫを移動してマウ
ス７０４がダブルクリックされると、ボケ味調整処理の
ソフトが終了する。

【０１７４】「中止」と表記されたボタン表示１２ｆは
（以下、中止ボタン１２ｆという。）はボケ味調整処理
のシミュレーション処理を途中で中止させるためのボタ
ンである。中止ボタン１２ｆにカーソルＫを移動してマ
ウス７０４がダブルクリックされると、ボケ味調整処理
のシミュレーションが中止される。

【０１７５】次に、図２０〜図２２のフローチャートに
従ってボケ味調整処理について具体的に説明する。

【０１７６】ボケ味調整処理のソフトが起動すると、指
定されたホルダに含まれる２個の画像ファイルＰ（Ｘ＋
１）．ＴＩＦ，ＰＸ．ＴＩＦからそれぞれサムネイル画
像Ａ，Ｂが読み出され、ダイアログ・ボックスの表示領
域１１ａ，１１ｂに表示される（＃１１１，＃１１
３）。

【０１７７】続いて、近景合焦画像及び遠景合焦画像に
対するボケ量Ｒ1，Ｒ2及び反復演算回数ｋが設定される
（＃１１５，＃１１７）。ボケ量Ｒ1，Ｒ2及び反復演算
回数ｋは、上述したように図１９に示す設定画面で操作
者によって設定されなければ、予め設定されたディフォ
ルト値（例えばボケ具合はレベル５、反復演算回数ｋは
２０）に設定され、操作者によって新たに設定される
と、その設定値が設定される。

【０１７８】続いて、サムネイル画像を用いたボケ味調
整処理のシミュレーションが指示されている否かが判別
され（＃１１９）、シミュレーションが指示されていれ
ば（＃１１９でＹＥＳ）、図２３に示すフローチャート
に従ってボケ味調整処理のシミュレーションが行なわれ
た後（＃１２１）、ステップ＃１２３に移行し、シミュ
レーションが指示されていなければ（＃１１９でＮ
Ｏ）、ステップ＃１２１をスキップしてステップ＃１２
３に移行する。

【０１７９】ボケ味調整処理のシミュレーションを行な
うソフトが起動すると、まず、サムネイル画像Ａとサム
ネイル画像Ｂとの間でのレジストレーション処理がＧの
色成分の画像を用いて行なわれ（＃１９１）、サムネイ
ル画像Ａに対するサムネイル画像Ｂのずれ量（δｘ，δ
ｙ）が決定される（＃１９３）。なお、本実施形態で
は、簡易に平行移動のみでレジストレーション処理を行
なっているので、縦方向ｘと横方向ｙとについてずれ量
（δｘ，δｙ）が算出される。

【０１８０】続いて、サムネイル画像ＢのＲ，Ｇ，Ｂの
各色成分の画像を全体的にずれ量（δｘ，δｙ）だけ移
動させてサムネイル画像Ａとサムネイル画像Ｂとの位置
合わせが行なわれる（＃１９５）。

【０１８１】続いて、タグ情報に含まれる撮影レンズの
種類と撮影時の焦点距離の情報とに基づき予めＲＯＭ１
０８ａに記憶された所定のテーブルを参照してサムネイ
ル画像Ａに対応する撮影画像のボケ量（ボケ半径）ｒ1
（上記（４）式におけるボケ量Ｒに相当）と撮影画像Ｂ
に対応する撮影画像のボケ量（ボケ半径）ｒ2（上記
（４）式におけるボケ量Ｒに相当）とが設定され（＃１
９７）、これらのボケ量ｒ1，ｒ2を４分の１にしてサム
ネイル画像Ａに対するボケ量ｒ1’（＝ｒ1／４）とサム
ネイル画像Ｂに対するボケ量ｒ2’（＝ｒ2／４）とが決
定される（＃１９９）。

【０１８２】ボケ量ｒ1，ｒ2を４分の１にしてサムネイ
ル画像Ａ，Ｂに対するボケ量ｒ1’，ｒ2’を算出してい
るのは、本実施形態ではサムネイル画像Ａ，Ｂのサイズ
を撮影画像の１／４にしているため、撮影画像に対して
予め算出されているボケ量ｒ1，ｒ2を１／４にしなけれ
ば、サムネイル画像Ａ，Ｂに対するボケ量ｒ1’，ｒ2’
とならないからである。サムネイル画像Ａ，Ｂのサイズ
が撮影画像の１／ｎであれば、サムネイル画像Ａ，Ｂに
対するボケ量ｒ1’，ｒ2’はｒ1’＝ｒ1／ｎ，ｒ2’＝
ｒ2／ｎで算出される。

【０１８３】続いて、反復法によりボケ味調整画像Ｃを
算出する際の反復演算回数をカウントするカウンタのカ
ウント値Ｎが「０」にリセットされる（＃２０１）。続
いて、Ｒ，Ｇ，Ｂの各色成分について、１回目のボケ味
調整画像Ｃを表すｆ⁽¹⁾がｆ⁽ ¹⁾＝ｇ＋ｈ1・ｈ2・ｆ⁽⁰⁾
により演算され（＃２０３）、その演算結果が表示領域
１１ｃに表示される（＃２０５）。ここに、関数ｆ⁽⁰⁾
はボケ味調整画像Ｃを表す関数ｆの初期値で、例えばサ
ムネイル画像Ａを表す関数ｇ1とサムネイル画像Ｂを表
す関数ｇ2との平均値（ｇ1＋ｇ2）／２である。また、
ボケ関数ｈ1，ｈ2は、上記（４）式のボケ量Ｒにそれぞ
れステップ＃１９９で設定されたボケ量ｒ1’，r2’を
代入して得られるボケ関数である。また、関数ｇは、上
記（４）式のボケ量Ｒにそれぞれ予め設定されたボケ量
のディフォルト値ｒa，ｒbを代入して得られるボケ関数
ｈa，ｈbと上記ボケ関数ｈ1，ｈ2及び画像関数ｇ1，ｇ2
とからｇ＝（ha-hb・h1)・g1+(hb-ha・h2)・g2により算出さ
れるものである。

【０１８４】続いて、中止ボタン１２ｆにカーソルＫを
移動してマウス７０４をダブルクリックすることにより
演算の中止が指示されているか否か、反復演算中に反復
演算結果が収束しているか否か、反復演算回数Ｎが設定
された所定回数ｋに達しているか否かが順次、判別され
（＃２０７，＃２０９，＃２１１）、反復演算の中止が
指示されている（＃２０７でＹＥＳ）、反復演算結果が
収束している（＃２０９でＹＥＳ）、あるいは反復演算
回数Ｎが設定された所定回数ｋに達していると（＃２１
１でＹＥＳ）、サムネイル画像によるボケ味調整処理の
シミュレーションを終了する。

【０１８５】一方、反復演算の中止が指示されておらず
（＃２０７でＮＯ）、反復演算結果も収束しておらず
（＃２０９でＮＯ）、反復演算回数Ｎが所定回数ｋに達
していなければ（＃２１１でＮＯ）、カウンタのカウン
ト値Ｎが１だけインクリメントされて（＃２１３）、ス
テップ＃２０３に戻り、次のボケ味調整演算が行なわれ
る。すなわち、２回目の場合は、１回目のボケ味調整画
像Ｃを表すｆ⁽¹⁾を用いてｆ⁽²⁾＝ｇ＋ｈ1・ｈ2・ｆ⁽¹⁾
が演算され、その演算結果ｆ⁽²⁾が表示領域１１ｃに更
新的に表示される（＃２０３，＃２０５，＃２０７）。

【０１８６】図２４は、サムネイル画像を用いたボケ味
調整処理のシミュレーション状態を示す図である。同図
は、反復演算が５回行なわれた状態を示し、表示領域１
１ｃにその演算結果であるボケ味調整画像Ｃが表示さ
れ、ダイアログ・ボックスの下部に処理途中であること
を示すプログレス・バー１７と反復演算回数表示１８と
が表示されている。作業者は反復演算処理の途中経過が
表示領域１１ｃの表示画像で逐次確認できるので、所望
のボケ具合の画像が得られた時点で中止ボタン１２ｆに
カーソルＫを移動させてマウス７０４をダブルクリック
することによりシミュレーションを中止させることがで
きる。

【０１８７】以下、同様の方法でボケ味調整画像Ｃを表
すｆ^(k)を算出する反復演算が繰り返し行なわれ（＃２
０３〜＃２１３のループ）、この間に反復演算の中止が
指示されるか、反復演算結果が収束すると（＃２０７又
は＃２０９でＹＥＳ）、その時点でサムネイル画像によ
るボケ味調整処理のシミュレーションを終了し、反復演
算の中止も指示されず、反復演算結果も収束しなければ
（＃２０７又は＃２０９でＮＯ）、反復演算回数Ｎが所
定回数ｋに達した時点で（＃２１１でＹＥＳ）、サムネ
イル画像によるボケ味調整処理のシミュレーションを終
了する。

【０１８８】図２０に戻り、ステップ＃１２３に移行す
ると、撮影画像を用いたボケ味調整処理の実行が指示さ
れているか否かが判別され、ボケ味調整処理の実行が指
示されていなければ（＃１２３でＮＯ）、ステップ＃１
１５に戻り、実行指示の待機状態となる。

【０１８９】ボケ味調整処理の実行が指示されると（＃
１２３でＹＥＳ）、ステップ＃１２５に移行し、画像フ
ァイルＰ（Ｘ＋１）．ＴＩＦ，ＰＸ．ＴＩＦからそれぞ
れ撮影画像（遠景合焦画像ｇaと近景合焦画像ｇb）の
Ｒ，Ｇ，Ｂの色成分の画像データがコンピュータ本体７
０１内の記憶装置に読み出される（＃１２５，＃１２
７）。続いて、両撮影画像ｇa，ｇbのＧの色成分の画像
データについて、不足する画素位置の画像データが補間
される（＃１２９，＃１３１）。

【０１９０】すなわち、本実施形態では単板式のカラー
撮像素子２０５で撮影された撮影画像に対してボケ味調
整処理を行なうので、図２５（ａ）に示すようにＧの色
成分の画像データは（２ｈ＋２，２ｋ＋１）と（２ｈ＋
１，２ｋ＋２）（ｈ＝０，１，２…ｎ／２、ｋ＝０，
１，２，…ｍ／２）の画素位置にしか存在しないから、
同図（ｂ）に示すように画素位置（２ｈ＋１，２ｋ＋
１），（２ｈ＋２，２ｋ＋２）に画像データＧ’が補間
される。この画像データＧ’の補間処理は、例えば補間
すべき画素位置の画像データとして隣接する画素位置の
画像データＧの平均値を演算することにより行なわれ
る。例えば画素位置（２，２）の画像データＧ _2,2は画
素位置（２，１），（１，３），（３，２），（２，
３）の画像データＧ_2,1，Ｇ_1,3，Ｇ_3,2，Ｇ_2,3を用いて
Ｇ_2,2＝（Ｇ_2,1＋Ｇ_1,3＋Ｇ_3,2＋Ｇ_2,3）／４により算
出される。

【０１９１】続いて、サムネイル画像を用いたボケ味調
整処理のシミュレーションが実施されたか否かが判別さ
れ（＃１３３）、既にボケ味調整処理のシミュレーショ
ンが実施されていれば（＃１３３でＹＥＳ）、撮影画像
ｇaと撮影画像ｇbとの間でのレジストレーション処理に
おけるずれ量の初期値（δｘ０,δｙ０）として、その
シミュレーションで算出されたサムネイル画像Ａに対す
るサムネイル画像Ｂのずれ量（δｘ,δｙ）を４倍した
値（４δｘ,４δｙ）が設定され（＃１３５）、ボケ味
調整処理のシミュレーションが実施されていなければ
（＃１３３でＮＯ）、適当な値が設定される（＃１３
７）。

【０１９２】ステップ＃１３５は、サムネイル画像につ
いてずれ量（δｘ,δｙ）が算出されているので、その
ずれ量（δｘ,δｙ）に基づく初期値を用いることによ
り撮影画像でのレジストレーション処理におけるずれ量
（δｘ’,δｙ’）を容易かつ高速に算出できるように
するものである。ずれ量（４δｘ,４δｙ）を撮影画像
でのレジストレーション処理におけるずれ量の初期値
（δｘ０,δｙ０）を設定しているのは、サムネイル画
像が撮影画像のサイズを１／４に縮少して作成されてい
るからである。従って、サムネイル画像が撮影画像のサ
イズを１／ｎに縮少して作成されていれば、撮影画像で
のレジストレーション処理におけるずれ量の初期値（δ
ｘ０,δｙ０）は（ｎ・δｘ,ｎ・δｙ）となる。

【０１９３】続いて、Ｇの色成分の画像を用いて撮影画
像ｇaと撮影画像ｇbとの間でのレジストレーション処理
が行なわれ（＃１３９）、撮影画像ｇaに対する撮影画
像ｇbのずれ量（δｘ’，δｙ’）が決定される（＃１
４１）。そして、撮影画像ｇbのＲ，Ｇ，Ｂの各色成分
の画像を全体的にずれ量（δｘ’，δｙ’）だけ移動さ
せて撮影画像ｇaと撮影画像ｇbとの位置合わせが行なわ
れ（＃１４３）、画像ファイルＰ（Ｘ＋１）．ＴＩＦ，
ＰＸ．ＴＩＦのタグ情報に含まれる撮影レンズの種類と
撮影時の焦点距離の情報とに基づき予めＲＯＭ１０８ａ
に記憶された所定のテーブルを参照して撮影画像ｇaの
ボケ量ｒ1と撮影画像ｇbのボケ量（ボケ半径）ｒ2とが
設定される（＃１４７）。

【０１９４】続いて、両撮影画像ｇa，ｇbのＲ，Ｂの色
成分の画像データについて、画像データの存在しない画
素位置の画像データを間引いて反復演算処理用の画像デ
ータが作成される（＃１４７〜＃１５３）。例えばＲの
色成分の場合、図２６（ａ）に示すように（２ｈ＋１，
２ｋ＋１）の画素位置にしか画像データがないから、こ
れ以外の画素位置の画像データを間引いて同図（ｂ）に
示すようにｎ／４×ｍ／４の画像サイズに縮少された反
復演算処理用の画像データが作成される。Ｂの色成分に
ついても同様に、（２ｈ＋２，２ｋ＋２）の画素位置に
しか画像データがないから、これ以外の画素位置の画像
データを間引いてｎ／４×ｍ／４の画像サイズに縮少さ
れた反復演算処理用の画像データが作成される。

【０１９５】このようにボケ味調整の反復演算を行なう
前にＧの色成分については全画素位置に対して画像デー
タを補間し、Ｒ，Ｂの色成分については画像データのな
い画素位置を間引くようにしているのは、Ｇの色成分は
解像度に与える影響が顕著であるのに対し、Ｒ，Ｂの色
成分は解像度に与える影響は小さく、色味に与える影響
が大きいという人間の視覚特性を考慮したものである。

【０１９６】一般にデジタル画像処理では解像度の高い
程、高精度の処理結果が得られるが、処理対象のデータ
数が膨大となり、処理時間が長くなる。このため、処理
結果に対する許容品質との関係で可能な限り処理対象の
データ数を減らして処理時間を短くすることが必要であ
り、また、操作性や省電力化等の観点からも要求され
る。

【０１９７】反復法によるボケ味調整処理においては、
ボケ味調整具合をできるだけ正確に認識できることが品
質上要求されるから、それに与える影響の大きいＧの色
成分の画像データについては補間処理を行なって全画素
位置の画像データを作成することにより処理結果の品質
で高めるようにする一方、ボケ味調整具合に与える影響
の少ないＲ，Ｂの画像データについては元々画像データ
の存在しない画素位置の画像データを演算処理の対象か
ら除外して処理時間を可能な限り短くするようにしてい
る。

【０１９８】これにより処理後のボケ具合の品質に影響
を与えることなく、Ｒ，Ｂの色成分についてもＧの色成
分と同様に全画素位置に画像データを補間してボケ味調
整処理を行なうよりも高速でボケ味調整処理を行なうこ
とができる。

【０１９９】続いて、ステップ＃１５５〜＃１７３で
Ｒ，Ｇ，Ｂの色成分の画像毎に反復法によりボケ味調整
処理が行なわれる。この処理は基本的にサムネイル画像
を用いたシミュレーションにおけるボケ味調整処理（図
２３に示すフローチャートのステップ＃２０３〜＃２１
３の処理）と同一であるが、Ｇの色成分の画像に対して
はボケ量をｒ1，ｒ2にしているのに対し、Ｒ，Ｂの色成
分の画像に対してはボケ量をｒ1／２，ｒ2／２にしてい
る点で相違している（＃１５７，＃１６１）。

【０２００】Ｒ，Ｂの色成分の画像に対するボケ量をＧ
の色成分の画像に対するボケ量の１／２にしているの
は、Ｇの色成分の画像のデータサイズはフルサイズであ
るのに対し、Ｒ，Ｂの色成分の画像はステップ＃１４７
〜＃１５３でデータサイズをフルサイズに対して１／２
×１／２に縮小しているからである。Ｒ，Ｂの色成分デ
ータサイズがフルサイズに対して１／ｓ×１／ｓに縮小
されている場合は、Ｒ，Ｂの色成分の画像に対するボケ
量はｒ1／ｓ，ｒ2／ｓとなる。

【０２０１】ボケ味調整処理が終了すると（＃１６７，
＃１６９，＃１７１でＹＥＳ）、続いて、ボケ味調整画
像ｇcのＲ，Ｂの色成分の画像データに対して補間処理
が行なわれる（＃１７５，＃１７７）。この補間処理
は、Ｒ，Ｂの色成分のボケ味調整画像ｇcは間引き処理
によりデータサイズが縮小されているので、フルサイズ
の画像データに復元するものである。例えばＲの色成分
のボケ味調整画像ｇcは、図２７（ａ）（ｂ）に示すよ
うに各画素データＲの画素位置を対応する（２ｈ＋１，
２ｋ＋１）の画素位置に戻した後、これらの画像データ
Ｒを用いて同図（ｃ）に示すようにデータが不足する画
素位置の画像データＲ’が補間される。その画像データ
Ｒ’の補間は上述したＧの色成分の画像データの補間方
法と同様にして行なわれる。Ｂの色成分のボケ味調整画
像ｇcについても同様の方法で補間処理が行なわれる。

【０２０２】続いて、Ｒ，Ｇ，Ｂの色成分のボケ味調整
画像ｇcが合成され（＃１７９）、その合成結果は、図
２８に示すようにディスプレイ７０２に処理結果表示用
のダイアログ・ボックス１９を表示させ、その表示領域
２０に表示される（＃１８１）。

【０２０３】このダイアログ・ボックス１９にはその下
部に、作成されたボケ味調整画像ｇcの保存を指示する
ためのボタン表示２１（以下、保存ボタン２１とい
う。）が表示されており、保存ボタン２１にカーソルＫ
を移動してマウス７０４がダブルクリックされると（＃
１８３でＹＥＳ）、更に図２９に示すようにディスプレ
イ７０２に保存条件入力用のダイアログ・ボックス２２
が表示され、このダイアログ・ボックス２２に従って圧
縮率、ファイル名及びホルダ名等が入力され（＃１８
５，＃１８７）、そのダイアログ・ボックス２２の下部
に表示されたＯＫボタン１６にカーソルＫを移動してマ
ウス７０４がダブルクリックされると、入力された条件
に従ってボケ味調整画像ｇcの画像データがコンピュー
タ本体７０１内の所定のメモリに保存される（＃１８
９）。

【０２０４】すなわち、圧縮率が設定されていると（＃
１８５でＹＥＳ）、その圧縮率で所定の圧縮方式（ＪＰ
ＥＧ方式等）によりボケ味調整画像ｇcの画像データが
圧縮され（＃１８７）、圧縮率が設定されていなければ
（＃１８５でＮＯ）、圧縮処理を行なうことなく、設定
されたファイル名でコンピュータ本体７内の所定のメモ
リに保存され（＃１８９）、次のボケ味調整処理を行な
うべくステップ＃１１１に戻る。

【０２０５】なお、図２９に示すダイアログ・ボックス
２２では、圧縮率の入力表示がスライダー表示２３で表
示され、スライダー表示２３にカーソルＫを移動し、マ
ウス７０４をワンクリックした状態で左右に移動させて
当該カーソルＫを移動させることで圧縮率が設定され
る。圧縮率が０％に設定されると、圧縮処理は行なわれ
ない。

【０２０６】次に、階調調整処理について説明する。

【０２０７】図３０は、階調調整処理プログラムが起動
したときのディスプレイ７０２に表示される階調調整用
のダイアログ・ボックスの一例を示す図である。

【０２０８】階調調整用のダイアログ・ボックス２４の
構成は基本的に図１５に示すボケ味調整用のダイアログ
・ボックス１０と同じである。従って、ダイアログ・ボ
ックス１０と同一機能を果たすものには同一の番号を付
している。

【０２０９】画面上部に配置された表示領域１２ａ，１
２ｂにはそれぞれ２枚目の撮影画像（露出オーバーの撮
影画像）のサムネイル画像Ａと１枚目の撮影画像（露出
アンダーの撮影画像）のサムネイル画像Ｂとが表示さ
れ、表示領域１２ｃにはサムネイル画像Ａとサムネイル
画像Ｂとを合成して階調調整のシミュレーションを行な
ったサムネイル画像Ｃが表示される。

【０２１０】ここで、階調調整処理の内容について簡単
に説明する。

【０２１１】本実施形態では、階調調整処理に用いられ
る撮影画像は被写体の輝度に対して適正露出より２段階
露出アンダーの撮影画像Ｇ１と２段階露出オーバーの撮
影画像Ｇ２である。被写体の輝度に対して適正露出で撮
影された画像の階調特性は、図３２の特性（ｃ）に示す
ように被写体の輝度レベルとＡ／Ｄ変換レベルとが略等
しくなるが、露出アンダーの撮影画像Ｇ１は撮像素子へ
の露光量が抑えられるので、その階調特性は同図の特性
（ａ）に示すように、被写体の輝度レベルに対してＡ／
Ｄ変換レベルは低く抑えられたものとなっている。

【０２１２】一方、露出オーバーの撮影画像Ｇ２は撮像
素子への露光量が過剰になるので、その階調特性は同図
の特性（ｂ）に示すように、被写体の輝度レベルに対し
てＡ／Ｄ変換レベルは高く強調されたものとなってい
る。

【０２１３】階調調整処理では、画素毎に撮影画像Ｇ１
の画像データと撮影画像Ｇ２の画像データとを適当な加
算比率で加算することにより図３２の階調特性（ａ）と
階調特性（ｂ）とで挟まれた範囲内で任意の階調特性を
有する撮影画像が作成される。加算比率は、画像データ
のレベルに無関係に一定ではなく、図３３に示すように
画像データのレベルが低くなるのに応じて露出オーバー
の撮影画像Ｇ２の画像データの加算比率が大きくなるよ
うに変化させている。このように露出オーバーの撮影画
像Ｇ２の加算比率を大きくしているのは、被写体の暗い
部分を見やすくするためである。

【０２１４】図３３は、露出オーバーの撮影画像Ｇ２の
レベルを基準にして各レベルにおける加算比率を示した
もので、撮影画像Ｇ２の画素位置（ｉ，ｊ）の画素デー
タｇ2(i,j）が、例えばＡ／Ｄ変換範囲の略１／２のレ
ベルＤであるとすると、当該画素データg2(i,j）と撮影
画像Ｇ１の画素位置（ｉ，ｊ）の画素データｇ1(i,j)と
をＲ２：Ｒ1（＝０．４：０．６）で加算して階調調整
画像Ｇｃの画素位置（ｉ，ｊ）の画素データｇc(i,j)が
作成される。すなわち、図３４に示すように画素データ
ｇ1(i,j)のレベルをＤ’とすると、画素データｇc(i,j)
のレベルＤｃはＲ1・Ｄ’＋Ｒ2・Ｄ＝０．４Ｄ’＋０．
６Ｄとなる。

【０２１５】この結果、同図に示すように画素位置
（ｉ，ｊ）の被写体の輝度レベルｄに対して撮影画像Ｇ
１，Ｇ２ではそれぞれ階調レベルがａ点とｂ点となって
いたが、階調調整画像Ｇcでは階調レベルが両点の間に
あるｃ点となる。

【０２１６】従って、階調調整処理においては、露出オ
ーバーの撮影画像Ｇ２を構成する画素データｇ2(i,j)の
レベルに対応する撮影画像Ｇ１，Ｇ２の加算比率をそれ
ぞれＲ1(ｇ2(i,j))，Ｒ2(ｇ2(i,j))（但し、０≦Ｒ1(ｇ
2(i,j))，Ｒ2(ｇ2(i,j))≦１、Ｒ1(ｇ2(i,j))＋Ｒ2(ｇ2
(i,j))＝１）とすると、各画素位置（ｉ，ｊ）（ｉ＝
１，２，…ｎ，ｊ＝１，２，…ｍ）についてＲ1(ｇ2(i,
j))・ｇ1(i,j)＋Ｒ2(ｇ2(i,j))・ｇ2(i,j)を演算するこ
とにより階調調整画像Ｇｃの画素データｇc(i,j)が算出
され、撮影画像Ｇ１の階調特性と撮影画像Ｇ２の階調特
性との間の任意の階調特性を有する階調調整画像Ｇｃが
作成される。

【０２１７】図３０に戻り、階調調整のシミュレーショ
ンはボケ味調整のシミュレーションに比べて処理時間が
短いので、階調調整ソフトが起動すると、常にサムネイ
ル画像を用いた階調調整のシミュレーションが自動的に
行なわれて表示領域１１ｃに表示されるようになってい
る。従って、階調調整用のダイアログ・ボックス２４に
はシミュレーションボタン１２ｃは設けられていない。

【０２１８】スライダーの表示２５（以下、スライダー
２５という。）は、サムネイル画像を用いた階調調整の
シミュレーションにおけるサムネイル画像Ａとサムネイ
ル画像Ｂとの合成比を設定するものである。ここにいう
合成比は図３３に示す露出オーバー画像のレベルｖ毎の
加算比ではなく、全体的なサムネイル画像Ａとサムネイ
ル画像Ｂとの合成割合で、図３３では加算比率特性Ｒに
よって仕切られる上側領域（撮影画像Ｇ１が加算される
領域）と下側領域（撮影画像Ｇ２が加算される領域）と
の面積比に類似したものである。

【０２１９】従って、スライダー２５にカーソルＫを移
動し、マウス７０４をワンクリックした状態で左右に移
動させて当該カーソルＫ（すなわち、スライダー表示２
５）を移動させることで、図３３における加算比率特性
Ｒの曲線が点線で示すＲ’，Ｒ”の特性のように上下に
変更されてサムネイル画像Ａとサムネイル画像Ｂとの合
成比が任意に設定される。スライダー２５がスライド範
囲の中間位置にあると、加算比率特性は、ほほ図３３の
特性Ｒに設定され、スライダー２５がスライド範囲の中
間位置から右側に移動すると、同図の特性Ｒ’のように
なり（すなわち、露出オーバーの撮影画像Ｇ２の合成割
合が大きくなり）、左側に移動すると、同図の特性Ｒ”
のようになる（すなわち、露出アンダーの撮影画像Ｇ１
の合成割合が大きくなる）。

【０２２０】「バリエーション」と表記されたボタン表
示１２ｇ（以下、バリエーションボタン１２ｇ）は、予
め設定された５種類の加算比率特性でサムネイル画像Ａ
とサムネイル画像Ｂとを合成して５種類の階調調整画像
Ｃ１〜Ｃ５を作成するものである。

【０２２１】表示領域１１ｃにはサムネイル画像を用い
た階調調整のシミュレーションが表示されるが、合成比
を粗く変化させたときに階調調整結果がどのように変化
するかを知りたいときは、スライダー２５を移動して合
成比を適当に変化させる必要があり、操作が面倒であ
る。バリエーションボタン１２gは、階調調整具合が粗
く変化するように予め設定された５種類の加算比率特性
で５段階の階調調整をシミュレーションし、図３１に示
すようにそのシミュレーション結果を一括表示させるこ
とで、操作者に所望の階調具合がどのような加算比率特
性で得られるかを確認し易くするものである。

【０２２２】なお、一括表示されたバリエーションのシ
ミュレーション結果の中に所望の階調特性があれば、そ
の画像にカーソルＫを移動させ、マウス７０４をダブル
クリックすることにより本画像での階調調整処理におけ
る加算比率特性を設定することができる。図３１では真
ん中のシミュレーション画像Ｃ３（太枠で囲まれた画像
Ｃ３）が選択されており、本画像で階調調整処理が行な
われると、シミュレーション画像Ｃ３の階調特性とほぼ
同一の階調特性を有する階調調整画像Ｇｃが得られる。

【０２２３】次に、図３５，図３６のフローチャートに
従って階調調整処理について具体的に説明する。

【０２２４】階調調整処理のソフトが起動すると、指定
されたホルダＮｔに含まれる２個の画像ファイルＰ（Ｘ
＋１）．ＴＩＦ，ＰＸ．ＴＩＦからそれぞれサムネイル
画像Ａ，Ｂが読み出され、ダイアログ・ボックス２０の
表示領域１１ａ，１１ｂに表示される（＃２２１，＃２
２３）。

【０２２５】続いて、スライダー２５の設定位置から加
算比率特性が読み取られ（＃２２５）、その加算比率特
性を用いて図３７に示すフローチャートに従ってサムネ
イル画像による階調調整のシミュレーションが行なわれ
る（＃２２７）。

【０２２６】階調調整処理のシミュレーションを行なう
ソフトが起動すると、まず、サムネイル画像Ａとサムネ
イル画像Ｂとの間でのレジストレーション処理がＧの色
成分の画像を用いて行なわれ（＃２９１）、サムネイル
画像Ａに対するサムネイル画像Ｂのずれ量（δｘ，δ
ｙ）が決定される（＃２９３）。続いて、サムネイル画
像ＢのＲ，Ｇ，Ｂの各色成分の画像を全体的にずれ量
（δｘ，δｙ）だけ移動させてサムネイル画像Ａとサム
ネイル画像Ｂとの位置合わせが行なわれる（＃２９
５）。この位置合わせ処理は、ボケ味調整処理の場合と
同様である。

【０２２７】続いて、Ｒ，Ｇ，Ｂの各色成分について、
設定された加算比率特性に基づいてサムネイル画像Ａと
サムネイル画像Ｂとの合成処理が行なわれ（＃２９
７）、その処理結果が表示領域１１ｃに表示される（＃
２９９）。すなわち、露出オーバーのサムネイル画像Ａ
を構成する画素データをｇa(i,j)（ｉ＝１，２，…ｎ／
４、ｊ＝１，２，…ｍ／４）、露出アンダーのサムネイ
ル画像Ｂを構成する画素データをｇb(i,j)（ｉ＝１，
２，…ｎ／４、ｊ＝１，２，…ｍ／４）、画素データｇ
a(i,j)に対応するサムネイル画像Ａ，Ｂの加算比率をそ
れぞれＲa(ｇa(i,j)），Ｒb(ｇa(i,j)）（但し、０≦Ｒ
a(ｇa(i,j))，Ｒb(ｇa(i,j))≦１、Ｒa(ｇa(i,j))＋Ｒb
(ｇa(i,j))＝１）とすると、Ｒ，Ｇ，Ｂの各色成分につ
いて、各画素位置（ｉ，ｊ）毎にＲa(ｇa(i,j))・ｇa
(i,j)＋Ｒb(ｇa(i,j))・ｇb(i,j)を演算することにより
階調調整画像Ｃの画素データｇc(i,j)が算出され、その
算出結果が表示領域１１cに表示される。

【０２２８】図３５に戻り、サムネイル画像による階調
調整処理が終了すると、スライダー２５によりシミュレ
ーションの加算比率特性が変更されているか否かが判別
され（＃２２９）、加算比率特性が変更されていなけれ
ば（＃２２９でＮＯ）、バリエーションボタン１２ｇに
カーソルＫを移動してマウス７０４がダブルクリックさ
れたか（バリエーションボタン１２ｇが操作されたか）
否かが判別され（＃２３１）、バリエーションボタン１
２ｇがされていなければ（＃２３１でＮＯ）、更に実行
ボタン１２ｂにカーソルＫを移動してマウス７０４がダ
ブルクリックされたか（実行ボタン１２ｂが操作された
か）否かが判別される。

【０２２９】バリエーションボタン１２ｇも実行ボタン
１２ｂも操作されていなければ（＃２３１，＃２３３で
ＮＯ）、ステップ＃２２９に戻り、サムネイル画像によ
る階調調整のシミュレーション結果を表示した状態で待
機状態となる。

【０２３０】一方、スライダー２５の移動により加算比
率特性が変更されると（＃２２９でＹＥＳ）、ステップ
＃２２５に戻り、変更後の加算比率特性を用いて階調調
整のシミュレーションが行なわれる(＃２２５〜＃２２
９)。

【０２３１】また、バリエーションボタン１２ｇが操作
されると（＃２３１でＹＥＳ）、例えば図３８に示すよ
うな予め設定された５種類の加算比率特性〜を用い
てステップ#２２７と同様の方法で５種類の階調調整の
シミュレーションが行なわれ（＃２３５)、そのシミュ
レーション結果が図３１に示すように表示される（＃２
３７）。

【０２３２】そして、表示された５枚の階調調整画像Ｃ
１〜Ｃ５のうち、何れかの階調調整画像にカーソルＫを
移動してマウス７０４がダブルクリックされると（その
階調調整画像が選択されると）（＃２３９でＹＥＳ）、
ステップ＃２４１に移行し、選択された階調調整画像の
加算比率特性を用いて撮影画像に対して階調調整処理が
実行される。図３１の例では、階調調整画像Ｃ３が選択
されているので、図３８の加算比率特性を用いて撮影
画像に対し階調調整処理が実行される。階調調整画像Ｃ
１〜Ｃ５の選択がなければ（＃２３９でＮＯ）、ステッ
プ＃２２９に戻り、シミュレーション結果を表示した状
態で待機状態となる。

【０２３３】また、実行ボタン１２ｂが操作されると
（＃２３３でＹＥＳ）、ステップ＃２４１に移行し、ス
ライダー２５若しくは５枚の階調調整画像Ｃ１〜Ｃ５の
選択により設定された加算比率特性を用いて撮影画像に
対し階調調整処理が実行される。

【０２３４】撮影画像に対する階調調整処理では、ま
ず、画像ファイルＰ（Ｘ＋１）．ＴＩＦ，ＰＸ．ＴＩＦ
からそれぞれ撮影画像（露出アンダー画像Ｇ１と露出オ
ーバー画像Ｇ２）のＲ，Ｇ，Ｂの色成分の画像データが
コンピュータ本体７０１内の記憶装置に読み出される
（＃２４１，＃２４３）。続いて、両撮影画像Ｇ１，Ｇ
２のＧの色成分の画像データについて、不足する画素位
置の画像データが補間される（＃２４５，＃２４７）。
この補間処理はボケ味調整処理における補間処理と同一
である。

【０２３５】続いて、撮影画像Ｇ１と撮影画像Ｇ２との
間でのレジストレーション処理におけるずれ量の初期値
（δｘ０,δｙ０）として、サムネイル画像による階調
調整処理のシミュレーションで算出されたサムネイル画
像Ａに対するサムネイル画像Ｂのずれ量（δｘ,δｙ）
を４倍した値（４δｘ,４δｙ）が設定される（＃２４
９）。階調調整処理では常にサムネイル画像による階調
調整処理のシミュレーションが行なわれるので、撮影画
像でのレジストレーション処理におけるずれ量の初期値
としてサムネイル画像でのシミュレーション結果で得ら
れたずれ量を利用するようにしている。

【０２３６】続いて、Ｇの色成分の画像を用いて撮影画
像Ｇ１と撮影画像Ｇ２との間でのレジストレーション処
理が行なわれ（＃２５１）、撮影画像Ｇ１に対する撮影
画像Ｇ２のずれ量（δｘ’，δｙ’）が決定される（＃
２５３）。そして、撮影画像Ｇ２のＲ，Ｇ，Ｂの各色成
分の画像を全体的にずれ量（δｘ’，δｙ’）だけ移動
させて撮影画像Ｇ１と撮影画像Ｇ２との位置合わせが行
なわれ（＃２５５）、まず、Ｇの各色成分について階調
調整処理が行なわれる（＃２５７）。この階調調整処理
はサムネイル画像を用いたシミュレーションにおける階
調調整処理と同一である。

【０２３７】続いて、Ｒの色成分について階調調整処理
が行なわれ（＃２５９〜＃２６５）、その後、Ｂの色成
分について階調調整処理が行なわれる（＃２６５〜＃２
７３）。Ｒ，Ｂの色成分については、ボケ味調整処理と
同様に、画像データの存在しない画素位置の画像データ
を間引いて階調調整処理用の画像データを作成した後
（＃２５９，＃２６１，＃２６７，＃２６９）、その画
像データを用いて階調調整処理が行なわれ（＃２６３，
＃２７１）、その後、画像データの補間処理が行なわれ
る（＃２６５，＃３７３）。

【０２３８】ステップ＃２５９，＃２６１，＃２６７，
＃２６９の画像データの間引き処理は、ボケ味調整処理
における画像データの間引き処理（図２１に示すフロー
チャートのステップ＃１４７〜＃１５３の処理参照）と
同一である。また、ステップ＃２６３，＃２７１の階調
調整処理は、サムネイル画像を用いたシミュレーション
における階調調整処理と同一である。また、ステップ＃
２６５，＃２７３の画像データの補間処理は、ボケ味調
整処理における画像データの補間処理（図２２に示すフ
ローチャートのステップ＃１７５〜＃１７７の処理参
照）と同一である。

【０２３９】続いて、Ｒ，Ｇ，Ｂの色成分の階調調整画
像Ｇｃが合成され（＃２７５）、その合成結果は、ボケ
味調整処理の場合と同様に、図３９に示すようにディス
プレイ７０２に処理結果表示用のダイアログ・ボックス
１９を表示させ、その表示領域２０に表示される（＃２
７７）。

【０２４０】そして、保存ボタン２１にカーソルＫを移
動してマウス７０４がダブルクリックされると（＃２７
９でＹＥＳ）、階調調整画像Ｇｃの画像データがコンピ
ュータ本体７０１内の所定のメモリに保存される（＃２
８１）。

【０２４１】次に、超解像処理について説明する。

【０２４２】図４０は、超解像処理プログラムが起動し
たときのディスプレイ７０２に表示される超解像処理用
のダイアログ・ボックスの一例を示す図である。

【０２４３】超解像処理用のダイアログ・ボックス２６
の構成も基本的に図１５に示すボケ味調整用のダイアロ
グ・ボックス１０と同じで、図１５において、表示領域
１１ｃとシミュレーションボタン１２ｄを除去したもの
である。超解像処理では、サムネイル画像を用いて超解
像処理を行なってもその効果を視認することは困難であ
るので、サムネイル画像で超解像処理を行なうためのシ
ミュレーションボタン１２ｄとその結果を表示する表示
領域１１ｃは設けていない。

【０２４４】表示領域１１ａ，１１ｂ、ファイルボタン
１１ａ、実行ボタン１１ｂ及び終了ボタン１１ｅはダイ
アログ・ボックス１０のものと同一機能を果たすもので
ある。

【０２４５】ここで、超解像処理の内容について、図４
１を用いて簡単に説明する。なお、説明の便宜上、一次
元の画像データについて説明する。

【０２４６】被写体に対して撮影者がカメラを構えてシ
ャッタ操作を行なったときに、連続して２回の露光動作
を行って得られた２枚の撮影画像は、通常、撮影者が完
全に静止していることはないから、カメラアングルの僅
かな相違に起因して互いに被写体に対する撮影位置がわ
ずかに変位したものとなっている。

【０２４７】従って、本実施の形態では、最初の撮影画
像と２回目の撮影画像とをそれぞれ補間処理するととも
に、両撮影画像の位置合わせをして合成することより、
解像度の高い画像を得るようにしている。

【０２４８】すなわち、最初に撮影画像の画像データを
図４１（ａ）とし、２枚目の撮影画像の画像データを図
４１（ｂ）とし、２枚目の撮影画像は最初の撮影画像に
対して被写体に対する撮影位置が右側にΔｘだけずれて
いるとする。なお、図４１（ａ）（ｂ）において、曲線
Ｐは被写体の輝度特性を示し、ａ(1)，ａ(2)，…及びｂ
(1)，ｂ(2)，…は画素位置、Ｃ(1)，Ｃ(2)，…及びＤ
(1)，Ｄ(2)，…は各画素の受光レベルを示している。ま
た、Ｃ(1)’，Ｃ(2)’，…は、受光レベルＣ(1)，Ｃ
(2)，…を用いて画素位置ａ(1)，ａ(2)，…の間を補間
したレベルであり、Ｄ(1)’，Ｄ(2)’，…は、受光レベ
ルＤ(1)，Ｄ(2)，…を用いて画素位置ｂ(1)，ｂ(2)，…
の間を補間したレベルである。

【０２４９】図４１（ａ）（ｂ）に示すように、最初の
撮影画像における各画素の被写体に対する受光位置と２
枚目の撮影画像における各画素の被写体に対する受光位
置とは相違しているから、両撮影画像の画像データから
撮像素子の画素数の２倍の画像データが得られる。

【０２５０】従って、同図（ｃ）に示すように、最初の
撮影画像と２枚目の撮影画像の位置合わせをして両画像
データを合成することにより撮像素子の画素密度に対し
て２倍の画素密度を有する画像データが得られる。

【０２５１】なお、本実施の形態では、２回の露光にお
けるカメラアングルの微差に基づく被写体に対する撮像
素子の受光位置のずれを利用しているから、画素位置ａ
(i)と画素位置ｂ(i)とのずれ量Δｘは一定せず、画素位
置ｂ(i)は画素位置ａ(i)と画素位置ａ(i＋1)との中間に
必ず位置するとは限らないので、ずれ量Δｘが非常に小
さい場合は、両画像画像の位置合わせが十分な精度で行
なえない虞がある。

【０２５２】そこで、これを改善するため、本実施の形
態では最初の撮影画像の画像データと２枚目の撮影画像
の画像データとをそれぞれ補間処理した後、合成するよ
うにしている。このようにすることで、図４１（ｃ）に
示すように、画素位置ｂ(i)と画素位置a(i+1)との間に
画像データＣ(i)’，Ｄ(i)’が補間され、２枚の撮影画
像は高い精度で位置合わせが行なわれるので、解像度の
高い画像が得られる。

【０２５３】図４０に戻り、設定ボタン１２ｃは上述し
た補間方法を設定するためのボタンである。本実施の形
態では、周知のキュービック・コンボリューション（Qu
ibicconvolution）法、クゥオドラティックスプライン
（Quadratic spline）法及びインテグレーティング・リ
サンプラー（Integrating resampler）法の中から所望
の補間方法が選択できるようになっている。

【０２５４】設定ボタン１２ｃにカーソルＫを移動して
マウス７０４がダブルクリックされると、上記補間方法
を選択するための処理プログラムが起動し、ディスプレ
イ７０２の画面に、図４２に示すような補間方法設定
用のダイアログ・ボックス２７が表示される。

【０２５５】ダイアログ・ボックス２７には上記３種類
の補間方法のリストが表示され、所望の補間方法の表示
位１６置にカーソルＫを移動し、マウス７０４をワンク
リックすると、その補間方法が選択され、先頭の〇印が
◎印に変更される。そして、この状態で設定内容を確定
するための「ＯＫ」ボタン１６にカーソルＫを移動し、
マウス７０４をワンクリックすると、その補間方法が設
定される。図４２の例では、キュービック・コンボリュ
ーション法が設定される。

【０２５６】次に、図４３，図４４のフローチャートに
従って超解像処理について具体的に説明する。

【０２５７】超解像処理のソフトが起動すると、指定さ
れたホルダＮｈに含まれる２個の画像ファイルＰ（Ｘ＋
１）．ＴＩＦ，ＰＸ．ＴＩＦからそれぞれサムネイル画
像Ａ，Ｂが読み出され、ダイアログ・ボックス２０の表
示領域１１ａ，１１ｂに表示されるとともに（＃２９
１，＃２９３）、超解像方式のデフォルト値が読み取ら
れて（＃２９５）、超解像処理のスタンバイ状態となる
（＃２９７のループ）。

【０２５８】そして、実行ボタン１２ｃにより超解像処
理の実行が指示されると（＃２９７でＹＥＳ）、まず、
サムネイル画像Ａとサムネイル画像Ｂとの間でのレジス
トレーション処理がＧの色成分の画像を用いて行なわ
れ、サムネイル画像Ａに対するサムネイル画像Ｂのずれ
量（δｘ，δｙ）が決定される（＃２９９〜＃３０
５）。

【０２５９】続いて、画像ファイルＰ（Ｘ＋１）．ＴＩ
Ｆ，ＰＸ．ＴＩＦからそれぞれ撮影画像（最初の撮影画
像ｇ１と２回目の撮影画像ｇ２）のＲ，Ｇ，Ｂの色成分
の画像データがコンピュータ本体７０１内の記憶装置に
読み出され、両撮影画像ｇ１，ｇ２のＧの色成分の画像
データについて、それぞれ設定された補間方法によって
不足する画素位置の画像データを補間するとともに、解
像度の倍率ｎに応じて増加する画素位置の画像データが
補間される（＃３０７，＃３０９）。

【０２６０】すなわち、Ｇの色成分の画像データは、図
２５（ａ）に示すように（２ｈ＋２，２ｋ＋１）と（２
ｈ＋１，２ｋ＋２）（ｈ＝０，１，２…ｎ／２、ｋ＝
０，１，２，…ｍ／２）の画素位置にしか画像データＧ
がないから、同図（ｂ）に示すように画素位置（２ｈ＋
１，２ｋ＋１），（２ｈ＋２，２ｋ＋２）の画像データ
Ｇ’が補間され、更に、例えば解像度の倍率ｎを４倍と
すると、図４５に示すように、各行各列について、各画
素位置の間に画素データＧ”が補間される。

【０２６１】続いて、撮影画像ｇ１と撮影画像ｇ２との
間でのレジストレーション処理におけるずれ量の初期値
（δｘ０,δｙ０）として、ステップ＃３０５で算出さ
れたサムネイル画像Ａに対するサムネイル画像Ｂのずれ
量（δｘ,δｙ）を４倍した値（４δｘ,４δｙ）が設定
され（＃３１１）、更にこのずれ量（４δｘ,４δｙ）
を用いてＧの色成分の画像に関して撮影画像ｇ１と撮影
画像ｇ２との間でのレジストレーション処理が行なわれ
て（＃３１３）、撮影画像ｇ１に対する撮影画像ｇ２の
ずれ量（δｘ’，δｙ’）が決定される（＃３１５）。

【０２６２】そして、撮影画像ｇ２のＧの色成分の画像
を全体的にずれ量（δｘ’，δｙ’）だけ移動させて撮
影画像ｇ１と撮影画像ｇ２との位置合わせが行なわれた
後（＃３１７）、画像データＧ”の補間された各画素位
置について、撮影画像ｇ１の補間データＧ”と撮影画像
ｇ２の補間データＧ”との平均値が合成後のデータとし
て設定される（＃３１９）。

【０２６３】ステップ＃３１７の処理は、図４１の例で
説明すると、同図（ａ）（ｂ）のように、２枚目の画像
の画像データを最初の画像の画像データに対してΔｘだ
けずらせて被写体の輝度特性Ｐを一致させるものであ
る。

【０２６４】また、ステップ＃３１９の処理は、画素密
度をｎ倍にした２枚の撮影画像相互で画素ピッチ単位で
位置合わせを行なうので、同一の画素位置に最初の撮影
画像のデータと２枚目の撮影画像のデータとが存在する
ことになるので、これらの平均値をその画素位置のデー
タとするものである。

【０２６５】図４３に戻り、続いて、ステップ＃３２１
〜＃３２７でＲの色成分の画像について、Ｇの色成分の
場合と同様の方法で画像データの合成処理が行なわれ、
ステップ＃３２９〜＃３３５でＢの色成分の画像につい
て、Ｇの色成分の場合と同様の方法で画像データの合成
処理が行なわれる。

【０２６６】なお、Ｒの色成分の画像データは、図２６
（ａ）に示すように（２ｈ＋１，２ｋ＋１）の画素位置
にしか画像データＲがないから、同図（ｂ）に示すよう
にこれ以外の画素位置（２ｈ＋２，２ｋ＋１），（２ｈ
＋１，２ｋ＋２），（２ｈ＋２，２ｋ＋２）の画像デー
タＲ’が補間された後、図４６に示すように各行各列に
ついて、各画素位置の間に画素データＲ”が補間され
る。Ｂの色成分の画像データについても同様の方法で画
像データＢ’，Ｂ”が補間される。

【０２６７】そして、超解像処理後のＲ，Ｇ，Ｂの各色
成分の画像データを合成して画素密度がｎ倍（図４５，
図４６の例では４倍）の超解像画像ｇ３が作成され(＃
３３７)、その超解像画像ｇ３が、図４７に示すように
ディスプレイ７０２の画面全体に表示される（＃３３
９）。なお、超解像処理では、処理結果の効果を認識し
やすくするため、超解像画像ｇ３をディスプレイ７０２
の画面全体に表示させるようにしている。処理効果が認
識できるものであれば、超解像画像ｇ３をディスプレイ
７０２の一部画面に表示させるようにしても良い。

【０２６８】そして、保存ボタン２１にカーソルＫを移
動してマウス７０４がダブルクリックされると（＃３４
１でＹＥＳ）、超解像画像ｇ３の画像データがコンピュ
ータ本体７内の所定のメモリに保存される（＃３４
３）。

【０２６９】上記のように、デジタルスチルカメラ１で
ボケ味調整モード、階調調整モード及び超解像モードで
撮影された２枚一組の撮影画像はコンピュータからなる
画像処理装置６で、Ｒ，Ｇ，Ｂの色成分毎に互いに撮影
画像の位置合わせ処理が行なわれた後、所定の合成処理
により所望のボケ具合や階調特性を有する色成分画像や
解像度の高い色成分画像が作成され、更にこれらの色成
分画像を合成して所望のボケ具合や階調特性を有するカ
ラー画像や解像度の高いカラー画像が作成されるが、こ
の色成分毎の画像処理において、人間の視覚特性上解像
度に与える影響の大きいＧの色成分については、全画素
位置の画像データを用いて位置合わせ処理を行ない、人
間の視覚特性上解像度に与える影響の小さいＲ，Ｂの色
成分については、Ｇの色成分で算出された位置合わせ情
報を利用することで位置合わせ処理の簡略化を行なうよ
うにしているので、Ｒ，Ｇ，Ｂの各色成分について同一
の位置合わせ処理を繰り返す場合に比して処理時間を短
くすることができる。

【０２７０】また、色成分毎のボケ味調整、階調調整及
び超解像処理等の所定の画像処理においても、Ｇの色成
分の画像については全画素位置の画像データを用いて画
像処理を行ない、Ｒ，Ｂの色成分の画像については、全
画素位置の画像データを用いないで画像処理を行なうよ
うにしているので、全ての各色成分の画像について全画
素位置の画像データを用いて画像処理を繰り返す場合に
比して処理時間を短くすることができる。

【０２７１】具体的には、本実施形態では、ベイヤー方
式の単板式カラーＣＣＤを用いて画像が撮影されている
ため、撮影画像を構成するＲ，Ｇ，Ｂの各色成分の画像
は、不足する画素位置の画像データを補間する必要があ
るが、色成分毎のボケ味調整、階調調整及び超解像処理
等の所定の画像処理においては、Ｇの色成分の画像につ
いては補間処理により全画素位置の画像データを補間し
て画像処理を行ない、Ｒ，Ｂの色成分の画像について
は、補間処理をしないで、元の画像データを用いて画像
処理を行なうようにしているので、全ての各色成分の画
像について全画素位置の画像データを補間した後、画像
処理を行なう場合に比して処理時間を短くすることがで
きる。

【０２７２】なお、Ｒ，Ｂの色成分の画像については、
所定の画像処理が終了し、色成分画像を合成する際に不
足する画素位置の画像データを補間するようにしている
ので、合成後の画像の画質が劣化することはない。

【０２７３】また、上記実施形態では、画像処理をＲ，
Ｇ，Ｂの色成分で行なう場合について説明したが、Ｙ，
Ｃｒ，Ｃｂの色成分で行なう場合にも本発明は適用可能
で、Ｃｒ，Ｃｂの色成分の画像に対する画像処理をＹの
色成分の画像処理より簡略化するとよい。すなわち、一
般に人間の視覚特性上解像度に影響の大きい色成分と解
像度への影響は小さいが色再現性に影響の大きい色成分
とに分離して画像処理をする場合、後者の色成分の画像
に対する画像処理を前者の色成分の画像に対する画像処
理よりも簡略化する（例えば処理対象のデータ数を揃え
るための補間処理を省いたり、位置合わせ処理を省くな
ど）ようにすればよい。

【０２７４】また、上記実施の形態では、ボケ味調整モ
ード、階調調整モード及び超階調処理モードで撮影され
た２枚の撮影画像の合成処理をパソコン７で行なうよう
にしていたが、デジタルスチルカメラ１のＲＯＭ１０８
ａに上述したボケ味調整処理プログラム、階調調整処理
プログラム及び超解像処理プログラムを搭載し、全体制
御部１０８でこれらのプログラムに従って２枚の撮影画
像の合成処理を行ない、その処理結果を、図４８に示す
ようにメモリカードＭＣに記録するようにしてもよい。

【０２７５】なお、図４８は、図８に示すメモリカード
ＭＣ内の画像ファィルの構成例において、ボケ味調整モ
ード、階調調整モード及び超解像モードの撮影画像に対
するホルダにそれぞれ合成処理した画像の画像ファイル
「Ｐ０００００１．ＪＰＧ」，「Ｐ０００００３．ＪＰ
Ｇ」，「Ｐ０００００５．ＪＰＧ」，「Ｐ０００００
７．ＪＰＧ」を追加したものである。

【０２７６】これらのファィル名から分かるように、合
成処理後の画像データはＪＰＥＧ方式で圧縮されてい
る。合成処理後の画像データだけでなく、撮影画像の生
のデータもメモリカードＭＣに記録しているのは、パソ
コン７でも画像処理を行なうことができるようにしてい
るためである。メモリカードＭＣの容量効率を高めるた
めに、合成処理後の画像データだけメモリカードＭＣに
記録するようにしても良い。

【０２７７】デジタルスチルカメラ１の画像処理機能を
搭載する際、ソフトウェアで全体制御部１０８により合
成処理を行なわせるようにすると、全体制御部１０８の
処理負担が大きくなるので、ハードウェアで合成処理が
行なわれる構成にしてもよい。

【０２７８】図４９は、超解像モードを備え、このモー
ドでの超解像処理をハードウェアで実行するようにした
デジタルスチルカメラの内部構成を示すブロック図であ
る。また、図５０は、複数画像処理部の内部構成を示す
ブロック図である。

【０２７９】同図は、図７において、信号処理部１０３
内に、超階調処理モードで撮影された２枚の撮影画像の
合成処理を行なう複数画像処理部１１１を設けたもので
ある。図７に示す部材と同一機能の部材には同一番号を
付している。

【０２８０】複合画像処理部１１１は、図５０に示すよ
うに、Ｒ，Ｇ，Ｂの色成分の画像データを輝度（Ｙ），
色差（Ｃｒ＝Ｒ−Ｙ），色差（Ｃｂ＝Ｂ−Ｙ）の画像デ
ータに変換するＲＧＢ／ＹＣrＣb変換部１１１ａ、フィ
ルタ１１１ｂ，１１１ｃ、補間処理部１１１ｄ，１１１
ｅ、レジストレーション処理部１１１ｆ及び画像合成部
１１１ｇで構成されている。

【０２８１】ＲＧＢ／ＹＣrＣb変換部１１１ａは、全体
制御部１０８から最初の撮影画像及び２枚目の撮影画像
のＲ，Ｇ，Ｂの色成分の画像データが入力されると、一
旦、画像メモリ１０３ｆに格納した後、各撮影画像につ
いて、Ｒ：Ｇ：Ｂ＝０．３：０．５９：０．１１の割合
で加算合成して輝度データＹを作成するとともに、最初
の撮影画像について、Ｒ，Ｂの画像データからこの輝度
データＹを減算して色差データＣｒ，Ｃｂのデータを作
成する。なお、色差データＣｒ，Ｃｂについて最初の撮
影画像だけを用いるのは、色差データＣｒ，Ｃｂについ
ては、解像度に与える影響が少ないので、最初の撮影画
像と２枚目の撮影画像との位置合わせ処理をしないで、
処理速度をできるだけ早くするためである。色差データ
Ｃｒ，Ｃｂについて２枚目の撮影画像だけを用いるよう
にしてもよい。

【０２８２】両撮影画像の輝度データＹが作成される
と、各撮影画像の輝度データＹについて、フィルタ回路
１１１ｂによりノイズ成分が除去された後、補間処理回
路１１１ｄでデータの補間処理が行なわれる。この補間
処理は、図４１で説明したデータＣ(1)’，Ｃ(2)’，
…、データＤ(1)’，Ｄ(2)’，…の補間処理に相当し、
図４３，図４４のフローチャートではステップ＃３０
７，＃３０８の補間処理に相当している。

【０２８３】また、最初の撮影画像の色差データＣｒ，
Ｃｂが作成されると、この色差データＣｒ，Ｃｂについ
て、フィルタ回路１１１ｃによりノイズ成分が除去され
た後、補間処理回路１１１ｅでデータの補間処理が行な
われる。なお、この補間処理は、図４１で説明したデー
タＣ(1)’，Ｃ(2)’，…、データＤ(1)’，Ｄ(2)’，…
の補間処理に相当し、図４３，図４４のフローチャート
ではステップ＃３２１，＃３２９の補間処理に相当して
いる。

【０２８４】輝度データＹについては、補間処理が終了
すると、レジストレーション処理部１１１ｆで最初の撮
影画像と２枚目の撮影画像との位置合わせが行なわれ
る。この処理は、図４３，図４４のフローチャートのス
テップ＃３１３〜＃３１９に相当し、輝度データＹにつ
いては解像度の高い画像データを得るものである。一
方、補間後の色差データＣｒ，Ｃｂについては、最初の
撮影画像と２枚目の撮影画像との位置合わせは行なわれ
ない。

【０２８５】そして、レジストレーション処理が行なわ
れた輝度データＹと最初の撮影画像の色差データＣｒ，
Ｃｂとは画像処理部１１１ｇで合成され（図４４のフロ
ーチャートのステップ＃３３７に相当）、合成後の画像
データは画像データ１０３ｆに記憶される。

【０２８６】なお、この実施の形態では、処理速度をで
きるだけ早くするため、色差データＣｒ，Ｃｂに対して
はレジストレーション処理部は設けていないが、色差デ
ータＣｒ，Ｃｂに対してもレジストレーション処理部を
設けてもよい。

【０２８７】また、上記実施形態では、超解像処理にお
けるレジストレーション処理の初期値をサムネイル画像
を用いたシミュレーションで算出しているが、このシミ
ュレーションをしないで、直接撮影画像のレジストレー
ション処理を行なうようにしてもよい。

【０２８８】また、階調調整処理では、常にサムネイル
画像を用いてシミュレーションをしているが、ボケ味調
整処理と同様にシミュレーションの指示がされたときに
おこなうようしてもよい。

【０２８９】

【発明の効果】以上説明したように、本発明によれば、
カラー撮像装置で撮影された２枚のカラー画像に対し、
色成分毎に所定の画像処理を行なって１枚の色成分画像
を作成し、各色成分の画像を合成して１枚のカラー画像
を作成する画像処理システムであって、複数の色成分の
画像のうち、人間の視覚特性上解像度に与える影響の小
さい色成分に対する画像処理を他の色成分に対する画像
処理よりも簡略化するようにしたので、全ての色成分に
対して同一の画像処理を繰り返す場合に比して画像処理
の時間が短くなり、合成後の画像の画質を劣化すること
なく合成処理の時間を可能な限り短縮することができ
る。

【０２９０】また、同一の被写体に対して連続して２回
撮像し、それによって得られた２枚のカラー画像に対
し、色成分毎に所定の画像処理を行なって１枚の色成分
画像を作成し、各色成分の画像を合成して１枚のカラー
画像を作成するカラー撮像装置であって、複数の色成分
の撮影画像のうち、人間の視覚特性上解像度に与える影
響の小さい色成分に対する画像処理を他の色成分に対す
る画像処理よりも簡略化するようにしたので、全ての色
成分に対して同一の画像処理を繰り返す場合に比して画
像処理の時間が短くなり、合成後の画質を劣化させるこ
となく可能な限り短い時間で撮影画像と異なる画質の画
像を得ることができる。

【０２９１】また、上記画像処理方法からなる処理プロ
グラムを情報記録媒体に記録することにより、この情報
記録媒体を介してカラー撮像装置やコンピュータなどか
ら画像処理装置に画像処理方法の処理プログラムを搭載
することで、画像合成により撮影画像と異なる画質の画
像を得る機能を備えたカラー撮像装置や画像処理システ
ムを簡単に構築することができる。

【図面の簡単な説明】

【図１】本発明に係る画像処理システムに適用される
デジタルスチルカメラのカメラ本体の正面図である。

【図２】同デジタルスチルカメラの主要部材の配置を
示す図である。

【図３】同デジタルスチルカメラに内蔵された主要部
材の配置を示す右側面図である。

【図４】同デジタルスチルカメラの背面図である。

【図５】カラー撮像素子の撮像面の構成を示す図であ
る。

【図６】撮影モードの選択方法を説明するための図で
ある。

【図７】デジタルスチルカメラの内部構成を示すブロ
ック図である。

【図８】メモリカードに記録された画像ファイルの構
成例を示す図である。

【図９】メモリカードへの画像ファイルの記録方法を
示す図である。

【図１０】ボケ味調整モードでの撮影手順を示すフロ
ーチャートである。

【図１１】階調調整モードでの撮影手順を示すフロー
チャートである。

【図１２】超解像モードでの撮影手順を示すフローチ
ャートである。

【図１３】画像処理装置の構成を示す外観図である。

【図１４】画像合成用の処理プログラムを起動するた
めの処理手順を示すフローチャートである

【図１５】ボケ味調整処理プログラムが起動したとき
のディスプレイに表示されるボケ味調整用のダイアログ
・ボックスの一例を示す図である。

【図１６】画像ファイルの読取処理のフローチャート
である。

【図１７】画像ファイルの読取処理の他のフローチャ
ートである。

【図１８】ボケ味調整処理に使用されるピント状態の
異なる２枚の画像を示すもので、（ａ）は近景合焦画像
であり、（ｂ）は遠景合焦画像である。

【図１９】ボケ味調整処理に必要なパラメータを設定
するためにディスプレイに表示されるダイアログ・ボッ
クスの一例を示す図である。

【図２０】ボケ味調整処理の処理手順を示すフローチ
ャートである。

【図２１】ボケ味調整処理の処理手順を示すフローチ
ャートである。

【図２２】ボケ味調整処理の処理手順を示すフローチ
ャートである。

【図２３】サムネイル画像を用いたボケ味調整処理の
処理手順を示すフローチャートである。

【図２４】サムネイル画像を用いてボケ味調整処理を
シミュレートした場合のディスプレイにおける表示内容
を示す図である。

【図２５】Ｇの色成分について画像データの補間処理
を説明するための図で，（ａ）は補間前の画像データを
示す図、（ｂ）は補間後の画像データを示す図である。

【図２６】Ｒの色成分の画像データを間引いて反復演
算処理用の画像データを作成する方法を示す図で、
（ａ）は間引く前の画像データを示す図、（ｂ）は間引
き後の画像データを示す図である。

【図２７】Ｒの色成分について画像データを補間して
ボケ味調整画像を作成する方法を説明するための図で、
（ａ）は補間前の画像データを示す図、（ｂ）は画像デ
ータを元の画素位置に復元した状態を示す図、（ｃ）補
間後の画像データを示す図である。

【図２８】ボケ味調整画像を表示するためにディスプ
レイに表示されるダイアログ・ボックスの一例を示す図
である。

【図２９】ボケ味調整画像を保存するための条件を入
力するためにディスプレイに表示されるダイアログ・ボ
ックスの一例を示す図である。

【図３０】階調調整処理プログラムが起動したときの
ディスプレイに表示される階調調整用のダイアログ・ボ
ックスの一例を示す図である。

【図３１】バリエーションボタンにより予め設定され
た５種類の加算比率特性で階調調整をシミュレーション
したときのシミュレーション結果の表示例を示す図であ
る。

【図３２】露出オーバーの撮影画像と露出アンダーの
撮影画像のＡ／Ｄ変換レベルにおける相違を示す図であ
る。

【図３３】階調調整処理における露出オーバーの撮影
画像と露出アンダーの撮影画像との合成比率の一例を示
す図である。

【図３４】同一の被写体の輝度レベルに対する露出オ
ーバーの撮影画像、露出アンダーの撮影画像及び階調調
整画像のＡ／Ｄ変換レベルを示す図である。

【図３５】階調調整モードで撮影された露出値の異な
る２枚の撮影画像を用いた階調味調整処理のフローチャ
ートである。

【図３６】階調調整処理の処理手順を示すフローチャ
ートである。

【図３７】サムネイル画像を用いた階調調整処理の処
理手順を示すフローチャートである。

【図３８】バリエーション処理における加算比率特性
の一例を示す図である。

【図３９】作成された階調調整画像を表示するために
ディスプレイに表示されるダイアログ・ボックスの一例
を示す図である。

【図４０】超解像処理プログラムが起動したときのデ
ィスプレイに表示される超解像調整用のダイアログ・ボ
ックスの一例を示す図である。

【図４１】超解像処理を説明するための図である。

【図４２】超解像処理における補正方法の設定するた
めにディスプレイに表示されるダイアログ・ボックスの
一例を示す図である。

【図４３】超解像処理の処理手順を示すフローチャー
トである。

【図４４】超解像処理の処理手順を示すフローチャー
トである。

【図４５】Ｇの色成分の画像データの補間方法を説明
するための図である。

【図４６】Ｒの色成分の画像データの補間方法を説明
するための図である。

【図４７】超解像処理の処理結果の表示例を示す図で
ある。

【図４８】デジタルスチルカメラで画像合成処理まで
行なう場合のメモリカードへの画像ファイルの記録方法
を示す図である。

【図４９】画像処理機能を備えたデジタルスチルカメ
ラの内部構成を示すブロック図である。

【図５０】複数画像処理部の内部構成を示すブロック
図である。

【符号の説明】

１デジタルスチルカメラ（カラー撮像装置）１０１レンズ１０２撮像部１０３信号処理部１０４発光制御部１０５レンズ制御部１０６表示部１０７操作部１０８カードＩ／Ｆ１０８全体制御部１０９カードインターフェース１１０通信用インターフェース１１１複数画像処理部（画像処理手段，画像合成手
段）１１１ａＲＧＢ／ＹＣｒＣｂ変換部１１１ｂ，１１１ｃフィルタ１１１ｄ，１１１ｅ補間処理部１１１ｆレジストレーション処理部１１１ｇ画像合成部２カメラ本体２０５カラー撮像素子２０６シャッタボタン２０７表示部２０８電源スイッチ２０９４連スイッチ２１０スイッチ群３交換レンズ４電子ビューファインダ５フラッシュ６画像処理装置７パーソナルコンピュータ７０１コンピュータ本体（画像処理装置）７０１ｂメモリカードリーダ７０１ｃＣＤ−ＲＯＭドライバ７０２ディスプレイ７０３キーボード７０４マウス９ＣＤ−ＲＯＭＭＣメモリカード（記録媒体）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩＨ０４Ｎ 9/04 Ｈ０４Ｎ 9/64 Ｒ 9/07 9/69 9/64 101:00 9/69 1/40 Ｄ // Ｈ０４Ｎ 101:00 1/46 Ｚ (72)発明者藤井真一大阪市中央区安土町二丁目３番13号大阪国際ビルミノルタ株式会社内 (56)参考文献特開平７−131796（ＪＰ，Ａ) 特開2000−50058（ＪＰ，Ａ) 特開平９−298660（ＪＰ，Ａ) 特開2000−182022（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 1/38 - 1/393

Claims

(57)【特許請求の範囲】

【請求項１】画像合成により撮影画像と異なる画質の
画像を得るべく同一の被写体に対して連続して２枚のカ
ラー画像を撮影するカラー撮像装置と、上記カラー撮像
装置で撮影された２枚のカラー画像に対し、色成分毎に
所定の画像処理を行って１枚の色成分画像を作成する画
像処理手段と、上記画像処理手段で作成された各色成分
の画像を合成して１枚のカラー画像を作成する画像合成
手段とを備えた画像処理装置とからなる画像処理システ
ムであって、上記色成分毎の所定の画像処理は、撮影画
像間の位置合わせを行う位置合わせ処理と、位置合わせ
をした撮影画像間で画質に関する所定の演算を行って１
枚の色成分画像を作成する演算処理とからなり、上記画
像処理手段は、上記複数の色成分の画像のうち、人間の
視覚特性上解像度に与える影響の小さい第１の色成分の
画像に対する上記位置合わせ処理を他の第２の色成分の
画像に対する上記位置合わせ処理よりも簡略化すること
を特徴とする画像処理システム。
【請求項２】上記画像処理手段は、上記第２の色成分
の画像に対する位置合わせ処理で算出された位置ずれ情
報を用いて上記第１の色成分の画像に対する位置合わせ
処理を行うことで、上記第１の色成分に対する位置合わ
せ処理の簡略化を行なうものであることを特徴とする請
求項１記載の画像処理システム。
【請求項３】上記成分毎の所定の画像処理には、上記
位置合わせ処理の前に撮影画像毎にデータを補間して元
の画像データ数を増加する補間処理を含み、上記画像処
理手段は、上記第１の色成分の画像に対する補間処理を
第２の色成分に対する補間処理よりも簡略化するもので
あることを特徴とする請求項１又は２記載の画像処理シ
ステム。
【請求項４】上記画像処理手段は、上記補間処理にお
ける上記第１の色成分の画像のデータ補間数を上記第２
の色成分の画像のデータ補間数より少なくすることで、
上記第１の色成分に対する補間処理の簡略化を行なうも
のであることを特徴とする請求項３記載の画像処理シス
テム。
【請求項５】上記画像処理手段は、上記演算処理にお
いて、上記第１の色成分の画像のデータ数が上記第２の
色成分の画像のデータ数と一致するように、当該第１の
色成分の画像のデータ数を補間することを特徴とする請
求項４記載の画像処理システム。
【請求項６】上記色成分はＲ（赤），Ｇ（緑），Ｂ
（青）の色成分からなり、上記第１の色成分はＲ，Ｂの
色成分で、上記第２の色成分はＧの色成分であることを
特徴とする請求項１〜５のいずれかに記載の画像処理シ
ステム。
【請求項７】上記色成分はＹ（輝度），Ｃｒ（赤の色
差），Ｃｂ（青の色差）の色成分からなり、上記第１の
色成分はＣｒ，Ｃｂの成分で、上記第２の色成分はＹの
成分であることを特徴とする請求項１〜５のいずれかに
記載の画像処理システム。
【請求項８】上記画質に関する所定の演算処理は、画
像のピントのボケ具合を調整するボケ味調整処理である
ことを特徴とする請求項１記載の画像処理システム。
【請求項９】上記画質に関する所定の演算処理は、画
像の階調を調整する階調調整処理であることを特徴とす
る請求項１記載の画像処理システム。
【請求項１０】上記画質に関する所定の演算処理は、
画像の解像度を高める超解像処理であることを特徴とす
る請求項１記載の画像処理システム。
【請求項１１】被写体光像を画像信号に光電変換して
出力する撮像手段と、画像合成により撮影画像と異なる
画質の画像を得るべく同一の被写体に対して連続して２
回、上記撮像手段の撮像動作を行なわせる撮像制御手段
と、上記撮像手段で撮影された２枚のカラー画像に対
し、色成分毎に所定の画像処理を行って１枚の色成分画
像を作成する画像処理手段と、上記画像処理手段で作成
された各色成分の画像を合成して１枚のカラー画像を作
成する画像合成手段とを備えた撮像装置であって、上記
色成分毎の所定の画像処理は、撮影画像間の位置合わせ
を行う位置合わせ処理と、位置合わせをした撮影画像間
で画質に関する所定の演算を行って１枚の色成分画像を
作成する演算処理とからなり、上記画像処理手段は、上
記複数の色成分の画像のうち、人間の視覚特性上解像度
に与える影響の小さい第１の色成分の画像に対する上記
位置合わせ処理を他の第２の色成分の画像に対する上記
位置合わせ処理よりも簡略化することを特徴とする撮像
装置。
【請求項１２】上記画像処理手段は、上記第２の色成
分の画像に対する位置合わせ処理で算出された位置ずれ
情報を用いて上記第１の色成分の画像に対する位置合わ
せ処理を行うことで、上記第１の色成分の画像に対する
位置合わせ処理の簡略化を行なうものであることを特徴
とする請求項１１記載の撮像装置。
【請求項１３】上記色成分毎の所定の画像処理には、
上記位置合わせ処理の前に撮影画像毎にデータを補間し
て元の画像データ数を増加する補間処理を含み、上記画
像処理手段は、上記補間処理における上記第１の色成分
の画像のデータ補間数を上記第２の色成分の画像のデー
タ補間数より少なくすることで、上記第１の成分の画像
に対する補間処理の簡略化を行なうものであることを特
徴とする請求項１１又は１２記載の撮像装置。
【請求項１４】上記画像処理手段は、上記演算処理に
おいて、上記第１の色成分の画像のデータ数が上記第２
の色成分の画像のデータ数と一致するように、当該第１
の色成分の画像のデータ数を補間することを特徴とする
請求項１３記載の撮像装置。
【請求項１５】上記色成分はＲ（赤），Ｇ（緑），Ｂ
（青）の色成分からなり、上記第１の色成分はＲ，Ｂの
色成分で、第２の色成分はＧの色成分であることを特徴
とする請求項１１〜１４のいずれかに記載の撮像装置。
【請求項１６】上記画質に関する所定の演算処理は、
画像のピントのボケ具合を調整するボケ味調整処理であ
ることを特徴とする請求項１１記載の撮像装置。
【請求項１７】上記画質に関する所定の演算処理は、
画像の階調を調整する階調調整処理であることを特徴と
する請求項１１記載の撮像装置。
【請求項１８】上記画質に関する所定の演算処理は、
画像の解像度を高める超解像処理であることを特徴とす
る請求項１１記載の撮像装置。
【請求項１９】画像合成により撮影画像と異なる画質
の画像を得るべく同一の被写体を連続的に撮像して得ら
れる複数枚のカラー画像に対し、色成分毎に所定の画像
処理を行って１枚の成分画像を作成する画像処理ステッ
プと、上記画像処理ステップで作成された各色成分の画
像を合成して１枚のカラー画像を作成する画像合成ステ
ップとからなる画像処理方法であって、上記画像処理ス
テップにおける色成分毎の所定の画像処理は、撮影画像
間の位置合わせを行う位置合わせ処理と、位置合わせを
した撮影画像間で画質に関する所定の演算を行って１枚
の色成分画像を作成する演算処理とからなり、上記画像
処理ステップは、上記複数の色成分の画像のうち、人間
の視覚特性上解像度に与える影響の小さい第１の色成分
の画像に対する上記位置合わせ処理を他の第２の色成分
の画像に対する上記位置合わせ処理よりも簡略化するこ
とを特徴とする画像処理方法。
【請求項２０】画像合成により撮影画像と異なる画質
の画像を得るべく同一の被写体を連続的に撮像して得ら
れる複数枚のカラー画像に対し、色成分毎に所定の画像
処理を行って１枚の成分画像を作成する第１の画像処理
と、上記画像処理ステップで作成された各色成分の画像
を合成して１枚のカラー画像を作成する第２の画像処理
とを、コンピュータに実行させるためのプログラムを記
録したコンピュータ読取可能な記録媒体であって、上記
第１の画像処理における色成分毎の所定の画像処理は、
撮影画像間の位置合わせを行う位置合わせ処理と、位置
合わせをした撮影画像間で画質に関する所定の演算を行
って１枚の色成分画像を作成する演算処理とからなり、
上記第１の画像処理は、上記複数の色成分の画像のう
ち、人間の視覚特性上解像度に与える影響の小さい第１
の色成分の画像に対する上記位置合わせ処理を他の第２
の色成分の画像に対する上記位置合わせ処理よりも簡略
化することを特徴とする記録媒体。